API Kualitas Data

• DataSource struktur

• DataQualityRulesetListDetails struktur

• DataQualityTargetTable struktur

• DataQualityRulesetEvaluationRunDescription struktur

• DataQualityRulesetEvaluationRunFilter struktur

• DataQualityEvaluationRunAdditionalRunOptions struktur

• DataQualityRuleRecommendationRunDescription struktur

• DataQualityRuleRecommendationRunFilter struktur

• DataQualityResult struktur

• DataQualityAnalyzerResult struktur

• DataQualityObservation struktur

• MetricBasedObservation struktur

• DataQualityMetricValues struktur

• DataQualityRuleResult struktur

• DataQualityResultDescription struktur

• DataQualityResultFilterCriteria struktur

• DataQualityRulesetFilterCriteria struktur

• DataQualityAggregatedMetrics struktur

• StatisticAnnotation struktur

• TimestampedInclusionAnnotation struktur

• AnnotationError struktur

• DatapointInclusionAnnotation struktur

• StatisticSummaryList daftar

• StatisticSummary struktur

• RunIdentifier struktur

• StatisticModelResult struktur

• DataQualityGlueTable struktur

• DataQualityRuleRecommendationRunAdditionalRunOptions struktur

• DataQualityRuleResultsOptions struktur

• DistributionData struktur

• ObservationResultsOptions struktur

• ProfilingResultsOptions struktur

• RowLevelResultsOptions struktur

• CatalogTableConfigOptions struktur

• DistributionResultsOptions struktur

Bidang

• GlueTable — Sebuah objek GlueTable.

  Sebuah AWS Glue meja.

• DataQualityGlueTable — Sebuah objek DataQualityGlueTable.

  AWS Glue Tabel untuk Operasi Kualitas Data.

Bidang

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi kumpulan aturan kualitas data.

• CreatedOn — Stempel waktu.

  Tanggal dan waktu kumpulan aturan kualitas data dibuat.

• LastModifiedOn — Stempel waktu.

  Tanggal dan waktu kumpulan aturan kualitas data terakhir dimodifikasi.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Sebuah objek yang mewakili AWS Glue tabel.

• RecommendationRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Ketika kumpulan aturan dibuat dari menjalankan rekomendasi, ID run ini dihasilkan untuk menghubungkan keduanya bersama-sama.

• RuleCount — Nomor (bilangan bulat).

  Jumlah aturan dalam kumpulan aturan.

Bidang

• TableName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama AWS Glue tabel.

• DatabaseName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama database tempat AWS Glue tabel itu ada.

• CatalogId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Id katalog tempat AWS Glue tabel berada.

Bidang

• RunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• Status— UTF-8 string (nilai yang valid: RUNNING FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED |RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika lari dimulai.

• DataSource — Sebuah objek DataSource.

  Sumber data ( AWS Glue tabel) yang terkait dengan proses.

Bidang

• DataSource — Wajib: Sebuah objek DataSource.

  Filter berdasarkan sumber data ( AWS Glue tabel) yang terkait dengan proses.

• StartedBefore — Stempel waktu.

  Filter hasil berdasarkan proses yang dimulai sebelum waktu ini.

• StartedAfter — Stempel waktu.

  Filter hasil berdasarkan proses yang dimulai setelah waktu ini.

• RulesetName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Filter hasil dengan nama kumpulan aturan.

Bidang

• CloudWatchMetricsEnabled – Boolean.

  Apakah akan mengaktifkan CloudWatch metrik atau tidak.

• ResultsS3Prefix— UTF-8 tali.

  Awalan untuk Amazon S3 untuk menyimpan hasil.

• CompositeRuleEvaluationMethod— UTF-8 string (nilai valid: COLUMN |ROW).

  Tetapkan metode evaluasi untuk aturan komposit dalam kumpulan aturan ke ROW/COLUMN

• CustomLogGroupPrefix— UTF-8 tali.

  Awalan khusus untuk nama grup CloudWatch log. Ketika ditentukan, log proses evaluasi ditulis ke <CustomLogGroupPrefix>/error dan <CustomLogGroupPrefix>/output bukan grup default /aws-glue/data-quality/error dan /aws-glue/data-quality/output log.

• RowLevelResults — Sebuah objek RowLevelResultsOptions.

  Konfigurasi untuk menulis hasil evaluasi tingkat baris ke tabel. AWS Glue Data Catalog

• ProfilingResults — Sebuah objek ProfilingResultsOptions.

  Konfigurasi untuk menulis hasil profil ke AWS Glue Data Catalog tabel.

• ObservationScope— UTF-8 string (nilai valid: ALL |NONE).

  Ruang lingkup pengamatan untuk evaluasi berjalan. Menentukan apakah deteksi anomali diaktifkan atau dinonaktifkan.

• ObservationMode— UTF-8 string (nilai valid: SCHEDULED |FIXED).

  Mode observasi untuk evaluasi berjalan. Menentukan bagaimana batas deteksi anomali dihitung.

• DataQualityRuleResults — Sebuah objek DataQualityRuleResultsOptions.

  Konfigurasi untuk menulis hasil aturan ke AWS Glue Data Catalog tabel.

• ObservationResults — Sebuah objek ObservationResultsOptions.

  Konfigurasi untuk menulis hasil observasi ke AWS Glue Data Catalog tabel.

Bidang

• RunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• Status— UTF-8 string (nilai yang valid: RUNNING FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED |RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika proses ini dimulai.

• DataSource — Sebuah objek DataSource.

  Sumber data (AWS Glue tabel) terkait dengan rekomendasi dijalankan.

• CreatedRulesetName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan yang dibuat oleh rekomendasi jalankan.

Bidang

• DataSource — Wajib: Sebuah objek DataSource.

  Filter berdasarkan sumber data tertentu (AWS Glue tabel).

• StartedBefore — Stempel waktu.

  Filter berdasarkan waktu untuk hasil yang dimulai sebelum waktu yang ditentukan.

• StartedAfter — Stempel waktu.

  Filter berdasarkan waktu untuk hasil yang dimulai setelah waktu yang ditentukan.

Bidang

• ResultId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID hasil unik untuk hasil kualitas data.

• ProfileId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil untuk hasil kualitas data.

• Score — Nomor (ganda), tidak lebih dari 1.0.

  Skor kualitas data agregat. Merupakan rasio aturan yang diteruskan ke jumlah total aturan.

• DataSource — Sebuah objek DataSource.

  Tabel yang terkait dengan hasil kualitas data, jika ada.

• RulesetName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan yang terkait dengan hasil kualitas data.

• EvaluationContext— UTF-8 tali.

  Dalam konteks pekerjaan di AWS Glue Studio, setiap node di kanvas biasanya diberi semacam nama dan node kualitas data akan memiliki nama. Dalam kasus beberapa node, evaluationContext dapat membedakan node.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika kualitas data ini dijalankan dimulai.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu ketika kualitas data ini berjalan selesai.

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama pekerjaan yang terkait dengan hasil kualitas data, jika ada.

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID run pekerjaan yang terkait dengan hasil kualitas data, jika ada.

• RulesetEvaluationRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID run unik untuk evaluasi kumpulan aturan untuk hasil kualitas data ini.

• RuleResults— Array DataQualityRuleResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityRuleResult objek yang mewakili hasil untuk setiap aturan.

• AnalyzerResults— Array DataQualityAnalyzerResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityAnalyzerResult objek yang mewakili hasil untuk setiap penganalisis.

• Observations — Susunan objek DataQualityObservation, tidak lebih dari 50 struktur.

  Daftar DataQualityObservation objek yang mewakili pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.

• AggregatedMetrics — Sebuah objek DataQualityAggregatedMetrics.

  Ringkasan DataQualityAggregatedMetrics objek yang menunjukkan jumlah total baris dan aturan yang diproses, termasuk pass/fail statistiknya berdasarkan hasil tingkat baris.

Bidang

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama penganalisis kualitas data.

• Description— UTF-8 string, panjangnya tidak lebih dari 2048 byte, cocok denganURI address multi-line string pattern.

  Deskripsi penganalisis kualitas data.

• EvaluationMessage— UTF-8 string, panjangnya tidak lebih dari 2048 byte, cocok denganURI address multi-line string pattern.

  Pesan evaluasi.

• EvaluatedMetrics – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Setiap nilai adalah Angka (ganda).

  Peta metrik yang terkait dengan evaluasi penganalisis.

• EvaluatedDistributions – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Setiap nilai adalah sebuah objek DistributionData A.

  Peta metrik distribusi yang terkait dengan evaluasi penganalisis.

Bidang

• Description— UTF-8 string, panjangnya tidak lebih dari 2048 byte, cocok denganURI address multi-line string pattern.

  Deskripsi pengamatan kualitas data.

• MetricBasedObservation — Sebuah objek MetricBasedObservation.

  Objek tipe yang MetricBasedObservation mewakili pengamatan yang didasarkan pada metrik kualitas data yang dievaluasi.

Bidang

• MetricName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama metrik kualitas data yang digunakan untuk menghasilkan pengamatan.

• StatisticId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Statistik.

• MetricValues — Sebuah objek DataQualityMetricValues.

  Objek tipe yang DataQualityMetricValues mewakili analisis nilai metrik kualitas data.

• NewRules— Sebuah array UTF-8 string.

  Daftar aturan kualitas data baru yang dihasilkan sebagai bagian dari pengamatan berdasarkan nilai metrik kualitas data.

Bidang

• ActualValue — Nomor (ganda).

  Nilai sebenarnya dari metrik kualitas data.

• ExpectedValue — Nomor (ganda).

  Nilai yang diharapkan dari metrik kualitas data menurut analisis data historis.

• LowerLimit — Nomor (ganda).

  Batas bawah nilai metrik kualitas data menurut analisis data historis.

• UpperLimit — Nomor (ganda).

  Batas atas nilai metrik kualitas data menurut analisis data historis.

Bidang

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama aturan kualitas data.

• Description— UTF-8 string, panjangnya tidak lebih dari 2048 byte, cocok denganURI address multi-line string pattern.

  Deskripsi aturan kualitas data.

• EvaluationMessage— UTF-8 string, panjangnya tidak lebih dari 2048 byte, cocok denganURI address multi-line string pattern.

  Pesan evaluasi.

• Result— UTF-8 string (nilai valid: PASS | FAIL |ERROR).

  Status lulus atau gagal untuk aturan.

• EvaluatedMetrics – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Setiap nilai adalah Angka (ganda).

  Peta metrik yang terkait dengan evaluasi aturan.

• EvaluatedRule— UTF-8 string, panjangnya tidak lebih dari 2048 byte, cocok denganURI address multi-line string pattern.

  Aturan yang dievaluasi.

• RuleMetrics – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Setiap nilai adalah Angka (ganda).

  Peta yang berisi metrik yang terkait dengan evaluasi aturan berdasarkan hasil tingkat baris.

• Labels – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Setiap nilai adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Peta yang berisi label yang ditetapkan untuk aturan kualitas data.

Bidang

• ResultId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID hasil unik untuk hasil kualitas data ini.

• DataSource — Sebuah objek DataSource.

  Nama tabel yang terkait dengan hasil kualitas data.

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama pekerjaan yang terkait dengan hasil kualitas data.

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID run pekerjaan yang terkait dengan hasil kualitas data.

• StartedOn — Stempel waktu.

  Waktu dijalankan untuk hasil kualitas data ini.

Bidang

• DataSource — Sebuah objek DataSource.

  Filter hasil berdasarkan sumber data yang ditentukan. Misalnya, mengambil semua hasil untuk AWS Glue tabel.

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Filter hasil berdasarkan nama pekerjaan yang ditentukan.

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Memfilter hasil berdasarkan ID run pekerjaan yang ditentukan.

• StartedAfter — Stempel waktu.

  Filter hasil berdasarkan proses yang dimulai setelah waktu ini.

• StartedBefore — Stempel waktu.

  Filter hasil berdasarkan proses yang dimulai sebelum waktu ini.

Bidang

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kriteria filter kumpulan aturan.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi kriteria filter kumpulan aturan.

• CreatedBefore — Stempel waktu.

  Filter pada set aturan yang dibuat sebelum tanggal ini.

• CreatedAfter — Stempel waktu.

  Filter pada set aturan yang dibuat setelah tanggal ini.

• LastModifiedBefore — Stempel waktu.

  Filter pada set aturan yang terakhir dimodifikasi sebelum tanggal ini.

• LastModifiedAfter — Stempel waktu.

  Filter pada set aturan yang terakhir dimodifikasi setelah tanggal ini.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Nama dan nama database dari tabel target.

Bidang

• TotalRowsProcessed — Nomor (ganda).

  Jumlah total baris yang diproses selama evaluasi kualitas data.

• TotalRowsPassed — Nomor (ganda).

  Jumlah total baris yang melewati semua aturan kualitas data yang berlaku.

• TotalRowsFailed — Nomor (ganda).

  Jumlah total baris yang gagal dalam satu atau lebih aturan kualitas data.

• TotalRulesProcessed — Nomor (ganda).

  Jumlah total aturan kualitas data yang dievaluasi.

• TotalRulesPassed — Nomor (ganda).

  Jumlah total aturan kualitas data yang lulus kriteria evaluasi mereka.

• TotalRulesFailed — Nomor (ganda).

  Jumlah total aturan kualitas data yang gagal dalam kriteria evaluasi mereka.

Bidang

• ProfileId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil.

• StatisticId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Statistik.

• StatisticRecordedOn — Stempel waktu.

  Stempel waktu ketika statistik beranotasi dicatat.

• InclusionAnnotation — Sebuah objek TimestampedInclusionAnnotation.

  Anotasi inklusi diterapkan pada statistik.

Bidang

• Value— UTF-8 string (nilai valid: INCLUDE |EXCLUDE).

  Nilai anotasi inklusi.

• LastModifiedOn — Stempel waktu.

  Stempel waktu saat anotasi inklusi terakhir dimodifikasi.

Bidang

• ProfileId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil untuk anotasi yang gagal.

• StatisticId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Statistik untuk anotasi yang gagal.

• FailureReason — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Alasan mengapa anotasi gagal.

Bidang

• ProfileId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID profil kualitas data yang dimiliki statistik.

• StatisticId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Statistik.

• InclusionAnnotation— UTF-8 string (nilai valid: INCLUDE |EXCLUDE).

  Nilai anotasi inklusi untuk diterapkan pada statistik.

Bidang

• StatisticId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Statistik.

• ProfileId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil.

• RunIdentifier — Sebuah objek RunIdentifier.

  Pengidentifikasi Jalankan

• StatisticName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganCustom string pattern #21.

  Nama statistiknya.

• DoubleValue — Nomor (ganda).

  Nilai statistik.

• DistributionValue — Sebuah objek DistributionData.

  Nilai distribusi untuk statistik.

• EvaluationLevel— UTF-8 string (nilai valid: Dataset="DATASET" | Column="COLUMN" |Multicolumn="MULTICOLUMN").

  Tingkat evaluasi statistik. Nilai yang mungkin:Dataset,Column,Multicolumn.

• ColumnsReferenced— Sebuah array UTF-8 string.

  Daftar kolom yang dirujuk oleh statistik.

• ReferencedDatasets— Sebuah array UTF-8 string.

  Daftar kumpulan data yang direferensikan oleh statistik.

• StatisticProperties – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Setiap nilai adalah string Deskripsi, panjangnya tidak lebih dari 2048 byte, cocok denganURI address multi-line string pattern.

  AStatisticPropertiesMap, yang berisi a NameString dan DescriptionString

• RecordedOn — Stempel waktu.

  Stempel waktu ketika statistik dicatat.

• InclusionAnnotation — Sebuah objek TimestampedInclusionAnnotation.

  Anotasi inklusi untuk statistik.

Bidang

• RunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Jalankan.

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Jalankan Pekerjaan.

Bidang

• LowerBound — Nomor (ganda).

  Batas bawah.

• UpperBound — Nomor (ganda).

  Batas atas.

• PredictedValue — Nomor (ganda).

  Nilai yang diprediksi.

• ActualValue — Nomor (ganda).

  Nilai sebenarnya.

• Date — Stempel waktu.

  Tanggalnya.

• InclusionAnnotation— UTF-8 string (nilai valid: INCLUDE |EXCLUDE).

  Anotasi inklusi.

Bidang

• DatabaseName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama database di AWS Glue Data Catalog.

• TableName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama tabel di AWS Glue Data Catalog.

• CatalogId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi unik untuk AWS Glue Data Catalog.

• ConnectionName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama koneksi ke AWS Glue Data Catalog.

• AdditionalOptions— Sebuah array peta pasangan kunci-nilai, tidak kurang dari 1 atau lebih dari 10 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Setiap nilai adalah string Deskripsi, panjangnya tidak lebih dari 2048 byte, cocok denganURI address multi-line string pattern.

  Opsi tambahan untuk tabel. Saat ini ada dua kunci yang didukung:

  • pushDownPredicate: untuk memfilter partisi tanpa harus membuat daftar dan membaca semua file dalam dataset Anda.

  • catalogPartitionPredicate: untuk menggunakan pemangkasan partisi sisi server menggunakan indeks partisi di. AWS Glue Data Catalog

• PreProcessingQuery— UTF-8 string, panjangnya tidak lebih dari 51200 byte, cocok dengan. URI address multi-line string pattern

  SQL Query dari format SparkSQL yang dapat digunakan untuk pra-memproses data untuk tabel di AWS Glue Data Catalog, sebelum menjalankan Operasi Kualitas Data.

Bidang

• CustomLogGroupPrefix— UTF-8 tali.

  Awalan khusus untuk nama grup CloudWatch log. Ketika ditentukan, log run rekomendasi ditulis ke <CustomLogGroupPrefix>/error dan <CustomLogGroupPrefix>/output bukan grup default /aws-glue/data-quality/error dan /aws-glue/data-quality/output log.

Bidang

• WriteDataQualityRuleResultsEnabled – Boolean.

  Setel ke true untuk menulis hasil aturan kualitas data.

• CatalogTableConfig — Sebuah objek CatalogTableConfigOptions.

  Konfigurasi AWS Glue Data Catalog tabel untuk menyimpan hasil aturan.

Bidang

• BinEdges— Sebuah array UTF-8 string.

  Nilai tepi bin untuk distribusi.

• Count— Array bilangan bulat 32-bit yang ditandatangani.

  Hitungan frekuensi untuk setiap bin dalam distribusi.

• DataType— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Jenis data kolom untuk distribusi.

Bidang

• WriteObservationResultsEnabled – Boolean.

  Setel ke true untuk menulis hasil pengamatan.

• CatalogTableConfig — Sebuah objek CatalogTableConfigOptions.

  Konfigurasi AWS Glue Data Catalog tabel untuk menyimpan hasil pengamatan.

Bidang

• WriteProfilingResultsEnabled – Boolean.

  Setel ke true untuk menulis hasil pembuatan profil.

• CatalogTableConfig — Sebuah objek CatalogTableConfigOptions.

  Konfigurasi AWS Glue Data Catalog tabel untuk menyimpan hasil pembuatan profil.

• DistributionResults — Sebuah objek DistributionResultsOptions.

  Konfigurasi untuk menulis hasil distribusi.

Bidang

• MaxRowsToWrite — Nomor (bilangan bulat).

  Jumlah maksimum baris untuk ditulis dalam hasil.

• ResultType— UTF-8 string (nilai valid: ALL | PASSED_ONLY |FAILED_ONLY).

  Jenis hasil yang akan disertakan dalam output hasil tingkat baris.

• CatalogTableConfig — Sebuah objek CatalogTableConfigOptions.

  Konfigurasi AWS Glue Data Catalog tabel untuk menyimpan hasil.

Bidang

• DatabaseName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama database di AWS Glue Data Catalog.

• TableName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama tabel di AWS Glue Data Catalog.

• S3Location— UTF-8 tali.

  Lokasi Amazon S3 untuk menyimpan hasil.

• CatalogId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi unik untuk AWS Glue Data Catalog.

Bidang

• WriteDistributionResultsEnabled – Boolean.

  Setel ke true untuk menulis hasil distribusi.

• CatalogTableConfig — Sebuah objek CatalogTableConfigOptions.

  Konfigurasi AWS Glue Data Catalog tabel untuk menyimpan hasil distribusi.

• StartDataQualityRulesetEvaluationRun tindakan (Python: start_data_quality_ruleset_evaluation_run)

• CancelDataQualityRulesetEvaluationRun tindakan (Python: cancel_data_quality_ruleset_evaluation_run)

• GetDataQualityRulesetEvaluationRun tindakan (Python: get_data_quality_ruleset_evaluation_run)

• ListDataQualityRulesetEvaluationRuns tindakan (Python: list_data_quality_ruleset_evaluation_runs)

• StartDataQualityRuleRecommendationRun tindakan (Python: start_data_quality_rule_recommendation_run)

• CancelDataQualityRuleRecommendationRun tindakan (Python: cancel_data_quality_rule_recommendation_run)

• GetDataQualityRuleRecommendationRun tindakan (Python: get_data_quality_rule_recommendation_run)

• ListDataQualityRuleRecommendationRuns tindakan (Python: list_data_quality_rule_recommendation_runs)

• GetDataQualityResult tindakan (Python: get_data_quality_result)

• BatchGetDataQualityResult tindakan (Python: batch_get_data_quality_result)

• ListDataQualityResults tindakan (Python: list_data_quality_results)

• CreateDataQualityRuleset tindakan (Python: create_data_quality_ruleset)

• DeleteDataQualityRuleset tindakan (Python: delete_data_quality_ruleset)

• GetDataQualityRuleset tindakan (Python: get_data_quality_ruleset)

• ListDataQualityRulesets tindakan (Python: list_data_quality_rulesets)

• UpdateDataQualityRuleset tindakan (Python: update_data_quality_ruleset)

• ListDataQualityStatistics tindakan (Python: list_data_quality_statistics)

• TimestampFilter struktur

• CreateDataQualityRulesetRequest struktur

• GetDataQualityRulesetResponse struktur

• GetDataQualityResultResponse struktur

• StartDataQualityRuleRecommendationRunRequest struktur

• GetDataQualityRuleRecommendationRunResponse struktur

• BatchPutDataQualityStatisticAnnotation tindakan (Python: batch_put_data_quality_statistic_notation)

• GetDataQualityModel tindakan (Python: get_data_quality_model)

• GetDataQualityModelResult tindakan (Python: get_data_quality_model_result)

• ListDataQualityStatisticAnnotations tindakan (Python: list_data_quality_statistic_annotations)

• PutDataQualityProfileAnnotation tindakan (Python: put_data_quality_profile_notation)

Permintaan

• DataSource — Wajib: Sebuah objek DataSource.

  Sumber data (AWS Glue tabel) yang terkait dengan proses ini.

• Role- Diperlukan: UTF-8 string.

  IAM Peran yang disediakan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam lari. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu tunggu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dapat digunakan untuk menjalankan sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• ClientToken— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Digunakan untuk idempotensi dan disarankan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

• AdditionalRunOptions — Sebuah objek DataQualityEvaluationRunAdditionalRunOptions.

  Opsi run tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.

• RulesetNames- Diperlukan: Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 10 string.

  Daftar nama kumpulan aturan.

• AdditionalDataSources – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Setiap nilai adalah sebuah objek DataSource A.

  Peta string referensi ke sumber data tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.

Respons

• RunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• OperationTimeoutException

• InternalServiceException

• ConflictException

Permintaan

• RunId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• RunId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Respons

• RunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• DataSource — Sebuah objek DataSource.

  Sumber data ( AWS Glue tabel) yang terkait dengan evaluasi berjalan ini.

• Role— UTF-8 tali.

  IAM Peran yang disediakan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam lari. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu tunggu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dapat digunakan untuk menjalankan sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• AdditionalRunOptions — Sebuah objek DataQualityEvaluationRunAdditionalRunOptions.

  Opsi run tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.

• Status— UTF-8 string (nilai yang valid: RUNNING FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED |RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• ErrorString— UTF-8 tali.

  String kesalahan yang terkait dengan run.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika proses ini dimulai.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Titik waktu terakhir ketika rekomendasi aturan kualitas data dijalankan dimodifikasi.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu ketika proses ini selesai.

• ExecutionTime — Nomor (bilangan bulat).

  Jumlah waktu (dalam detik) yang digunakan untuk menjalankan sumber daya.

• RulesetNames— Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 10 string.

  Daftar nama kumpulan aturan untuk dijalankan. Saat ini, parameter ini hanya mengambil satu nama Rules Set.

• ResultIds— Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 10 string.

  Daftar ID hasil untuk hasil kualitas data untuk dijalankan.

• AdditionalDataSources – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Setiap nilai adalah sebuah objek DataSource A.

  Peta string referensi ke sumber data tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• Filter — Sebuah objek DataQualityRulesetEvaluationRunFilter.

  Kriteria filter.

• NextToken— UTF-8 tali.

  Sebuah token pemberian nomor halaman untuk mengimbangi hasil.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum yang akan dikembalikan.

Respons

• Runs – Susunan objek DataQualityRulesetEvaluationRunDescription.

  Daftar DataQualityRulesetEvaluationRunDescription objek yang mewakili kumpulan aturan kualitas data berjalan.

• NextToken— UTF-8 tali.

  Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

Permintaan permintaan rekomendasi aturan Kualitas Data.

• DataSource — Wajib: Sebuah objek DataSource.

  Sumber data (AWS Glue tabel) yang terkait dengan proses ini.

• Role- Diperlukan: UTF-8 string.

  IAM Peran yang disediakan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam lari. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu tunggu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dapat digunakan untuk menjalankan sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• CreatedRulesetName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama untuk kumpulan aturan.

• DataQualitySecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• ClientToken— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Digunakan untuk idempotensi dan disarankan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

• AdditionalRunOptions — Sebuah objek DataQualityRuleRecommendationRunAdditionalRunOptions.

  Opsi run tambahan yang dapat Anda tentukan untuk menjalankan rekomendasi.

Respons

• RunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• ConflictException

Permintaan

• RunId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• RunId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

Respons

Respons untuk rekomendasi aturan Kualitas Data berjalan.

• RunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• DataSource — Sebuah objek DataSource.

  Sumber data ( AWS Glue tabel) yang terkait dengan proses ini.

• Role— UTF-8 tali.

  IAM Peran yang disediakan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam lari. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu tunggu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dapat digunakan untuk menjalankan sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• Status— UTF-8 string (nilai yang valid: RUNNING FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED |RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• ErrorString— UTF-8 tali.

  String kesalahan yang terkait dengan run.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika proses ini dimulai.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Titik waktu terakhir ketika rekomendasi aturan kualitas data dijalankan dimodifikasi.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu ketika proses ini selesai.

• ExecutionTime — Nomor (bilangan bulat).

  Jumlah waktu (dalam detik) yang digunakan untuk menjalankan sumber daya.

• RecommendedRuleset— UTF-8 string, tidak kurang dari 1 atau lebih dari 65536 byte panjangnya.

  Ketika menjalankan rekomendasi aturan awal selesai, itu membuat kumpulan aturan yang direkomendasikan (seperangkat aturan). Anggota ini memiliki aturan tersebut dalam format Data Quality Definition Language (DQDL).

• CreatedRulesetName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan yang dibuat oleh run.

• DataQualitySecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• AdditionalRunOptions — Sebuah objek DataQualityRuleRecommendationRunAdditionalRunOptions.

  Opsi run tambahan yang dapat Anda tentukan untuk menjalankan rekomendasi.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• Filter — Sebuah objek DataQualityRuleRecommendationRunFilter.

  Kriteria filter.

• NextToken— UTF-8 tali.

  Sebuah token pemberian nomor halaman untuk mengimbangi hasil.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum yang akan dikembalikan.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Daftar tag pasangan kunci-nilai untuk memfilter rekomendasi berjalan.

Respons

• Runs – Susunan objek DataQualityRuleRecommendationRunDescription.

  Daftar objek DataQualityRuleRecommendationRunDescription.

• NextToken— UTF-8 tali.

  Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• ResultId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID hasil unik untuk hasil kualitas data.

Respons

Respons untuk hasil kualitas data.

• ResultId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID hasil unik untuk hasil kualitas data.

• ProfileId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil untuk hasil kualitas data.

• Score — Nomor (ganda), tidak lebih dari 1.0.

  Skor kualitas data agregat. Merupakan rasio aturan yang diteruskan ke jumlah total aturan.

• DataSource — Sebuah objek DataSource.

  Tabel yang terkait dengan hasil kualitas data, jika ada.

• RulesetName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan yang terkait dengan hasil kualitas data.

• EvaluationContext— UTF-8 tali.

  Dalam konteks pekerjaan di AWS Glue Studio, setiap node di kanvas biasanya diberi semacam nama dan node kualitas data akan memiliki nama. Dalam kasus beberapa node, evaluationContext dapat membedakan node.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika proses untuk hasil kualitas data ini dimulai.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu ketika proses untuk hasil kualitas data ini selesai.

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama pekerjaan yang terkait dengan hasil kualitas data, jika ada.

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID run pekerjaan yang terkait dengan hasil kualitas data, jika ada.

• RulesetEvaluationRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID run unik yang terkait dengan evaluasi kumpulan aturan.

• RuleResults— Array DataQualityRuleResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityRuleResult objek yang mewakili hasil untuk setiap aturan.

• AnalyzerResults— Array DataQualityAnalyzerResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityAnalyzerResult objek yang mewakili hasil untuk setiap penganalisis.

• Observations — Susunan objek DataQualityObservation, tidak lebih dari 50 struktur.

  Daftar DataQualityObservation objek yang mewakili pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.

• AggregatedMetrics — Sebuah objek DataQualityAggregatedMetrics.

  Ringkasan DataQualityAggregatedMetrics objek yang menunjukkan jumlah total baris dan aturan yang diproses, termasuk pass/fail statistiknya berdasarkan hasil tingkat baris.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• EntityNotFoundException

Permintaan

• ResultIds- Diperlukan: Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 100 string.

  Daftar ID hasil unik untuk hasil kualitas data.

Respons

• Results – Wajib: Susunan objek DataQualityResult.

  Daftar DataQualityResult objek yang mewakili hasil kualitas data.

• ResultsNotFound— Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 100 string.

  Daftar ID hasil yang hasilnya tidak ditemukan.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• Filter — Sebuah objek DataQualityResultFilterCriteria.

  Kriteria filter.

• NextToken— UTF-8 tali.

  Sebuah token pemberian nomor halaman untuk mengimbangi hasil.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum yang akan dikembalikan.

Respons

• Results – Wajib: Susunan objek DataQualityResultDescription.

  Daftar objek DataQualityResultDescription.

• NextToken— UTF-8 tali.

  Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

Permintaan untuk membuat kumpulan aturan kualitas data.

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama unik untuk kumpulan aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari kumpulan aturan kualitas data.

• Ruleset- Diperlukan: UTF-8 string, tidak kurang dari 1 atau lebih dari 65536 byte.

  Kumpulan aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Daftar tag yang diterapkan pada kumpulan aturan kualitas data.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Tabel target yang terkait dengan kumpulan aturan kualitas data.

• RecommendationRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID run unik untuk menjalankan rekomendasi.

• DataQualitySecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• ClientToken— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Digunakan untuk idempotensi dan disarankan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

Respons

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama unik untuk kumpulan aturan kualitas data.

Kesalahan

• InvalidInputException

• AlreadyExistsException

• OperationTimeoutException

• InternalServiceException

• ResourceNumberLimitExceededException

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama untuk kumpulan aturan kualitas data.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan.

Respons

Mengembalikan respon kumpulan aturan kualitas data.

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari kumpulan aturan.

• Ruleset— UTF-8 string, tidak kurang dari 1 atau lebih dari 65536 byte panjangnya.

  Kumpulan aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Nama dan nama database dari tabel target.

• CreatedOn — Stempel waktu.

  Sebuah stempel waktu. Waktu dan tanggal pembuatan aturan kualitas data ini.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Titik terakhir dalam waktu ketika kumpulan aturan kualitas data ini dimodifikasi.

• RecommendationRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Ketika kumpulan aturan dibuat dari menjalankan rekomendasi, ID run ini dihasilkan untuk menghubungkan keduanya bersama-sama.

• DataQualitySecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• NextToken— UTF-8 tali.

  Sebuah token pemberian nomor halaman untuk mengimbangi hasil.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum yang akan dikembalikan.

• Filter — Sebuah objek DataQualityRulesetFilterCriteria.

  Kriteria filter.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Daftar tag pasangan kunci-nilai.

Respons

• Rulesets – Susunan objek DataQualityRulesetListDetails.

  Daftar aturan berpaginasi untuk daftar tabel yang ditentukan. AWS Glue

• NextToken— UTF-8 tali.

  Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari kumpulan aturan.

• Ruleset— UTF-8 string, tidak kurang dari 1 atau lebih dari 65536 byte panjangnya.

  Kumpulan aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

Respons

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari kumpulan aturan.

• Ruleset— UTF-8 string, tidak kurang dari 1 atau lebih dari 65536 byte panjangnya.

  Kumpulan aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

Kesalahan

• EntityNotFoundException

• AlreadyExistsException

• IdempotentParameterMismatchException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• ResourceNumberLimitExceededException

Permintaan

• StatisticId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Statistik.

• ProfileId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil.

• TimestampFilter — Sebuah objek TimestampFilter.

  Filter stempel waktu.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah maksimum hasil untuk dikembalikan dalam permintaan ini.

• NextToken— UTF-8 tali.

  Token pagination untuk meminta halaman hasil berikutnya.

Respons

• Statistics – Susunan objek StatisticSummary.

  AStatisticSummaryList.

• NextToken— UTF-8 tali.

  Token pagination untuk meminta halaman hasil berikutnya.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

Bidang

• RecordedBefore — Stempel waktu.

  Stempel waktu sebelum statistik harus dimasukkan dalam hasil.

• RecordedAfter — Stempel waktu.

  Stempel waktu setelah itu statistik harus dimasukkan dalam hasil.

Bidang

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama unik untuk kumpulan aturan kualitas data.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari kumpulan aturan kualitas data.

• Ruleset- Diperlukan: UTF-8 string, tidak kurang dari 1 atau lebih dari 65536 byte.

  Kumpulan aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Daftar tag yang diterapkan pada kumpulan aturan kualitas data.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Tabel target yang terkait dengan kumpulan aturan kualitas data.

• RecommendationRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID run unik untuk menjalankan rekomendasi.

• DataQualitySecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• ClientToken— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Digunakan untuk idempotensi dan disarankan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

Bidang

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi dari kumpulan aturan.

• Ruleset— UTF-8 string, tidak kurang dari 1 atau lebih dari 65536 byte panjangnya.

  Kumpulan aturan Bahasa Definisi Kualitas Data (DQDL). Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.

• TargetTable — Sebuah objek DataQualityTargetTable.

  Nama dan nama database dari tabel target.

• CreatedOn — Stempel waktu.

  Sebuah stempel waktu. Waktu dan tanggal pembuatan aturan kualitas data ini.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Titik terakhir dalam waktu ketika kumpulan aturan kualitas data ini dimodifikasi.

• RecommendationRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Ketika kumpulan aturan dibuat dari menjalankan rekomendasi, ID run ini dihasilkan untuk menghubungkan keduanya bersama-sama.

• DataQualitySecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

Bidang

• ResultId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID hasil unik untuk hasil kualitas data.

• ProfileId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil untuk hasil kualitas data.

• Score — Nomor (ganda), tidak lebih dari 1.0.

  Skor kualitas data agregat. Merupakan rasio aturan yang diteruskan ke jumlah total aturan.

• DataSource — Sebuah objek DataSource.

  Tabel yang terkait dengan hasil kualitas data, jika ada.

• RulesetName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan yang terkait dengan hasil kualitas data.

• EvaluationContext— UTF-8 tali.

  Dalam konteks pekerjaan di AWS Glue Studio, setiap node di kanvas biasanya diberi semacam nama dan node kualitas data akan memiliki nama. Dalam kasus beberapa node, evaluationContext dapat membedakan node.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika proses untuk hasil kualitas data ini dimulai.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu ketika proses untuk hasil kualitas data ini selesai.

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama pekerjaan yang terkait dengan hasil kualitas data, jika ada.

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID run pekerjaan yang terkait dengan hasil kualitas data, jika ada.

• RulesetEvaluationRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID run unik yang terkait dengan evaluasi kumpulan aturan.

• RuleResults— Array DataQualityRuleResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityRuleResult objek yang mewakili hasil untuk setiap aturan.

• AnalyzerResults— Array DataQualityAnalyzerResult objek, tidak lebih dari 2000 struktur.

  Daftar DataQualityAnalyzerResult objek yang mewakili hasil untuk setiap penganalisis.

• Observations — Susunan objek DataQualityObservation, tidak lebih dari 50 struktur.

  Daftar DataQualityObservation objek yang mewakili pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.

• AggregatedMetrics — Sebuah objek DataQualityAggregatedMetrics.

  Ringkasan DataQualityAggregatedMetrics objek yang menunjukkan jumlah total baris dan aturan yang diproses, termasuk pass/fail statistiknya berdasarkan hasil tingkat baris.

Bidang

• DataSource — Wajib: Sebuah objek DataSource.

  Sumber data (AWS Glue tabel) yang terkait dengan proses ini.

• Role- Diperlukan: UTF-8 string.

  IAM Peran yang disediakan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam lari. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu tunggu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dapat digunakan untuk menjalankan sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• CreatedRulesetName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama untuk kumpulan aturan.

• DataQualitySecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• ClientToken— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Digunakan untuk idempotensi dan disarankan untuk disetel ke ID acak (seperti UUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.

• AdditionalRunOptions — Sebuah objek DataQualityRuleRecommendationRunAdditionalRunOptions.

  Opsi run tambahan yang dapat Anda tentukan untuk menjalankan rekomendasi.

Bidang

• RunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

• DataSource — Sebuah objek DataSource.

  Sumber data ( AWS Glue tabel) yang terkait dengan proses ini.

• Role— UTF-8 tali.

  IAM Peran yang disediakan untuk mengenkripsi hasil proses.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah G.1X pekerja yang akan digunakan dalam lari. Default-nya adalah 5.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu tunggu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dapat digunakan untuk menjalankan sumber daya sebelum dihentikan dan memasuki TIMEOUT status. Default-nya adalah 2.880 menit (48 jam).

• Status— UTF-8 string (nilai yang valid: RUNNING FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING | CANCELED |RECEIVED_BY_TASKRUNNER).

  Status untuk eksekusi ini.

• ErrorString— UTF-8 tali.

  String kesalahan yang terkait dengan run.

• StartedOn — Stempel waktu.

  Tanggal dan waktu ketika proses ini dimulai.

• LastModifiedOn — Stempel waktu.

  Sebuah stempel waktu. Titik waktu terakhir ketika rekomendasi aturan kualitas data dijalankan dimodifikasi.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu ketika proses ini selesai.

• ExecutionTime — Nomor (bilangan bulat).

  Jumlah waktu (dalam detik) yang digunakan untuk menjalankan sumber daya.

• RecommendedRuleset— UTF-8 string, tidak kurang dari 1 atau lebih dari 65536 byte panjangnya.

  Ketika menjalankan rekomendasi aturan awal selesai, itu membuat kumpulan aturan yang direkomendasikan (seperangkat aturan). Anggota ini memiliki aturan tersebut dalam format Data Quality Definition Language (DQDL).

• CreatedRulesetName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama kumpulan aturan yang dibuat oleh run.

• DataQualitySecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.

• AdditionalRunOptions — Sebuah objek DataQualityRuleRecommendationRunAdditionalRunOptions.

  Opsi run tambahan yang dapat Anda tentukan untuk menjalankan rekomendasi.

Permintaan

• InclusionAnnotations – Wajib: Susunan objek DatapointInclusionAnnotation.

  Daftar dari DatapointInclusionAnnotation mereka. InclusionAnnotationsHarus berisi ProfileID dan StatistiCID. Jika ada beberapa InclusionAnnotations, daftar harus merujuk ke satu StatistiCID di beberapa ProfileID.

• ClientToken— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Token Klien.

Respons

• FailedInclusionAnnotations – Susunan objek AnnotationError.

  Daftar dari AnnotationError mereka.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• ResourceNumberLimitExceededException

Permintaan

• StatisticId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Statistik.

• ProfileId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil.

Respons

• Status— UTF-8 string (nilai valid: RUNNING | SUCCEEDED |FAILED).

  Status pelatihan model kualitas data.

• StartedOn — Stempel waktu.

  Stempel waktu ketika pelatihan model kualitas data dimulai.

• CompletedOn — Stempel waktu.

  Stempel waktu ketika pelatihan model kualitas data selesai.

• FailureReason— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Alasan kegagalan pelatihan.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• StatisticId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Statistik.

• ProfileId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil.

Respons

• CompletedOn — Stempel waktu.

  Stempel waktu ketika pelatihan model kualitas data selesai.

• Model – Susunan objek StatisticModelResult.

  Daftar StatisticModelResult

Kesalahan

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Permintaan

• StatisticId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Statistik.

• ProfileId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Profil.

• TimestampFilter — Sebuah objek TimestampFilter.

  Filter stempel waktu.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah maksimum hasil untuk dikembalikan dalam permintaan ini.

• NextToken— UTF-8 tali.

  Token pagination untuk mengambil rangkaian hasil berikutnya.

Respons

• Annotations – Susunan objek StatisticAnnotation.

  Daftar yang StatisticAnnotation diterapkan pada Statistik

• NextToken— UTF-8 tali.

  Token pagination untuk mengambil rangkaian hasil berikutnya.

Kesalahan

• InvalidInputException

• InternalServiceException

Permintaan

• ProfileId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID profil pemantauan kualitas data yang akan dianotasi.

• InclusionAnnotation— Diperlukan: UTF-8 string (nilai valid: INCLUDE |EXCLUDE).

  Nilai anotasi inklusi untuk diterapkan ke profil.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException