DQDLreferensi tipe aturan - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

DQDLreferensi tipe aturan

Bagian ini memberikan referensi untuk setiap jenis aturan yang didukung AWS Glue Data Quality.

catatan

  • DQDLsaat ini tidak mendukung data kolom bersarang atau tipe daftar.

  • Nilai kurung pada tabel di bawah ini akan diganti dengan informasi yang disediakan dalam argumen aturan.

  • Aturan biasanya memerlukan argumen tambahan untuk ekspresi.

Jenis aturan Deskripsi Pendapat Metrik yang Dilaporkan Didukung sebagai Aturan? Didukung sebagai Analyzer? Mengembalikan Hasil tingkat baris? Dukungan aturan dinamis? Menghasilkan Pengamatan Mendukung Sintaks Klausul Dimana?
AggregateMatch Memeriksa apakah dua kumpulan data cocok dengan membandingkan metrik ringkasan seperti jumlah total penjualan. Berguna bagi lembaga keuangan untuk membandingkan jika semua data dicerna dari sistem sumber. Satu atau lebih agregasi

Ketika nama kolom agregasi pertama dan kedua cocok:

Column.[Column].AggregateMatch

Ketika nama kolom agregasi pertama dan kedua berbeda:

Column.[Column1,Column2].AggregateMatch

 Ya Tidak Tidak Tidak Tidak Tidak
AllStatistics Penganalisis mandiri untuk mengumpulkan beberapa metrik untuk kolom yang disediakan dalam kumpulan data. Nama kolom tunggal

Untuk kolom dari semua jenis:

Dataset.*.RowCount

Column.[Column].Completeness

Column.[Column].Uniqueness

Metrik tambahan untuk kolom bernilai string:

ColumnLength metrics

Metrik tambahan untuk kolom bernilai numerik:

ColumnValues metrics

 Tidak Ya Tidak Tidak Tidak Tidak
ColumnCorrelation Memeriksa seberapa baik dua kolom berkorelasi. Tepat dua nama kolom Multicolumn.[Column1,Column2].ColumnCorrelation Ya Ya Tidak Ya Tidak Ya
ColumnCount Memeriksa apakah ada kolom yang dijatuhkan. Tidak ada Dataset.*.ColumnCount Ya Ya Tidak Ya Ya Tidak
ColumnDataType Memeriksa apakah kolom sesuai dengan tipe data. Tepat satu nama kolom Column.[Column].ColumnDataType.Compliance Ya Tidak Tidak Ya, dalam ekspresi ambang batas tingkat baris Tidak Ya
ColumnExists Memeriksa apakah kolom ada dalam kumpulan data. Hal ini memungkinkan pelanggan membangun platform data layanan mandiri untuk memastikan kolom tertentu tersedia. Tepat satu nama kolom N/A Ya Tidak Tidak Tidak Tidak Tidak
ColumnLength Memeriksa apakah panjang data konsisten. Tepat satu nama kolom

Column.[Column].MaximumLength

Column.[Column].MinimumLength

Metrik tambahan saat ambang tingkat baris disediakan:

Column.[Column].ColumnValues.Compliance

 Ya Ya Ya, ketika ambang batas tingkat baris disediakan Tidak Ya. Hanya menghasilkan pengamatan dengan menganalisis panjang Minimum dan Maksimum Ya
ColumnNamesMatchPattern Memeriksa apakah nama kolom cocok dengan pola yang ditentukan. Berguna bagi tim tata kelola untuk menegakkan konsistensi nama kolom. Sebuah regex untuk nama kolom Dataset.*.ColumnNamesPatternMatchRatio Ya Tidak Tidak Tidak Tidak Tidak
ColumnValues Memeriksa apakah data konsisten per nilai yang ditentukan. Aturan ini mendukung ekspresi reguler. Tepat satu nama kolom

Column.[Column].Maximum

Column.[Column].Minimum

Metrik tambahan saat ambang tingkat baris disediakan:

Column.[Column].ColumnValues.Compliance

 Ya Ya Ya, ketika ambang batas tingkat baris disediakan Tidak Ya. Hanya menghasilkan pengamatan dengan menganalisis nilai Minimum dan Maksimum Ya
Kelengkapan Memeriksa data kosong atau NULLs dalam data. Tepat satu nama kolom

Column.[Column].Completeness

 Ya Ya Ya Ya Ya Ya
CustomSql Pelanggan dapat menerapkan hampir semua jenis pemeriksaan kualitas dataSQL.

SQLPernyataan

(Opsional) Ambang batas tingkat baris

Dataset.*.CustomSQL

Metrik tambahan saat ambang tingkat baris disediakan:

Dataset.*.CustomSQL.Compliance

 Ya Tidak Ya, ketika ambang batas tingkat baris disediakan Ya Tidak Tidak
DataFreshness Memeriksa apakah data masih segar. Tepat satu nama kolom Column.[Column].DataFreshness.Compliance Ya Tidak Ya Tidak Tidak Ya
DatasetMatch Membandingkan dua kumpulan data dan mengidentifikasi jika mereka sinkron.

Nama dataset referensi

Pemetaan kolom

(Opsional) Kolom untuk memeriksa kecocokan

 Dataset.[ReferenceDatasetAlias].DatasetMatch Ya Tidak Ya Ya Tidak Tidak
DistinctValuesCount Memeriksa nilai duplikat. Tepat satu nama kolom Column.[Column].DistinctValuesCount Ya Ya Ya Ya Ya Ya
DetectAnomalies Memeriksa anomali dalam metrik yang dilaporkan tipe aturan lain. Jenis aturan Metrik yang dilaporkan oleh argumen tipe aturan Ya Tidak Tidak Tidak Tidak Tidak
Entropi Memeriksa entropi data. Tepat satu nama kolom Column.[Column].Entropy Ya Ya Tidak Ya Tidak Ya
IsComplete Memeriksa apakah 100% data selesai. Tepat satu nama kolom Column.[Column].Completeness Ya Tidak Ya Tidak Tidak Ya
IsPrimaryKey Memeriksa apakah kolom adalah kunci utama (tidak NULL dan unik). Tepat satu nama kolom

Untuk kolom tunggal:

Column.[Column].Uniqueness

Untuk beberapa kolom:

Multicolumn.[CommaDelimitedColumns].Uniqueness

 Ya Tidak Ya Tidak Tidak Ya
IsUnique Memeriksa apakah 100% data unik. Tepat satu nama kolom Column.[Column].Uniqueness Ya Tidak Ya Tidak Tidak Ya
Berarti Memeriksa apakah mean cocok dengan ambang batas yang ditetapkan. Tepat satu nama kolom Column.[Column].Mean Ya Ya Ya Ya Tidak Ya
ReferentialIntegrity Memeriksa apakah dua kumpulan data memiliki integritas referensial.

Satu atau beberapa nama kolom dari dataset

Satu atau beberapa nama kolom dari dataset referensi

 Column.[ReferenceDatasetAlias].ReferentialIntegrity Ya Tidak Ya Ya Tidak Tidak
RowCount Memeriksa apakah jumlah catatan cocok dengan ambang batas. Tidak ada Dataset.*.RowCount Ya Ya Tidak Ya Ya Ya
RowCountMatch Memeriksa apakah jumlah rekaman antara dua kumpulan data cocok. Alias dataset referensi Dataset.[ReferenceDatasetAlias].RowCountMatch Ya Tidak Tidak Ya Tidak Tidak
StandardDeviation Memeriksa apakah standar deviasi cocok dengan ambang batas. Tepat satu nama kolom Column.[Column].StandardDeviation Ya Ya Ya Ya Tidak Ya
SchemaMatch Memeriksa apakah skema antara dua kumpulan data cocok. Alias dataset referensi Dataset.[ReferenceDatasetAlias].SchemaMatch Ya Tidak Tidak Ya Tidak Tidak
Jumlah Memeriksa apakah jumlah cocok dengan ambang batas yang ditetapkan. Tepat satu nama kolom Column.[Column].Sum Ya Ya Tidak Ya Tidak Ya
Keunikan Memeriksa apakah keunikan kumpulan data cocok dengan ambang batas. Tepat satu nama kolom Column.[Column].Uniqueness Ya Ya Ya Ya Tidak Ya
UniqueValueRatio Memeriksa apakah ransum nilai unik cocok dengan ambang batas. Tepat satu nama kolom Column.[Column].UniqueValueRatio Ya Ya Ya Ya Tidak Ya
Topik