Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kustom SQL
Jenis aturan ini telah diperluas untuk mendukung dua kasus penggunaan:
Jalankan SQL pernyataan kustom terhadap kumpulan data dan periksa nilai pengembalian terhadap ekspresi yang diberikan.
Jalankan SQL pernyataan kustom di mana Anda menentukan nama kolom dalam SELECT pernyataan Anda yang Anda bandingkan dengan beberapa kondisi untuk mendapatkan hasil tingkat baris.
Sintaksis
CustomSql<SQL_STATEMENT><EXPRESSION>
SQL_ STATEMENT — SQL Pernyataan yang mengembalikan nilai numerik tunggal, dikelilingi oleh tanda kutip ganda.
EXPRESSION— Ekspresi untuk dijalankan terhadap respons tipe aturan untuk menghasilkan nilai Boolean. Untuk informasi selengkapnya, lihat Ekspresi.
Contoh: Kustom SQL untuk mengambil hasil aturan keseluruhan
Aturan contoh ini menggunakan SQL pernyataan untuk mengambil jumlah catatan untuk kumpulan data. Aturan kemudian memeriksa bahwa jumlah rekor adalah antara 10 dan 20.
CustomSql "select count(*) from primary" between 10 and 20
Contoh: Kustom SQL untuk mengambil hasil tingkat baris
Aturan contoh ini menggunakan SQL pernyataan di mana Anda menentukan nama kolom dalam SELECT pernyataan Anda yang Anda bandingkan dengan beberapa kondisi untuk mendapatkan hasil tingkat baris. Ekspresi kondisi ambang batas mendefinisikan ambang batas berapa banyak catatan yang harus gagal agar seluruh aturan gagal. Perhatikan bahwa aturan mungkin tidak mengandung kondisi dan kata kunci bersama-sama.
CustomSql "select Name from primary where Age > 18"
atau
CustomSql "select Name from primary where Age > 18" with threshold > 3
penting
primaryAlias singkatan dari nama kumpulan data yang ingin Anda evaluasi. Saat Anda bekerja dengan ETL pekerjaan visual di konsol, primary selalu mewakili DynamicFrame diteruskan ke EvaluateDataQuality.apply() transformasi. Bila Anda menggunakan AWS Glue Data Catalog untuk menjalankan tugas kualitas data terhadap tabel, primary mewakili tabel.
Jika Anda berada di Katalog AWS Glue Data, Anda juga dapat menggunakan nama tabel yang sebenarnya:
CustomSql "select count(*) from database.table" between 10 and 20
Anda juga dapat bergabung dengan beberapa tabel untuk membandingkan elemen data yang berbeda:
CustomSql "select count(*) from database.table inner join database.table2 on id1 = id2" between 10 and 20
Di AWS GlueETL, Custom SQL dapat mengidentifikasi catatan yang gagal dalam pemeriksaan kualitas data. Agar ini berfungsi, Anda harus mengembalikan catatan yang merupakan bagian dari tabel utama yang Anda evaluasi kualitas data. Catatan yang dikembalikan sebagai bagian dari kueri dianggap berhasil dan catatan yang tidak dikembalikan dianggap gagal.
Aturan berikut akan memastikan bahwa catatan dengan usia < 100 diidentifikasi sebagai berhasil dan catatan yang di atas ditandai sebagai gagal.
CustomSql "select id from primary where age < 100"
SQLAturan Kustom ini akan berlalu ketika 50% dari catatan memiliki usia> 10 dan juga akan mengidentifikasi catatan yang gagal. Catatan yang dikembalikan oleh Custom ini SQL akan dianggap lulus sementara yang tidak dikembalikan akan dianggap gagal.
CustomSQL "select ID, CustomerID from primary where age > 10" with threshold > 0.5
Catatan: SQL Aturan kustom akan gagal jika Anda mengembalikan catatan yang tidak tersedia dalam kumpulan data.
