Entropi - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Entropi

Memeriksa apakah nilai entropi kolom cocok dengan ekspresi yang diberikan. Entropi mengukur tingkat informasi yang terkandung dalam pesan. Mengingat distribusi probabilitas atas nilai dalam kolom, entropi menjelaskan berapa banyak bit yang diperlukan untuk mengidentifikasi nilai.

Sintaksis

Entropy <COL_NAME> <EXPRESSION>
  • COL_ NAME — Nama kolom yang ingin Anda evaluasi terhadap aturan kualitas data.

    Jenis kolom yang didukung: Tipe kolom apa pun

  • EXPRESSION— Ekspresi untuk dijalankan terhadap respons tipe aturan untuk menghasilkan nilai Boolean. Untuk informasi selengkapnya, lihat Ekspresi.

Contoh: Entropi kolom

Contoh aturan berikut memeriksa bahwa kolom bernama Feedback memiliki nilai entropi lebih besar dari satu.

Entropy "Star_Rating" > 1 Entropy "First_Name" > 1 where "Customer_ID < 10"

Contoh aturan dinamis

  • Entropy "colA" < max(last(10))

  • Entropy "colA" between min(last(10)) and max(last(10))