AWS Glue Kualitas Data

Tanpa server — Tidak ada instalasi, tambalan atau pemeliharaan.

Memulai dengan cepat — AWS Glue Kualitas Data dengan cepat menganalisis data Anda dan membuat aturan kualitas data untuk Anda. Anda dapat memulai dengan dua klik: “Buat Aturan Kualitas Data → Rekomendasikan aturan”.

Mendeteksi masalah kualitas data — Gunakan pembelajaran mesin (ML) untuk mendeteksi anomali dan masalah kualitas data yang sulit dideteksi.

Improvisasikan aturan Anda — dengan 25+ aturan DQ out-of-the-box untuk memulai, Anda dapat membuat aturan yang sesuai dengan kebutuhan spesifik Anda.

Mengevaluasi kualitas dan membuat keputusan bisnis yang percaya diri — Setelah Anda mengevaluasi aturan, Anda mendapatkan skor Kualitas Data yang memberikan gambaran umum tentang kesehatan data Anda. Gunakan skor Kualitas Data untuk membuat keputusan bisnis yang percaya diri.

Fokus pada data buruk — Kualitas AWS Glue Data membantu Anda mengidentifikasi catatan pasti yang menyebabkan skor kualitas Anda turun. Identifikasi mereka dengan mudah, karantina, dan perbaiki.

Bayar sesuai kebutuhan — Tidak ada lisensi tahunan yang Anda perlukan untuk menggunakan AWS Glue Kualitas Data.

Tanpa penguncian — AWS Glue Kualitas Data dibangun di atas sumber terbuka DeeQu, memungkinkan Anda untuk menjaga aturan yang Anda buat dalam bahasa terbuka.

Pemeriksaan kualitas data — Anda dapat menerapkan pemeriksaan kualitas data pada Data Catalog AWS Glue saluran ETL yang memungkinkan Anda mengelola kualitas data saat istirahat dan dalam transit.

ML-based deteksi kualitas data — Gunakan pembelajaran mesin (ML) untuk mendeteksi anomali dan masalah kualitas data yang sulit dideteksi.

Bahasa terbuka untuk mengekspresikan aturan - memastikan bahwa aturan kualitas data ditulis secara konsisten dan sederhana. Pengguna bisnis dapat dengan mudah mengekspresikan aturan kualitas data dalam bahasa yang mudah yang dapat mereka pahami. Bagi para insinyur, bahasa ini memberikan fleksibilitas untuk menghasilkan kode, menerapkan kontrol versi yang konsisten, dan mengotomatiskan penerapan.

Anda ingin melakukan tugas kualitas data pada kumpulan data yang telah Anda katalogkan di AWS Glue Data Catalog.

Anda bekerja pada tata kelola data dan perlu mengidentifikasi atau mengevaluasi masalah kualitas data di danau data Anda secara berkelanjutan.

Konsol AWS Glue manajemen

AWS Glue API

Anda ingin memasukkan tugas kualitas data ke dalam pekerjaan ETL Anda

Anda ingin menulis kode yang mendefinisikan tugas kualitas data dalam skrip ETL

Anda ingin mengelola kualitas data yang mengalir di pipeline data visual Anda

AWS Glue Studio, AWS Glue Studio buku catatan, dan sesi AWS Glue interaktif

AWS Glue pustaka untuk skrip ETL

AWS Glue API

Aturan kualitas data tidak dapat mengevaluasi sumber data bersarang atau tipe daftar. Lihat Ratakan struct bersarang.

Anda dapat memiliki 2.000 aturan dalam kumpulan aturan. Jika kumpulan aturan Anda lebih besar, sebaiknya pisahkan menjadi beberapa set aturan.

Ukuran set aturan adalah 65KB. Jika kumpulan aturan Anda lebih besar, sebaiknya pisahkan menjadi beberapa set aturan.

AWS Glue Kualitas Data mengumpulkan statistik saat Anda membuat aturan atau penganalisis. Tidak ada biaya yang terkait dengan menyimpan statistik ini. Namun, ada batas 100.000 statistik per akun, dan statistik ini akan disimpan selama maksimal dua tahun.

Kemampuan untuk mengidentifikasi catatan mana yang gagal pemeriksaan kualitas data sekarang didukung di AWS Glue Studio

Jenis aturan kualitas data baru seperti memvalidasi integritas referensial data antara dua kumpulan data, membandingkan data antara dua kumpulan data, dan pemeriksaan tipe data

Peningkatan pengalaman pengguna di AWS Glue Data Catalog

Dukungan untuk Apache Iceberg, Apache Hudi dan Danau Delta

Dukungan untuk Amazon Redshift

Pemberitahuan yang disederhanakan dengan Amazon EventBridge

AWS CloudFormation dukungan untuk membuat kumpulan aturan

Peningkatan kinerja: opsi caching di ETL dan AWS Glue Studio untuk kinerja yang lebih cepat saat mengevaluasi kualitas data

ML-powered kemampuan deteksi anomali sekarang tersedia di AWS Glue ETL danAWS Glue Studio. Dengan ini, Anda sekarang dapat mendeteksi anomali dan masalah kualitas data yang sulit dideteksi

Aturan Dinamis memungkinkan Anda untuk memberikan ambang batas dinamis (mis:RowCount> avg(last(10)))

Perbaikan DQDL

Perbaikan DQDL

Deteksi Anomali dan Aturan Dinamis sekarang tersedia secara umum

Aturan komposit yang kompleks memungkinkan Anda membuat aturan bisnis yang lebih kompleks dengan dukungan bersarang

Jenis aturan baru untuk mengelola kualitas data untuk file Anda

Pemeriksaan kualitas data default di pekerjaan Visual ETL

AWS Glue Kualitas Data sekarang mendukung Amazon SageMaker AI LakeHouse tabel dan tabel Iceberg, Delta dan HUDI yang AWS Lake Formation dikelola di AWS Glue ETL 5.0.

AWS Glue Kualitas Data; sekarang mendukung Amazon S3 Tables, RMS, Lakehouse, dan tabel Iceberg yang AWS Lake Formation dikelola di Katalog Data. AWS Glue

AWS Glue Kualitas Data sekarang mendukung pelabelan aturan untuk pelaporan yang ditingkatkan. Anda dapat mengatur dan menganalisis hasil kualitas data secara lebih efektif dengan menanyakan hasil berdasarkan label tertentu untuk mengidentifikasi aturan yang gagal dalam kategori tertentu, menghitung hasil aturan berdasarkan tim atau domain, dan membuat laporan terfokus untuk pemangku kepentingan yang berbeda. Untuk informasi selengkapnya, lihat Label.

AWS Glue Kualitas Data sekarang mendukung Konstanta di DQDL, memungkinkan Anda untuk menentukan nilai konstan dan mereferensikannya di seluruh skrip Anda. Ini membantu mencegah masalah yang terkait dengan batas ukuran kueri saat bekerja dengan pernyataan SQL besar. Untuk informasi selengkapnya, lihat Konstanta.

Dengan AWS Glue Kualitas Data, Anda sekarang dapat menggunakan Distribution Analyzer untuk menghitung distribusi frekuensi untuk kolom data Anda. Untuk kolom numerik, ini menghasilkan histogram binned. Untuk kolom kategoris, ini menghasilkan distribusi nilai yang diurutkan berdasarkan frekuensi. Untuk informasi selengkapnya, lihat Penganalisis Distribusi.

Anda sekarang dapat menulis hasil kualitas data ke Apache Iceberg tabel di AWS Glue Data Catalog untuk kueri dengan. Ini termasuk hasil aturan, hasil pembuatan profil, hasil distribusi, hasil tingkat baris, dan hasil observasi. Untuk informasi selengkapnya, lihat Menulis hasil kualitas data ke tabel Katalog Data.

Anda sekarang dapat menggunakan deteksi anomali dengan AWS Glue Data Catalog. Untuk mengaktifkan deteksi anomali untuk tabel yang dikatalogkan, jalankan evaluasi berjalan dengan ObservationScope set toALL. Lihat informasi yang lebih lengkap di Deteksi anomali di AWS Lem Kualitas Data.