Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengoptimalkan kinerja kueri menggunakan statistik kolom
Anda dapat menghitung statistik tingkat kolom untuk AWS Glue Data Catalog tabel dalam format data seperti Parquet, ORC, JSON, ION, CSV, dan XML tanpa menyiapkan pipeline data tambahan. Statistik kolom membantu Anda memahami profil data dengan mendapatkan wawasan tentang nilai dalam kolom.
Katalog Data mendukung pembuatan statistik untuk nilai kolom seperti nilai minimum, nilai maksimum, nilai nol total, nilai total berbeda, panjang rata-rata nilai, dan total kemunculan nilai sebenarnya. AWS layanan analitis seperti Amazon Redshift dan Amazon Athena dapat menggunakan statistik kolom ini untuk menghasilkan rencana eksekusi kueri, dan memilih paket optimal yang meningkatkan kinerja kueri.
Ada tiga skenario untuk menghasilkan statistik kolom:
- Otomatis
AWS Glue mendukung pembuatan statistik kolom otomatis di tingkat katalog sehingga dapat secara otomatis menghasilkan statistik untuk tabel baru di. AWS Glue Data Catalog
- Dijadwalkan
AWS Glue mendukung penjadwalan pembuatan statistik kolom sehingga dapat dijalankan secara otomatis pada jadwal berulang.
Dengan perhitungan statistik terjadwal, tugas statistik kolom memperbarui statistik tingkat tabel keseluruhan, seperti min, max, dan avg dengan statistik baru, menyediakan mesin kueri dengan statistik yang akurat dan terkini untuk mengoptimalkan eksekusi kueri.
- On-demand
Gunakan opsi ini untuk menghasilkan statistik kolom sesuai permintaan kapan pun diperlukan. Ini berguna untuk analisis ad-hoc atau ketika statistik perlu dihitung segera.
Anda dapat mengonfigurasi untuk menjalankan tugas pembuatan statistik kolom menggunakan AWS Glue konsol, AWS CLI, dan operasi AWS Glue API. Saat Anda memulai proses, AWS Glue memulai pekerjaan Spark di latar belakang dan memperbarui metadata AWS Glue tabel di Katalog Data. Anda dapat melihat statistik kolom menggunakan AWS Glue konsol atau AWS CLI atau dengan memanggil operasi GetColumnStatisticsForTable API.
catatan
Jika Anda menggunakan izin Lake Formation untuk mengontrol akses ke tabel, peran yang diasumsikan oleh tugas statistik kolom memerlukan akses tabel penuh untuk menghasilkan statistik.
catatan
Statistik kolom tidak mendukung tipe data Iceberg v3, termasuk VARIANT, UNKNOWN, Geography, dan Geometry. Kolom dengan tipe data ini dilewati selama pembuatan statistik.
Video berikut menunjukkan cara meningkatkan kinerja kueri menggunakan statistik kolom.
Topik
