Mendefinisikan metadata secara manual - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mendefinisikan metadata secara manual

Katalog AWS Glue Data adalah repositori pusat yang menyimpan metadata tentang sumber data dan kumpulan data Anda. Meskipun crawler dapat secara otomatis merayapi dan mengisi metadata untuk sumber data yang didukung, ada skenario tertentu di mana Anda mungkin perlu menentukan metadata secara manual di Katalog Data:

  • Format data yang tidak didukung - Jika Anda memiliki sumber data yang tidak didukung oleh crawler, Anda perlu menentukan metadata secara manual untuk sumber data tersebut di Katalog Data.

  • Persyaratan metadata khusus — Perayap AWS Glue Metadata menyimpulkan berdasarkan aturan dan konvensi yang telah ditentukan sebelumnya. Jika Anda memiliki persyaratan metadata tertentu yang tidak tercakup oleh metadata yang Perayap AWS Glue disimpulkan, Anda dapat menentukan metadata secara manual untuk memenuhi kebutuhan Anda

  • Tata kelola dan standardisasi data — Dalam beberapa kasus, Anda mungkin ingin memiliki kontrol lebih besar atas definisi metadata untuk tata kelola data, kepatuhan, atau alasan keamanan. Mendefinisikan metadata secara manual memungkinkan Anda memastikan bahwa metadata mematuhi standar dan kebijakan organisasi Anda.

  • Placeholder for future data ingestion — Jika Anda memiliki sumber data yang tidak segera tersedia atau dapat diakses, Anda dapat membuat tabel skema kosong sebagai placeholder. Setelah sumber data tersedia, Anda dapat mengisi tabel dengan data aktual, sambil mempertahankan struktur yang telah ditentukan.

Untuk menentukan metadata secara manual, Anda dapat menggunakan AWS Glue konsol, konsol Lake Formation, AWS Glue API, atau AWS Command Line Interface ()AWS CLI. Anda dapat membuat database, tabel, dan partisi, dan menentukan properti metadata seperti nama kolom, tipe data, deskripsi, dan atribut lainnya.