Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Prasyarat untuk menggunakan Apache Iceberg Tables sebagai tujuan
Pilih dari opsi berikut untuk menyelesaikan prasyarat yang diperlukan.
Topik
Prasyarat untuk dikirim ke Tabel Gunung Es di Amazon S3
Sebelum Anda mulai, lengkapi prasyarat berikut.
-
Membuat bucket Amazon S3 — Anda harus membuat bucket Amazon S3 untuk menambahkan jalur file metadata selama pembuatan tabel. Untuk informasi selengkapnya, lihat Membuat bucket S3.
-
Buat IAM peran dengan izin yang diperlukan — Firehose memerlukan IAM peran dengan izin khusus untuk AWS Glue mengakses tabel dan menulis data ke Amazon S3. Peran yang sama digunakan untuk memberikan AWS Glue akses ke bucket Amazon S3. Anda memerlukan IAM peran ini saat membuat Iceberg Table dan aliran Firehose. Untuk informasi selengkapnya, lihat Berikan akses Firehose ke tujuan Apache Iceberg Tables.
-
Buat Tabel Gunung Es Apache - Jika Anda mengonfigurasi kunci unik di aliran Firehose untuk pembaruan dan penghapusan, Firehose memvalidasi jika tabel dan kunci unik ada sebagai bagian dari pembuatan aliran. Untuk skenario ini, Anda harus membuat tabel sebelum membuat aliran Firehose. Anda dapat menggunakan AWS Glue untuk membuat Apache Iceberg Tables. Untuk informasi selengkapnya, lihat Membuat tabel Apache Iceberg. Jika Anda tidak mengonfigurasi kunci unik di aliran Firehose, maka Anda tidak perlu membuat tabel Iceberg sebelum membuat aliran Firehose.
catatan
Firehose mendukung versi tabel berikut dan format untuk tabel Apache Iceberg.
-
Versi format tabel - Firehose hanya mendukung format tabel V2
. Jangan membuat tabel dalam format V1, jika tidak, Anda mendapatkan kesalahan dan data dikirim ke bucket kesalahan S3 sebagai gantinya. -
Format penyimpanan data —Firehose menulis data ke Apache Iceberg Tables dalam format Parket.
-
Operasi tingkat baris —Firehose mendukung Merge-on-Read (MOR) mode penulisan data ke Apache Iceberg Tables.
-
Prasyarat untuk dikirim ke Tabel Amazon S3
Untuk mengirimkan data ke bucket tabel Amazon S3, lengkapi prasyarat berikut.
-
Buat IAM peran dengan izin yang diperlukan — Firehose memerlukan IAM peran dengan izin khusus untuk AWS Glue mengakses tabel dan menulis data ke tabel di bucket tabel Amazon S3. Untuk menulis ke tabel di bucket tabel S3, Anda juga harus memberikan IAM peran dengan izin yang diperlukan. AWS Lake Formation Anda mengonfigurasi IAM peran ini saat membuat aliran Firehose. Untuk informasi selengkapnya, lihat Memberikan akses Firehose ke Tabel Amazon S3.
-
Buat bucket S3 Table, namespace, tabel di bucket tabel, dan langkah integrasi lainnya yang diuraikan dalam Mengintegrasikan Tabel Amazon S3 dengan layanan analitik. AWS
catatan
Dalam langkah-langkah yang dijelaskan, berikan AWS Lake Formation
DESCRIBEizin untuk IAM peran yang Anda buat sebelumnya.Anda akan menggunakan nama tautan sumber daya untuk Database dan Tabel yang dibuat sebagai bagian dari prasyarat sebagai nama Database dan Tabel dalam konfigurasi aliran Firehose Anda untuk tujuan perutean. Anda dapat menggunakannya di bagian kunci Unik dari konfigurasi aliran Firehose jika Anda merutekan ke satu tabel, atau mengirimkannya sebagai bagian dari data masukan Anda agar Firehose merutekan ke tabel kanan menggunakan ekspresi Kueri. JSON
Untuk cara lainnya untuk membuat tautan sumber daya, lihat Membuat tautan sumber daya ke tabel Katalog Data bersama atau Membuat tautan sumber daya ke database Katalog Data bersama di panduan pengguna Lake Formation.
