Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Anda dapat menghubungkan Iceberg REST klien ke Tabel Amazon S3 Iceberg REST Endpoint dan make REST API panggilan untuk membuat, memperbarui, atau menanyakan tabel di bucket tabel S3. Titik akhir mengimplementasikan satu set standar Iceberg REST APIs ditentukan dalam Apache Iceberg REST Katalog Spesifikasi API Terbuka
catatan
Tabel Amazon S3 Iceberg REST endpoint dapat digunakan untuk mengakses tabel dalam implementasi katalog AWS Partner Network (APN) atau implementasi katalog kustom. Ini juga dapat digunakan jika Anda hanya memerlukan akses baca/tulis dasar ke ember meja tunggal. Untuk skenario akses lainnya, kami sarankan menggunakan AWS Glue Iceberg REST endpoint untuk terhubung ke tabel, yang menyediakan manajemen tabel terpadu, tata kelola terpusat, dan kontrol akses berbutir halus. Untuk informasi selengkapnya, silakan lihat Mengakses tabel Amazon S3 menggunakan AWS Glue Iceberg REST titik akhir
Mengkonfigurasi titik akhir
Anda terhubung ke Tabel Amazon S3 Iceberg REST titik akhir menggunakan titik akhir layanan. Tabel S3 Iceberg REST endpoint memiliki format berikut:
https://s3tables.<REGION>.amazonaws.com/iceberg
Lihat Tabel S3 Wilayah AWS dan titik akhir untuk titik akhir khusus Wilayah.
Properti konfigurasi katalog
Saat menggunakan klien Iceberg untuk menghubungkan mesin analitik ke titik akhir layanan, Anda harus menentukan properti konfigurasi berikut saat menginisialisasi katalog. Ganti placeholder values
dengan informasi untuk Wilayah dan keranjang meja Anda.
Titik akhir khusus wilayah sebagai URI titik akhir:
https://s3tables.<REGION>.amazonaws.com/iceberg
Bucket meja ARN anda sebagai lokasi gudang:
arn:aws:s3tables:<region>:<accountID>:bucket/<bucketname>
Properti Sigv4 untuk otentikasi. Nama penandatanganan SigV4 untuk permintaan titik akhir layanan adalah:
s3tables
Contoh berikut menunjukkan cara mengonfigurasi klien yang berbeda untuk menggunakan Tabel Amazon S3 Iceberg REST titik akhir.
Untuk menggunakan Tabel Amazon S3 Iceberg REST titik akhir dengan PyIceberg, tentukan properti konfigurasi aplikasi berikut:
rest_catalog = load_catalog( catalog_name, **{ "type": "rest", "warehouse":"arn:aws:s3tables:
<Region>:<accountID>
:bucket/<bucketname>
", "uri": "https://s3tables.<Region>
.amazonaws.com/iceberg", "rest.sigv4-enabled": "true", "rest.signing-name": "s3tables", "rest.signing-region": "<Region>
" } )
Mengautentikasi dan mengotorisasi akses ke titik akhir
Permintaan API ke titik akhir layanan Tabel S3 diautentikasi menggunakan AWS Signature Version 4 (SigV4). Lihat AWS Sigv4 Versi Tanda Tangan untuk permintaan API guna mempelajari lebih lanjut tentang AWS SigV4.
Nama penandatanganan SiGv4 untuk Tabel Amazon S3 Iceberg REST permintaan titik akhir adalah: s3tables
Permintaan ke Tabel Amazon S3 Iceberg REST titik akhir diotorisasi menggunakan tindakan s3tables
IAM yang sesuai dengan REST Operasi API. Izin ini dapat didefinisikan dalam kebijakan berbasis identitas IAM atau kebijakan berbasis sumber daya yang dilampirkan pada tabel dan bucket tabel. Untuk informasi selengkapnya, lihat Manajemen akses untuk Tabel S3.
Anda dapat melacak permintaan yang dibuat ke tabel Anda melalui REST titik akhir dengan AWS CloudTrail. Permintaan akan dicatat sebagai tindakan IAM S3 yang sesuai. Misalnya, LoadTable
API akan menghasilkan peristiwa manajemen untuk GetTableMetadataLocation
operasi dan peristiwa data untuk GetTableData
operasi. Untuk informasi selengkapnya, lihat Logging dengan AWS CloudTrail untuk Tabel S3.
Parameter awalan dan jalur
Iceberg REST katalog APIs memiliki awalan bentuk bebas dalam permintaan mereka. URLs Misalnya, panggilan ListNamespaces
API menggunakan format GET/v1/{prefix}/namespaces
URL. Untuk Tabel S3, jalur REST {prefix}
selalu ARN bucket tabel yang disandikan url Anda.
Misalnya, untuk keranjang tabel ARN berikut: arn:aws:s3tables:
awalannya adalah: us-east-1
:111122223333:bucket/bucketname
arn%3Aaws%3As3tables%3A
us-east-1
%3A111122223333
%3Abucket%2Fbucketname
Parameter jalur namespace
Ruang nama dalam sebuah Iceberg REST jalur API katalog dapat memiliki beberapa level. Namun, Tabel S3 hanya mendukung ruang nama tingkat tunggal. Untuk mengakses namespace dalam hierarki katalog multi-level, Anda dapat terhubung ke katalog multi-level di atas namespace saat mereferensikan namespace. Ini memungkinkan mesin kueri apa pun yang mendukung notasi 3 bagian catalog.namespace.table
untuk mengakses objek dalam hierarki katalog Tabel S3 tanpa masalah kompatibilitas dibandingkan dengan menggunakan namespace multi-level.
Didukung Iceberg REST Operasi API
Tabel berikut berisi Iceberg REST yang didukung APIs dan bagaimana mereka sesuai dengan tindakan Tabel S3.
Operasi Iceberg REST | Jalur REST | S3 Tabel aksi IAM | CloudTrail EventName |
---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Pertimbangan dan batasan
Berikut ini adalah pertimbangan dan batasan saat menggunakan Tabel Amazon S3 Iceberg REST titik akhir.
Pertimbangan-pertimbangan
CreateTable Perilaku API —
stage-create
Opsi ini tidak didukung untuk operasi ini, dan menghasilkan400 Bad Request
kesalahan. Ini berarti Anda tidak dapat membuat tabel dari hasil kueri menggunakanCREATE TABLE AS SELECT
(CTAS).DeleteTable Perilaku API - Anda hanya dapat menjatuhkan tabel dengan pembersihan diaktifkan. Menjatuhkan tabel dengan
purge=false
tidak didukung dan menghasilkan400 Bad Request
kesalahan. Beberapa versi Spark selalu setel flag ini ke false bahkan saat menjalankanDROP TABLE PURGE
perintah. Anda dapat mencoba denganDROP TABLE PURGE
atau menggunakan DeleteTableoperasi Tabel S3 untuk menghapus tabel.-
Titik akhir hanya mendukung operasi metadata tabel standar. Untuk pemeliharaan tabel, seperti manajemen snapshot dan pemadatan, gunakan operasi API pemeliharaan Tabel S3. Untuk informasi selengkapnya, lihat Pemeliharaan Tabel S3.
Batasan
Ruang nama bertingkat tidak didukung.
OAuthotentikasi berbasis tidak didukung.
Hanya
owner
properti yang didukung untuk ruang nama.Terkait tampilan APIs didefinisikan dalam Apache Iceberg REST Spesifikasi API terbuka
tidak didukung. Menjalankan operasi di atas meja dengan
metadata.json
file lebih dari 5MB tidak didukung, dan akan mengembalikan400 Bad Request
kesalahan. Untuk mengontrol ukuranmetadata.json
file Anda, gunakan operasi pemeliharaan tabel. Untuk informasi selengkapnya, lihat Pemeliharaan Tabel S3.