View a markdown version of this page

Mengintegrasikan Tabel Amazon S3 dengan AWS layanan analitik - Amazon Simple Storage Service
Prasyarat untuk integrasiMengintegrasikan ember meja dengan AWS layanan analitik

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengintegrasikan Tabel Amazon S3 dengan AWS layanan analitik

Topik ini mencakup prasyarat dan prosedur yang diperlukan untuk mengintegrasikan bucket tabel Amazon S3 Anda dengan layanan AWS analitik. Untuk gambaran umum tentang cara kerja integrasi, lihatIkhtisar integrasi S3 Tables.

catatan

Integrasi ini menggunakan AWS Glue Data Catalog dan mungkin menimbulkan biaya AWS Glue permintaan dan penyimpanan. Untuk informasi selengkapnya, silakan lihat AWS Glue Harga.

Harga tambahan berlaku untuk menjalankan kueri pada Tabel S3. Untuk informasi selengkapnya, lihat informasi harga untuk mesin kueri yang Anda gunakan.

Prasyarat untuk integrasi

Prasyarat berikut diperlukan untuk mengintegrasikan bucket tabel dengan layanan AWS analitik:

penting

Saat membuat tabel, pastikan Anda menggunakan semua huruf kecil dalam nama tabel dan definisi tabel Anda. Misalnya, pastikan bahwa nama kolom Anda semuanya huruf kecil. Jika nama tabel atau definisi tabel berisi huruf kapital, tabel tidak didukung oleh AWS Lake Formation atau AWS Glue Data Catalog. Dalam hal ini, tabel Anda tidak akan terlihat oleh layanan AWS analitik seperti Amazon Athena, bahkan jika bucket tabel Anda terintegrasi dengan layanan AWS analitik.

Jika definisi tabel Anda berisi huruf kapital, Anda menerima pesan kesalahan berikut saat menjalankan SELECT kueri di Athena: “GENERIC_INTERNAL_ERROR: Dapatkan permintaan tabel gagal: com.amazonaws.services.glue.model. ValidationException: Sumber Daya Federasi tidak didukung - Nama tabel atau kolom tidak valid.”

Mengintegrasikan ember meja dengan AWS layanan analitik

Anda dapat mengintegrasikan bucket tabel dengan Katalog Data dan layanan AWS analitik menggunakan kontrol akses IAM secara default, atau secara opsional menggunakan kontrol akses Lake Formation.

Saat mengintegrasikan menggunakan kontrol akses IAM, Anda memerlukan hak istimewa IAM untuk mengakses bucket dan tabel tabel Amazon S3, objek Katalog Data, dan mesin kueri yang Anda gunakan. Jika Anda memilih untuk mengintegrasikan menggunakan Formasi Danau, maka kontrol akses IAM dan hibah Formasi Danau menentukan akses ke sumber daya Katalog Data. Silakan merujuk ke Panduan AWS Lake Formation Pengembang untuk mempelajari lebih lanjut tentang integrasi Danau Formasi.

Bagian berikut menjelaskan cara menggunakan konsol manajemen Amazon S3 atau AWS CLI mengonfigurasi integrasi dengan kontrol akses IAM.

  1. Buka konsol Amazon S3 di https://console.aws.amazon.com/s3/.

  2. Di panel navigasi kiri, pilih Buc ket tabel.

  3. Pilih Buat ember meja.

    Halaman Buat bucket tabel terbuka.

  4. Masukkan nama bucket Tabel dan pastikan kotak centang Aktifkan integrasi dipilih.

  5. Pilih Buat ember meja. Amazon S3 akan mencoba mengintegrasikan bucket tabel Anda secara otomatis di Wilayah tersebut.

Untuk mengintegrasikan bucket meja dengan kontrol akses IAM menggunakan AWS CLI

Langkah-langkah berikut menunjukkan cara menggunakan untuk AWS CLI mengintegrasikan bucket meja. Untuk menggunakan langkah-langkah ini, ganti user input placeholders dengan informasi Anda sendiri.

  1. Buat ember meja.

    aws s3tables create-table-bucket \
--region us-east-1 \
--name amzn-s3-demo-table-bucket

  2. Buat file bernama catalog.json yang berisi katalog berikut:

    {
   "Name": "s3tablescatalog",
   "CatalogInput": {
      "FederatedCatalog": {
          "Identifier": "arn:aws:s3tables:us-east-1:111122223333:bucket/*",
          "ConnectionName": "aws:s3tables"
       },
       "CreateDatabaseDefaultPermissions":[
       {
                "Principal": {
                    "DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
                },
                "Permissions": ["ALL"]
            }
       ],
       "CreateTableDefaultPermissions":[
       {
                "Principal": {
                    "DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
                },
                "Permissions": ["ALL"]
            }
       ],
       "AllowFullTableExternalDataAccess": "True"
   }
}

    Buat s3tablescatalog katalog dengan menggunakan perintah berikut. Membuat katalog ini mengisi dengan objek AWS Glue Data Catalog yang sesuai dengan bucket tabel, ruang nama, dan tabel.

    aws glue create-catalog \
--region us-east-1 \
--cli-input-json file://catalog.json

  3. Verifikasi bahwa s3tablescatalog katalog telah ditambahkan AWS Glue dengan menggunakan perintah berikut:

    aws glue get-catalog --catalog-id s3tablescatalog

Proses integrasi layanan AWS analitik telah diperbarui untuk menggunakan izin IAM secara default. Jika Anda sudah menyiapkan integrasi, Anda dapat terus menggunakan integrasi Anda saat ini. Namun, jika Anda ingin mengubah integrasi yang ada untuk menggunakan izin IAM sebagai gantinya, lihat Panduan AWS Lake Formation Pengembang. Anda juga dapat mengulang integrasi untuk menghapus pengaturan yang ada di AWS Glue Data Catalog AWS Lake Formation dan menjalankan kembali integrasi. Ini akan menghapus semua hibah Formasi Danau yang ada dan izin akses terkait kes3tablescatalog.

  1. Buka AWS Lake Formation konsol dihttps://console.aws.amazon.com/lakeformation/, dan masuk sebagai administrator danau data. Untuk informasi selengkapnya tentang cara membuat administrator data lake, lihat Membuat administrator danau data di Panduan Peng AWS Lake Formation embang.

  2. Hapus s3tablescatalog katalog Anda dengan melakukan hal berikut:

    • Di panel navigasi kiri, pilih Katalog.

    • Pilih tombol opsi di sebelah s3tablescatalog katalog dalam daftar Katalog. Dari menu Tindakan, pilih Hapus.

  3. Batalkan pendaftaran lokasi data untuk s3tablescatalog katalog dengan melakukan hal berikut:

    • Di panel navigasi kiri, buka bagian Administrasi, dan pilih lokasi danau data.

    • Pilih tombol opsi di sebelah lokasi danau s3tablescatalog data, misalnya,s3://tables:region:account-id:bucket/*.

    • Pada menu T indakan, pilih H apus.

    • Di kotak dialog konfirmasi yang muncul, pilih H apus.

  4. Sekarang setelah Anda menghapus s3tablescatalog katalog dan lokasi danau data, Anda dapat mengikuti langkah-langkah untuk meng integrasikan bucket tabel Anda dengan layanan AWS analitik dengan menggunakan proses integrasi yang diperbarui.

catatan

Jika Anda ingin bekerja dengan tabel SSE-KMS terenkripsi di layanan AWS analitik terintegrasi, peran yang Anda gunakan harus memiliki izin untuk menggunakan AWS KMS kunci Anda untuk operasi enkripsi. Untuk informasi selengkapnya, lihat Memberikan izin prinsipal IAM untuk bekerja dengan tabel terenkripsi secara terintegrasi AWS layanan analitik.

Langkah selanjutnya