Gunakan AWS Serverless Application Repository untuk menyebarkan konektor sumber data Hive - Amazon Athena

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan AWS Serverless Application Repository untuk menyebarkan konektor sumber data Hive

Untuk menggunakan konektor sumber data Athena untuk Hive, Anda dapat menggunakan AWS Serverless Application Repositoryalih-alih memulai dengan konsol Athena. Gunakan AWS Serverless Application Repository untuk menemukan konektor yang ingin Anda gunakan, berikan parameter yang dibutuhkan konektor, dan kemudian gunakan konektor ke akun Anda. Kemudian, setelah Anda menggunakan konektor, Anda menggunakan konsol Athena untuk membuat sumber data tersedia untuk Athena.

Untuk menggunakan AWS Serverless Application Repository untuk menyebarkan konektor sumber data untuk Hive ke akun Anda

  1. Masuk ke AWS Management Console dan buka Repositori Aplikasi Tanpa Server.

  2. Di panel navigasi, pilihAplikasi yang tersedia.

  3. Pilih opsi Tampilkan aplikasi yang membuat IAM peran kustom atau kebijakan sumber daya.

  4. Dalam kotak pencarian, masukkan Hive. Konektor yang muncul meliputi dua berikut:

    • AthenaHiveMetastoreFunction— Fungsi Lambda.jarfile.

    • AthenaHiveMetastoreFunctionWithLayer- Lapisan Lambda dan file fungsi Lambda tipis. .jar

    Kedua aplikasi memiliki fungsi yang sama dan hanya berbeda dalam implementasinya. Anda dapat menggunakan salah satu untuk membuat fungsi Lambda yang menghubungkan Athena ke metastore Hive Anda.

  5. Pilih nama konektor yang ingin Anda gunakan. Tutorial ini menggunakan AthenaHiveMetastoreFunction.

    Pilih nama konektor sumber data Athena untuk Hive.

  6. Di bawahPengaturan aplikasi, masukkan parameter untuk fungsi Lambda Anda.

    • LambdaFuncName— Berikan nama untuk fungsi tersebut. Misalnya, myHiveMetastore.

    • SpillLocation— Tentukan lokasi Amazon S3 di akun ini untuk menyimpan metadata spillover jika ukuran respons fungsi Lambda melebihi 4 MB.

    • HMSUris— Masukkan host metastore Hive Anda yang menggunakan protokol Thrift di port 9083. URI Gunakan sintaksthrift://<host_name>:9083.

    • LambdaMemory— Tentukan nilai dari 128 MB hingga 3008 MB. Fungsi Lambda dialokasikan CPU siklus sebanding dengan jumlah memori yang Anda konfigurasikan. Defaultnya adalah 1.024.

    • LambdaTimeout— Tentukan waktu pemanggilan Lambda maksimum yang diizinkan dalam hitungan detik dari 1 hingga 900 (900 detik adalah 15 menit). Default-nya adalah 300 detik (5 menit).

    • VPCSecurityGroupIds— Masukkan daftar grup VPC keamanan yang dipisahkan koma IDs untuk metastore Hive.

    • VPCSubnetIds— Masukkan daftar VPC subnet yang dipisahkan koma IDs untuk metastore Hive.

  7. Di kanan bawah halaman Detail aplikasi, pilih Saya mengakui bahwa aplikasi ini membuat IAM peran khusus, lalu pilih Deploy.

Pada titik ini, Anda dapat mengonfigurasi Athena untuk menggunakan fungsi Lambda Anda untuk terhubung ke metastore Hive Anda. Untuk langkah, lihat Konfigurasikan Athena untuk menggunakan konektor metastore Hive yang digunakan.