Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Izinkan akses fungsi Lambda ke metastores Hive eksternal
Untuk memanggil fungsi Lambda di akun Anda, Anda harus membuat peran yang memiliki izin berikut:
-
AWSLambdaVPCAccessExecutionRole
— Sebuah AWS Lambdaizin peran eksekusi untuk mengelola antarmuka jaringan elastis yang menghubungkan fungsi Anda ke file. VPC Pastikan bahwa Anda memiliki cukup jumlah antarmuka jaringan dan alamat IP yang tersedia. -
AmazonAthenaFullAccess
— Kebijakan yang AmazonAthenaFullAccessdikelola memberikan akses penuh ke Athena. -
Sebuah kebijakan Amazon S3 untuk memungkinkan fungsi Lambda untuk menulis ke S3 dan untuk memungkinkan Athena untuk membaca dari S3.
Sebagai contoh, kebijakan berikut mendefinisikan izin untuk lokasi tumpahans3:\\mybucket\spill
.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket/spill" ] } ] }
Setiap kali Anda menggunakan IAM kebijakan, pastikan Anda mengikuti praktik IAM terbaik. Untuk informasi selengkapnya, lihat Praktik terbaik keamanan IAM di Panduan IAM Pengguna.
Buat fungsi Lambda
Untuk membuat fungsi Lambda di akun Anda, izin pengembangan fungsi atau peran AWSLambdaFullAccess
diperlukan. Untuk informasi selengkapnya, lihat Kebijakan berbasis identitas IAM untuk AWS Lambda.
Karena Athena menggunakan AWS Serverless Application Repository untuk membuat fungsi Lambda, superuser atau administrator yang membuat fungsi Lambda juga harus memiliki kebijakan IAM untuk mengizinkan kueri federasi Athena.
Konfigurasikan izin untuk pendaftaran katalog dan operasi metadata API
Untuk API akses ke pendaftaran katalog dan operasi metadata, Anda dapat menggunakan kebijakan AmazonAthenaFullAccess terkelola. Jika Anda tidak menggunakan AmazonAthenaFullAccess
kebijakan ini, tambahkan API operasi berikut ke kebijakan Athena Anda:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "athena:ListDataCatalogs", "athena:GetDataCatalog", "athena:CreateDataCatalog", "athena:UpdateDataCatalog", "athena:DeleteDataCatalog", "athena:GetDatabase", "athena:ListDatabases", "athena:GetTableMetadata", "athena:ListTableMetadata" ], "Resource": [ "*" ] } ] }
Panggil fungsi Lambda di seluruh wilayah
Secara default, Athena memanggil fungsi Lambda didefinisikan di wilayah yang sama. Untuk memanggil fungsi Lambda dalam sebuah Wilayah AWS selain wilayah tempat Anda menjalankan kueri Athena, gunakan fungsi Lambda ARN yang lengkap.
Contoh berikut menunjukkan bagaimana katalog di Wilayah Eropa (Frankfurt) dapat menentukan fungsi Lambda di Wilayah Timur AS (Virginia N.) untuk mengambil data dari metastore Hive di Wilayah Eropa (Frankfurt).
arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new
Saat Anda menentukan lengkap dengan ARN cara ini, Athena dapat memanggil fungsi external-hms-service-new
Lambda us-east-1
untuk mengambil data metastore Hive dari. eu-central-1
catatan
Katalog harus terdaftar di tempat yang sama Wilayah AWS yang Anda gunakan untuk menjalankan kueri Athena.
Panggil fungsi Lambda di seluruh akun
Kadang-kadang Anda mungkin memerlukan akses ke metastore Hive dari akun yang berbeda. Misalnya, untuk menjalankan metastore Hive, Anda dapat menggunakan akun yang berbeda dari akun yang Anda gunakan untuk kueri Athena. Grup atau tim yang berbeda mungkin menjalankan metastore Hive dengan akun yang berbeda di dalamnya. VPC Atau Anda mungkin ingin mengakses metadata dari metastores Hive berbeda dari grup atau tim yang berbeda.
Athena menggunakan AWS Lambda dukungan untuk akses lintas akun
catatan
Perhatikan bahwa akses lintas rekening untuk Athena biasanya menyiratkan akses rekening lintas untuk kedua metadata dan data di Amazon S3.
Bayangkan skenario berikut:
-
Akun
111122223333
menyiapkan fungsi Lambda diexternal-hms-service-new
us-east-1 di Athena untuk mengakses Hive Metastore yang berjalan di cluster. EMR -
Akun
111122223333
ingin memungkinkan akun 444455556666 untuk mengakses data Hive Metastore.
Untuk memberikan 444455556666
akses akun ke fungsi Lambdaexternal-hms-service-new
, akun 111122223333
menggunakan yang berikut ini AWS CLI add-permission
perintah. Perintah telah diformat untuk dibaca.
$ aws --profile perf-test lambda add-permission --function-name external-hms-service-new --region us-east-1 --statement-id Id-ehms-invocation2 --action "lambda:InvokeFunction" --principal arn:aws:iam::444455556666:user/perf1-test { "Statement": "{\"Sid\":\"Id-ehms-invocation2\", \"Effect\":\"Allow\", \"Principal\":{\"AWS\":\"arn:aws:iam::444455556666:user/perf1-test\"}, \"Action\":\"lambda:InvokeFunction\", \"Resource\":\"arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new\"}" }
Untuk memeriksa izin Lambda, gunakanget-policy
seperti pada contoh berikut. Perintah telah diformat untuk dibaca.
$ aws --profile perf-test lambda get-policy --function-name arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new --region us-east-1 { "RevisionId": "711e93ea-9851-44c8-a09f-5f2a2829d40f", "Policy": "{\"Version\":\"2012-10-17\", \"Id\":\"default\", \"Statement\":[{\"Sid\":\"Id-ehms-invocation2\", \"Effect\":\"Allow\", \"Principal\":{\"AWS\":\"arn:aws:iam::444455556666:user/perf1-test\"}, \"Action\":\"lambda:InvokeFunction\", \"Resource\":\"arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new\"}]}" }
Setelah menambahkan izin, Anda dapat menggunakan fungsi Lambda penuh ARN us-east-1
seperti berikut ini saat Anda menentukan katalog: ehms
arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new
Untuk informasi tentang doa lintas wilayah, lihatPanggil fungsi Lambda di seluruh wilayahsebelumnya dalam topik ini.
Berikan akses lintas akun ke data
Sebelum Anda dapat menjalankan kueri Athena, Anda harus memberikan akses lintas rekening ke data di Amazon S3. Anda dapat melakukannya dengan salah satu cara berikut:
-
Memperbarui kebijakan daftar kontrol akses bucket Amazon S3 denganID pengguna kanonis.
-
Menambahkan akses akun lintas ke kebijakan bucket Amazon S3.
Sebagai contoh, tambahkan kebijakan berikut untuk Amazon S3 bucket kebijakan di akun111122223333
untuk mengizinkan akun444455556666
Untuk membaca data dari lokasi Amazon S3 yang ditentukan.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1234567890123", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::444455556666:user/perf1-test" }, "Action": "s3:GetObject", "Resource": "arn:aws:s3:::athena-test/lambda/dataset/*" } ] }
catatan
Anda mungkin perlu untuk memberikan akses rekening lintas ke Amazon S3 tidak hanya untuk data Anda, tetapi juga untuk Amazon S3 lokasi tumpahan Anda. Fungsi Lambda Anda tumpahan data tambahan ke lokasi tumpahan saat ukuran objek respon melebihi ambang batas yang diberikan. Lihat awal topik ini untuk kebijakan sampel.
Dalam contoh saat ini, setelah akses lintas rekening diberikan kepada444455556666,
444455556666
dapat menggunakan katalogehms
sendiriaccount
untuk kueri tabel yang didefinisikan dalam akun111122223333
.
Dalam contoh berikut, profil SQL Workbench perf-test-1
adalah untuk akun444455556666
. kueri menggunakan katalogehms
untuk mengakses metastore Hive dan data Amazon S3 pada akun111122223333
.