Penyiapan AWS Lake Formation

1. Masuk ke AWS CloudFormation konsol di https://console.aws.amazon.com/cloudformation sebagai administrator IAM di Wilayah AS Timur (Virginia Utara).

2. Pilih Luncurkan Stack.

3. Pilih Berikutnya pada layar Buat tumpukan.

4. Masukkan Nama tumpukan.

5. Untuk DatalakeAdminName dan DatalakeAdminPassword, masukkan nama pengguna dan kata sandi Anda untuk pengguna admin danau data.

6. Untuk DatalakeUser1Name dan DatalakeUser1Password, masukkan nama pengguna dan kata sandi Anda untuk pengguna analis data lake.

7. Untuk DataLakeBucketName, masukkan nama bucket baru yang akan dibuat.

8. Pilih Berikutnya.

9. Pada halaman berikutnya, pilih I acknowledge that CloudFormation might create IAM resources with custom names dan pilih Ber ikutnya.

10. Tinjau detail di halaman terakhir dan pilih Saya mengakui bahwa AWS CloudFormation mungkin membuat sumber daya IAM.

11. Pilih Buat.

    Pembuatan tumpukan bisa memakan waktu hingga dua menit.

Pembersihan sumber daya

Jika Anda ingin membersihkan sumber daya tum CloudFormation pukan:

1. De-register bucket Amazon S3 yang dibuat dan didaftarkan oleh stack Anda sebagai lokasi danau data.

2. Hapus St CloudFormation ack. Ini akan menghapus semua sumber daya yang dibuat oleh tumpukan.

Untuk membuat administrator danau data (konsol)

1. Jika pengguna yang akan menjadi administrator data lake belum ada, gunakan konsol IAM untuk membuatnya. Jika tidak, pilih pengguna yang sudah ada yang akan menjadi administrator danau data.

   catatan

   Sebaiknya Anda tidak memilih pengguna administratif IAM (pengguna dengan kebijakan terkel AdministratorAccess AWS ola) untuk menjadi administrator danau data.

   Lampirkan kebijakan AWS terkelola berikut ke pengguna:

   Kebijakan	Wajib?	Catatan
   AWSLakeFormationDataAdmin	Wajib	Izin administrator danau data dasar. Kebijakan AWS terkelola ini berisi penolakan eksplisit untuk operasi Lake Formation API, PutDataLakeSetting yang membatasi pengguna membuat administrator danau data baru.
   AWSGlueConsoleFullAccess, CloudWatchLogsReadOnlyAccess	Opsional	Lampirkan kebijakan ini jika administrator danau data akan memecahkan masalah alur kerja yang dibuat dari cetak biru Lake Formation. Kebijakan ini memungkinkan administrator danau data untuk melihat informasi pemecahan masalah di AWS Glue konsol dan Amazon CloudWatch Logs konsol. Untuk informasi tentang alur kerja, lihatMengimpor data menggunakan alur kerja di Lake Formation.
   AWSLakeFormationCrossAccountManager	Opsional	Lampirkan kebijakan ini untuk mengaktifkan administrator danau data untuk memberikan dan mencabut izin lintas akun pada sumber daya Katalog Data. Untuk informasi selengkapnya, lihat Cross-account berbagi data di Lake Formation.
   AmazonAthenaFullAccess	Opsional	Lampirkan kebijakan ini jika administrator danau data akan menjalankan kueri di Amazon Athena.

2. Lampirkan kebijakan sebaris berikut, yang memberikan izin administrator danau data untuk membuat peran terkait layanan Lake Formation. Nama yang disarankan untuk kebijakan tersebut adalahLakeFormationSLR.

   Peran terkait layanan memungkinkan administrator danau data untuk lebih mudah mendaftarkan lokasi Amazon S3 dengan Lake Formation. Untuk informasi lebih lanjut tentang peran terkait layanan Formasi Danau, lihat. Menggunakan peran terkait layanan untuk Lake Formation

   penting

   Dalam semua kebijakan berikut, ganti <account-id> dengan nomor AWS akun yang valid.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "iam:CreateServiceLinkedRole",
               "Resource": "*",
               "Condition": {
                   "StringEquals": {
                       "iam:AWSServiceName": "lakeformation.amazonaws.com"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "iam:PutRolePolicy"
               ],
               "Resource": "arn:aws:iam::<account-id>:role/aws-service-role/lakeformation.amazonaws.com/AWSServiceRoleForLakeFormationDataAccess"
           }
       ]
   }
   

3. (Opsional) Lampirkan kebijakan PassRole sebaris berikut ke pengguna. Kebijakan ini memungkinkan administrator danau data untuk membuat dan menjalankan alur kerja. Iz iam:PassRole in memungkinkan alur kerja untuk mengambil peran LakeFormationWorkflowRole untuk membuat crawler dan pekerjaan, dan untuk melampirkan peran ke crawler dan pekerjaan yang dibuat. Nama yang disarankan untuk kebijakan tersebut adalahUserPassRole.

   penting

   Ganti <account-id> dengan nomor re AWS kening yang valid.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Sid": "PassRolePermissions",
               "Effect": "Allow",
               "Action": [
                   "iam:PassRole"
               ],
               "Resource": [
                   "arn:aws:iam::111122223333:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }
   

4. (Opsional) Lampirkan kebijakan inline tambahan ini jika akun Anda akan memberikan atau menerima izin Formasi Danau lintas akun. Kebijakan ini memungkinkan administrator danau data untuk melihat dan menerima undangan berbagi sumber daya AWS Resource Access Manager (AWS RAM). Selain itu, untuk administrator danau data di akun AWS Organizations manajemen, kebijakan menyertakan izin untuk mengaktifkan hibah lintas akun kepada organisasi. Untuk informasi selengkapnya, lihat Cross-account berbagi data di Lake Formation.

   Nama yang disarankan untuk kebijakan tersebut adalahRAMAccess.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ram:AcceptResourceShareInvitation",
                   "ram:RejectResourceShareInvitation",
                   "ec2:DescribeAvailabilityZones",
                   "ram:EnableSharingWithAwsOrganization"
               ],
               "Resource": "*"
           }
       ]
   }
   

5. Buka AWS Lake Formation konsol di https://console.aws.amazon.com/lakeformation/ dan masuk sebagai pengguna dengan kebijakan ter AdministratorAccess AWS kelola.

6. Jika jendela Welcome to Lake Formation muncul, pilih pengguna IAM yang Anda buat atau pilih di Langkah 1, lalu pilih Mulai.

7. Jika Anda tidak melihat jendela Welcome to Lake Formation, maka lakukan langkah-langkah berikut untuk mengonfigurasi Administrator Formasi Danau.

   1. Di panel navigasi, di bawah Administrasi, pilih Per an dan tugas administratif. Di bagian Administrator danau data pada halaman konsol, pilih Tam bah.

   2. Di kotak dialog Tambah administrator, di bawah Jenis akses, pilih Administrator danau data.

   3. Untuk pengguna dan peran IAM, pilih pengguna IAM yang Anda buat atau pilih di Langkah 1, lalu pilih Simpan.

Untuk mengubah pengaturan Katalog Data default

1. Lanjutkan di konsol Formasi Danau di https://console.aws.amazon.com/lakeformation/. Pastikan Anda masuk sebagai pengguna dengan kebijakan ter AdministratorAccess AWS kelola.

2. Ubah pengaturan Katalog Data:

   1. Di panel navigasi, di bawah Administrasi, pilih pengaturan Katalog Data.

   2. Kosongkan kedua kotak centang dan pilih Simpan.

      

3. Cabut IAMAllowedPrincipals izin untuk pembuat basis data.

   1. Di panel navigasi, di bawah Administrasi, pilih Per an dan tugas administratif.

   2. Di halaman konsol Peran dan tugas administratif, di bagian Pembuat database, pilih IAMAllowedPrincipals grup, lalu pilih Cab ut.

      Ko tak dialog Cabut izin muncul, menunjukkan bahwa IAMAllowedPrincipals memiliki izin Buat database.

   3. Pilih Cabut.

Untuk melampirkan izin ke pengguna non-administrator untuk mengakses data Lake Formation

1. Buka konsol IAM di https://console.aws.amazon.com/iam dan masuk sebagai pengguna dengan kebijakan terkel AdministratorAccess AWS ola.

2. Pilih Pengguna atau Grup Pengguna.

3. Dalam daftar, pilih nama pengguna atau grup untuk menyematkan kebijakan.

   Pilih Izin.

4. Pilih Tambah izin, dan pilih Lamp irkan kebijakan secara langsung. Masukkan Athena di bidang teks kebijakan filter. Dalam daftar hasil, centang kotak untukAmazonAthenaFullAccess.

5. Pilih tombol Buat kebijakan. Di halaman Buat kebijakan, pilih tab JSON. Salin dan tempel kode berikut ke editor kebijakan.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"
               ],
               "Resource": "*"
           }
       ]
   }
   

6. Pilih Berikutnya hingga Anda melihat halaman Kebijakan Tinjauan. Masukkan nama untuk kebijakan, misalnya,DatalakeUserBasic. Pilih Buat kebijakan, lalu tutup tab Kebijakan atau jendela browser.

Untuk memilih untuk mengizinkan mesin pihak ketiga mengakses dan memfilter data (konsol)

1. Lanjutkan di konsol Formasi Danau di https://console.aws.amazon.com/lakeformation/. Pastikan Anda masuk sebagai kepala sekolah yang memiliki izin IAM pada operasi PutDataLakeSettings API Formasi Danau. Pengguna administrator IAM yang Anda buat Mendaftar untuk Akun AWS memiliki izin ini.

2. Di panel navigasi, di bawah Administrasi, pilih Pengaturan integrasi aplikasi.

3. Pada halaman Pengaturan integrasi aplikasi, lakukan hal berikut:

   1. Centang kotak Iz inkan mesin eksternal memfilter data di lokasi Amazon S3 yang terdaftar di Lake Formation.

   2. Masukkan nilai tag sesi yang ditentukan untuk mesin pihak ketiga.

   3. Untuk ID AWS akun, masukkan ID akun tempat mesin pihak ketiga diizinkan mengakses lokasi yang terdaftar di Lake Formation. Tek an Enter setelah setiap ID akun.

   4. Pilih Simpan.

Untuk membuat peran IAM untuk alur kerja

1. Buka konsol IAM di https://console.aws.amazon.com/iam dan masuk sebagai pengguna dengan kebijakan terkel AdministratorAccess AWS ola.

2. Di panel navigasi, pilih Per an, lalu Buat peran.

3. Pada halaman Buat peran, pilih AWS layanan, lalu pilih Lem. Pilih Berikutnya.

4. Pada halaman Tambah izin, cari kebijakan ter AWSGlueServiceRole kelola, dan pilih kotak centang di sebelah nama kebijakan dalam daftar. Kemudian selesaikan wizard Buat peran, beri nama peranLFWorkflowRole. Untuk menyelesaikannya, pilih Buat peran.

5. Kembali ke halaman Peran, cariLFWorkflowRole, dan pilih nama peran.

6. Pada halaman Ring kasan peran, di bawah tab Izin, pilih Buat kebijakan sebaris. Pada layar Buat kebijakan, navigasikan ke tab JSON, dan tambahkan kebijakan sebaris berikut. Nama yang disarankan untuk kebijakan tersebut adalahLakeFormationWorkflow.

   penting

   Dalam kebijakan berikut, ganti <account-id> dengan Akun AWS nomor yang valid.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                    "lakeformation:GetDataAccess",
                    "lakeformation:GrantPermissions"
                ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": ["iam:PassRole"],
               "Resource": [
                   "arn:aws:iam::111122223333:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }
   

   Berikut ini adalah deskripsi singkat tentang izin dalam kebijakan ini:

   • lakeformation:GetDataAccessmemungkinkan pekerjaan yang dibuat oleh alur kerja untuk menulis ke lokasi target.

   • lakeformation:GrantPermissionsmemungkinkan alur kerja untuk memberikan SELECT izin pada tabel target.

   • iam:PassRolememungkinkan layanan untuk mengambil peran LakeFormationWorkflowRole untuk membuat crawler dan pekerjaan (contoh alur kerja), dan untuk melampirkan peran ke crawler dan pekerjaan yang dibuat.

7. Pastikan peran tersebut LakeFormationWorkflowRole memiliki dua kebijakan yang terlampir.

8. Jika Anda menelan data yang berada di luar lokasi danau data, tambahkan kebijakan sebaris yang memberikan izin untuk membaca data sumber.