Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Membuat data lake dari JDBC sumber di Lake Formation
Tutorial ini memandu Anda melalui langkah-langkah yang harus diambil pada AWS Lake Formation konsol untuk membuat dan memuat data lake pertama Anda dari JDBC sumber menggunakan Lake Formation.
Topik
- Audiens yang dituju
- JDBCprasyarat tutorial
- Langkah 1: Buat pengguna analis data
- Langkah 2: Buat koneksi di AWS Glue
- Langkah 3: Buat bucket Amazon S3 untuk data lake
- Langkah 4: Daftarkan jalur Amazon S3
- Langkah 5: Berikan izin lokasi data
- Langkah 6: Buat database di Katalog Data
- Langkah 7: Berikan izin data
- Langkah 8: Gunakan cetak biru untuk membuat alur kerja
- Langkah 9: Jalankan alur kerja
- Langkah 10: Hibah SELECT di atas meja
- Langkah 11: Kueri data lake menggunakan Amazon Athena
- Langkah 12: Kueri data di danau data menggunakan Amazon Redshift Spectrum
- Langkah 13: Berikan atau cabut izin Lake Formation menggunakan Amazon Redshift Spectrum
Audiens yang dituju
Tabel berikut mencantumkan peran yang digunakan dalam AWS Lake Formation JDBCtutorial ini.
Peran | Deskripsi |
---|---|
IAMadministrator | Pengguna yang dapat membuat AWS Identity and Access Management (IAM) pengguna dan peran serta bucket Amazon Simple Storage Service (Amazon S3). Memiliki kebijakan yang AdministratorAccess AWS dikelola. |
Administrator danau data | Pengguna yang dapat mengakses Katalog Data, membuat database, dan memberikan izin Lake Formation kepada pengguna lain. Memiliki IAM izin lebih sedikit daripada IAM administrator, tetapi cukup untuk mengelola data lake. |
Analis data | Pengguna yang dapat menjalankan kueri terhadap data lake. Hanya memiliki izin yang cukup untuk menjalankan kueri. |
Peran alur kerja | Peran dengan IAM kebijakan yang diperlukan untuk menjalankan alur kerja. |
Untuk informasi tentang prasyarat untuk menyelesaikan tutorial, lihat. JDBCprasyarat tutorial
JDBCprasyarat tutorial
Sebelum Anda memulai AWS Lake Formation JDBCtutorial, pastikan bahwa Anda telah melakukan hal berikut:
-
Selesaikan tugas dalam Memulai dengan Lake Formation.
-
Tentukan penyimpanan data JDBC yang dapat diakses yang ingin Anda gunakan untuk tutorial.
-
Kumpulkan informasi yang diperlukan untuk membuat AWS Glue koneksi tipeJDBC. Objek Katalog Data ini mencakup URL ke penyimpanan data, kredensi login, dan jika penyimpanan data dibuat di Amazon Virtual Private Cloud VPC (Amazon), informasi konfigurasi VPC khusus tambahan. Untuk informasi selengkapnya, lihat Mendefinisikan Koneksi di Katalog AWS Glue Data di Panduan AWS Glue Pengembang.
Tutorial mengasumsikan bahwa Anda sudah familiar dengan AWS Identity and Access Management (IAM). Untuk selengkapnyaIAM, lihat Panduan IAM Pengguna.
Untuk memulai, lanjutkan keLangkah 1: Buat pengguna analis data.
Langkah 1: Buat pengguna analis data
Pada langkah ini, Anda membuat pengguna AWS Identity and Access Management (IAM) untuk menjadi analis data untuk data lake Anda AWS Lake Formation.
Pengguna ini memiliki set izin minimum untuk menanyakan data lake.
-
Buka konsol IAM di https://console.aws.amazon.com/iam
. Masuk sebagai pengguna administrator yang Anda buat Buat pengguna dengan akses administratif atau sebagai pengguna dengan kebijakan AdministratorAccess
AWS terkelola. -
Buat pengguna bernama
datalake_user
dengan pengaturan berikut:-
Aktifkan AWS Management Console akses.
-
Tetapkan kata sandi dan tidak memerlukan pengaturan ulang kata sandi.
-
Lampirkan kebijakan
AmazonAthenaFullAccess
AWS terkelola. -
Lampirkan kebijakan inline berikut. Sebutkan kebijakan
DatalakeUserBasic
.{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "lakeformation:GetDataAccess", "glue:GetTable", "glue:GetTables", "glue:SearchTables", "glue:GetDatabase", "glue:GetDatabases", "glue:GetPartitions", "lakeformation:GetResourceLFTags", "lakeformation:ListLFTags", "lakeformation:GetLFTag", "lakeformation:SearchTablesByLFTags", "lakeformation:SearchDatabasesByLFTags" ], "Resource": "*" } ] }
-
Langkah 2: Buat koneksi di AWS Glue
catatan
Lewati langkah ini jika Anda sudah memiliki AWS Glue koneksi ke sumber JDBC data Anda.
AWS Lake Formation mengakses sumber JDBC data melalui AWS Glue koneksi. Koneksi adalah objek Katalog Data yang berisi semua informasi yang diperlukan untuk terhubung ke sumber data. Anda dapat membuat koneksi menggunakan AWS Glue konsol.
Untuk membuat koneksi
-
Buka konsol AWS Glue dihttps://console.aws.amazon.com/glue/
, dan masuk sebagai pengguna administrator yang Anda buatBuat pengguna dengan akses administratif. -
Pada panel navigasi, di Katalog data, pilih Koneksi.
-
Pada halaman Konektor, pilih Buat konektor kustom.
-
Pada halaman Properti konektor, masukkan
datalake-tutorial
sebagai nama koneksi, dan pilih JDBCsebagai jenis koneksi. Lalu pilih Berikutnya. -
Lanjutkan melalui wizard koneksi dan simpan koneksi.
Untuk informasi tentang membuat sambungan, lihat properti AWS Glue JDBC koneksi di Panduan AWS Glue Pengembang.
Langkah 3: Buat bucket Amazon S3 untuk data lake
Pada langkah ini, Anda membuat bucket Amazon Simple Storage Service (Amazon S3) Simple Storage Service (Amazon S3) yang akan menjadi lokasi root danau data Anda.
-
Buka konsol Amazon S3 di https://console.aws.amazon.com/s3/
dan masuk sebagai pengguna administrator yang Anda buat. Buat pengguna dengan akses administratif -
Pilih Buat ember, dan buka wizard untuk membuat ember bernama
, di mana<yourName>
-datalake-tutorial<yourName>
adalah nama awal dan belakang pertama Anda. Sebagai contoh:jdoe-datalake-tutorial
.Untuk petunjuk mendetail tentang cara membuat bucket Amazon S3, lihat Bagaimana Cara Membuat Bucket S3? di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.
Langkah 4: Daftarkan jalur Amazon S3
Pada langkah ini, Anda mendaftarkan jalur Amazon Simple Storage Service (Amazon S3) sebagai lokasi root danau data Anda.
-
Buka konsol Lake Formation di https://console.aws.amazon.com/lakeformation/
. Masuk sebagai administrator danau data. -
Di panel navigasi, di bawah Administrasi, pilih Lokasi danau data.
-
Pilih Daftarkan lokasi, lalu pilih Jelajahi.
-
Pilih
bucket yang Anda buat sebelumnya, terima IAM peran default<yourName>
-datalake-tutorialAWSServiceRoleForLakeFormationDataAccess
, lalu pilih Daftar lokasi.Untuk informasi selengkapnya tentang mendaftarkan lokasi, lihatMenambahkan lokasi Amazon S3 ke danau data Anda.
Langkah 5: Berikan izin lokasi data
Prinsipal harus memiliki izin lokasi data pada lokasi danau data untuk membuat tabel Katalog Data atau database yang mengarah ke lokasi tersebut. Anda harus memberikan izin lokasi data ke IAM peran alur kerja sehingga alur kerja dapat menulis ke tujuan konsumsi data.
-
Di konsol Lake Formation, di panel navigasi, di bawah Izin, pilih Lokasi data.
-
Pilih Hibah, dan di kotak dialog Hibah izin, lakukan hal berikut:
-
Untuk IAMpengguna dan peran, pilih
LakeFormationWorkflowRole
. -
Untuk lokasi Penyimpanan, pilih
bucket Anda.<yourName>
-datalake-tutorial
-
-
PilihIzin.
Untuk informasi selengkapnya tentang izin lokasi data, lihatUnderlying data access control.
Langkah 6: Buat database di Katalog Data
Tabel metadata dalam Katalog Data Lake Formation disimpan dalam database.
-
Di konsol Lake Formation, di panel navigasi, di bawah Katalog data, pilih Database.
-
Pilih Buat database, dan di bawah rincian Database, masukkan nama
lakeformation_tutorial
. -
Biarkan bidang lainnya kosong, dan pilih Buat database.
Langkah 7: Berikan izin data
Anda harus memberikan izin untuk membuat tabel metadata di Katalog Data. Karena alur kerja berjalan dengan peranLakeFormationWorkflowRole
, Anda harus memberikan izin ini ke peran tersebut.
-
Di konsol Lake Formation, di panel navigasi, di bawah Izin, pilih Izin danau data.
-
Pilih Hibah, dan di kotak dialog Hibah izin data, lakukan hal berikut:
-
Di bawah Prinsipal, untuk IAMpengguna dan peran, pilih.
LakeFormationWorkflowRole
-
Di bawah LF-tag atau sumber katalog, pilih Sumber daya katalog data bernama.
-
Untuk Database, pilih database yang Anda buat sebelumnya.
lakeformation_tutorial
-
Di bawah Izin database, pilih Buat tabel, Ubah, dan Jatuhkan, dan hapus Super jika dipilih.
-
-
PilihIzin.
Untuk informasi selengkapnya tentang pemberian izin Lake Formation, lihat. Ikhtisar izin Lake Formation
Langkah 8: Gunakan cetak biru untuk membuat alur kerja
AWS Lake Formation Alur kerja menghasilkan AWS Glue pekerjaan, crawler, dan pemicu yang menemukan dan menelan data ke dalam data lake Anda. Anda membuat alur kerja berdasarkan salah satu cetak biru Lake Formation yang telah ditentukan sebelumnya.
-
Di konsol Lake Formation, di panel navigasi, pilih Blueprints, lalu pilih Use blueprint.
-
Pada halaman Gunakan cetak biru, di bawah Jenis cetak biru, pilih snapshot Database.
-
Di bawah Impor sumber, untuk koneksi Database, pilih koneksi yang baru saja Anda buat
datalake-tutorial
, atau pilih sambungan yang ada untuk sumber data Anda. -
Untuk jalur data Sumber, masukkan jalur untuk menelan data, dalam formulir
.<database>
/<schema>
/<table>
Anda dapat mengganti wildcard persen (%) untuk skema atau tabel. Untuk database yang mendukung skema, masukkan
<database>
/<schema>
/% untuk mencocokkan semua tabel di<schema>
dalam<database>
. Oracle Database dan My SQL tidak mendukung skema di jalur; sebagai gantinya, masukkan<database>
/%. Untuk Database Oracle,<database>
adalah pengenal sistem (SID).Misalnya, jika database Oracle memilikinya
orcl
SID, masukkanorcl/%
untuk mencocokkan semua tabel yang dapat diakses oleh pengguna yang ditentukan dalam JDCB koneksi.penting
Bidang ini peka terhadap huruf besar dan kecil.
-
Di bawah target Impor, tentukan parameter ini:
Basis data target lakeformation_tutorial
Target lokasi penyimpanan s3://
<yourName>
-datalake-tutorialFormat data (Pilih Parket atauCSV) -
Untuk frekuensi impor, pilih Jalankan sesuai permintaan.
-
Di bawah opsi Impor, tentukan parameter ini:
Nama alur kerja lakeformationjdbctest
IAMperan LakeFormationWorkflowRole
Awalan tabel jdbctest
catatan
Harus huruf kecil.
-
Pilih Buat, dan tunggu konsol melaporkan bahwa alur kerja berhasil dibuat.
Tip
Apakah Anda mendapatkan pesan kesalahan berikut?
User: arn:aws:iam::
<account-id>
:user/<datalake_administrator_user>
is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>
:role/LakeFormationWorkflowRole...Jika demikian, periksa apakah Anda mengganti
<account-id>
dalam kebijakan inline untuk pengguna administrator danau data dengan nomor AWS akun yang valid.
Langkah 9: Jalankan alur kerja
Karena Anda menentukan bahwa alur kerjanya run-on-demand, Anda harus memulai alur kerja secara manual. AWS Lake Formation
-
Di konsol Lake Formation, pada halaman Blueprints, pilih alur kerja.
lakeformationjdbctest
-
Pilih Tindakan, lalu pilih Mulai.
-
Saat alur kerja berjalan, lihat kemajuannya di kolom Status Last run. Pilih tombol refresh sesekali.
Statusnya berubah dari RUNNING, ke Menemukan, Mengimpor, ke. COMPLETED
Saat alur kerja selesai:
-
Katalog Data memiliki tabel metadata baru.
-
Data Anda tertelan ke danau data.
Jika alur kerja gagal, lakukan hal berikut:
-
Pilih alur kerja. Pilih Tindakan, lalu pilih Lihat grafik.
Alur kerja terbuka di AWS Glue konsol.
-
Pilih alur kerja dan pilih tab History.
-
Pilih run terbaru dan pilih View run details.
-
Pilih job atau crawler yang gagal dalam grafik dinamis (runtime), dan tinjau pesan galatnya. Node yang gagal berwarna merah atau kuning.
-
Langkah 10: Hibah SELECT di atas meja
Anda harus memberikan SELECT
izin pada tabel Katalog Data baru AWS Lake Formation agar analis data dapat melakukan kueri data yang ditunjukkan tabel.
catatan
Alur kerja secara otomatis memberikan SELECT
izin pada tabel yang dibuatnya kepada pengguna yang menjalankannya. Karena administrator data lake menjalankan alur kerja ini, Anda harus memberikan SELECT
kepada analis data.
-
Di konsol Lake Formation, di panel navigasi, di bawah Izin, pilih Izin danau data.
-
Pilih Hibah, dan di kotak dialog Hibah izin data, lakukan hal berikut:
-
Di bawah Prinsipal, untuk IAMpengguna dan peran, pilih.
datalake_user
-
Di bawah LF-tag atau sumber katalog, pilih Sumber daya katalog data bernama.
-
Untuk Database, pilih
lakeformation_tutorial
.Daftar Tabel terisi.
-
Untuk Tabel, pilih satu atau beberapa tabel dari sumber data Anda.
-
Di bawah Izin tabel dan kolom, pilih Pilih.
-
-
PilihIzin.
Langkah selanjutnya dilakukan sebagai analis data.
Langkah 11: Kueri data lake menggunakan Amazon Athena
Gunakan Amazon Athena konsol untuk menanyakan data di danau data Anda.
-
Buka konsol Athena di https://console.aws.amazon.com/athena/
, dan masuk sebagai analis data, pengguna. datalake_user
-
Jika perlu, pilih Mulai untuk melanjutkan ke editor kueri Athena.
-
Untuk Sumber Data, pilih AwsDataCatalog.
-
Untuk Database, pilih
lakeformation_tutorial
.Daftar Tabel terisi.
-
Di menu pop-up di samping salah satu tabel, pilih tabel Pratinjau.
Kueri berjalan dan menampilkan 10 baris data.
Langkah 12: Kueri data di danau data menggunakan Amazon Redshift Spectrum
Anda dapat mengatur Amazon Redshift Spectrum untuk menanyakan data yang Anda impor ke Amazon Simple Storage Service (Amazon S3) data lake. Pertama, buat peran AWS Identity and Access Management (IAM) yang digunakan untuk meluncurkan cluster Amazon Redshift dan untuk menanyakan data Amazon S3. Kemudian, berikan peran ini Select
izin pada tabel yang ingin Anda kueri. Kemudian, berikan izin pengguna untuk menggunakan editor kueri Amazon Redshift. Terakhir, buat cluster Amazon Redshift dan jalankan kueri.
Anda membuat klaster sebagai administrator, dan menanyakan klaster sebagai analis data.
Untuk informasi selengkapnya tentang Amazon Redshift Spectrum, lihat Menggunakan Amazon Redshift Spectrum untuk Menanyakan Data Eksternal di Panduan Pengembang Basis Data Amazon Redshift.
Untuk mengatur izin untuk menjalankan kueri Amazon Redshift
-
Buka IAM konsol di https://console.aws.amazon.com/iam/
. Masuk sebagai pengguna administrator yang Anda buat Buat pengguna dengan akses administratif (nama pengguna Administrator
) atau sebagai pengguna dengan kebijakanAdministratorAccess
AWS terkelola. -
Di panel navigasi, pilih Kebijakan.
Jika ini pertama kalinya Anda memilih Kebijakan, akan muncul halaman Selamat Datang di Kebijakan Terkelola. Pilih Memulai.
-
Pilih Buat kebijakan.
-
Pilih JSONtab.
-
Tempel di dokumen JSON kebijakan berikut.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "lakeformation:GetDataAccess", "glue:GetTable", "glue:GetTables", "glue:SearchTables", "glue:GetDatabase", "glue:GetDatabases", "glue:GetPartitions", "lakeformation:GetResourceLFTags", "lakeformation:ListLFTags", "lakeformation:GetLFTag", "lakeformation:SearchTablesByLFTags", "lakeformation:SearchDatabasesByLFTags" ], "Resource": "*" } ] }
-
Setelah selesai, pilih Tinjau untuk meninjau kebijakan. Validator kebijakan melaporkan kesalahan sintaksis.
-
Pada halaman Kebijakan ulasan, masukkan Nama
RedshiftLakeFormationPolicy
untuk kebijakan yang Anda buat. Masukkan Deskripsi (opsional). Ulas Ringkasan kebijakan untuk melihat izin yang diberikan oleh kebijakan Anda. Kemudian pilih Buat kebijakan untuk menyimpan pekerjaan Anda. -
Di panel navigasi IAM konsol, pilih Peran, lalu pilih Buat peran.
-
Untuk Pilih entitas tepercaya, pilih AWS layanan.
-
Pilih layanan Amazon Redshift untuk mengambil peran ini.
-
Pilih kasus penggunaan Redshift Customizable untuk layanan Anda. Kemudian, pilih Selanjutnya: Izin.
-
Cari kebijakan izin yang Anda buat
RedshiftLakeFormationPolicy
, dan pilih kotak centang di samping nama kebijakan dalam daftar. -
Pilih Selanjutnya: Tag.
-
Pilih Berikutnya: Tinjau.
-
Untuk nama Peran, masukkan nama
RedshiftLakeFormationRole
. -
(Opsional) Untuk Deskripsi peran, masukkan deskripsi.
-
Tinjau peran lalu pilih Buat peran.
Untuk memberikan Select
izin pada tabel yang akan ditanyakan dalam database Lake Formation
-
Buka konsol Lake Formation di https://console.aws.amazon.com/lakeformation/
. Masuk sebagai administrator danau data. -
Di panel navigasi, di bawah Izin, pilih Izin data lake, lalu pilih Grant.
-
Saat diminta, berikan informasi berikut:
-
Untuk IAMpengguna dan peran, pilih IAM peran yang Anda buat
RedshiftLakeFormationRole
. Saat Anda menjalankan Amazon Redshift Query Editor, ia menggunakan IAM peran ini untuk izin ke data. -
Untuk Database, pilih
lakeformation_tutorial
.Daftar tabel terisi.
-
Untuk Tabel, pilih tabel dalam sumber data untuk kueri.
-
Pilih izin Pilih tabel.
-
-
PilihIzin.
Untuk mengatur Amazon Redshift Spectrum dan menjalankan kueri
-
Buka konsol Amazon Redshift di. https://console.aws.amazon.com/redshift
Masuk sebagai pengguna Administrator
. -
Pilih Buat klaster.
-
Pada halaman Create cluster, masukkan
redshift-lakeformation-demo
untuk pengenal Cluster. -
Untuk tipe Node, pilih dc2.large.
-
Gulir ke bawah, dan di bawah konfigurasi Database, masukkan atau terima parameter ini:
-
Nama pengguna admin:
awsuser
-
Kata sandi pengguna admin:
(
Choose a password
)
-
-
Perluas izin Cluster, dan untuk IAMperan yang Tersedia, pilih RedshiftLakeFormationRole. Kemudian pilih Tambahkan IAM peran.
-
Jika Anda harus menggunakan port yang berbeda dari nilai default 5439, di samping Konfigurasi tambahan, matikan opsi Gunakan default. Perluas bagian untuk konfigurasi Database, dan masukkan nomor port Database baru.
-
Pilih Buat klaster.
Halaman Clusters dimuat.
-
Tunggu hingga status klaster menjadi Tersedia. Pilih ikon penyegaran secara berkala.
-
Berikan izin analis data untuk menjalankan kueri terhadap cluster. Untuk melakukannya, selesaikan langkah-langkah berikut.
-
Buka IAM konsol di https://console.aws.amazon.com/iam/
, dan masuk sebagai Administrator
pengguna. -
Di panel navigasi, pilih Pengguna, dan lampirkan kebijakan terkelola berikut ke pengguna
datalake_user
.-
AmazonRedshiftQueryEditor
-
AmazonRedshiftReadOnlyAccess
-
-
-
Keluar dari konsol Amazon Redshift dan masuk kembali sebagai pengguna.
datalake_user
-
Di bilah alat vertikal kiri, pilih EDITORikon untuk membuka editor kueri dan sambungkan ke cluster. Jika kotak dialog Connect to database muncul, pilih nama cluster
redshift-lakeformation-demo
, dan masukkan nama databasedev
, nama penggunaawsuser
, dan kata sandi yang Anda buat. Kemudian pilih Connect to database.catatan
Jika Anda tidak diminta untuk parameter koneksi dan cluster lain sudah dipilih di editor kueri, pilih Ubah Koneksi untuk membuka kotak dialog Connect to database.
-
Di kotak teks New Query 1, masukkan dan jalankan pernyataan berikut untuk memetakan database
lakeformation_tutorial
di Lake Formation ke nama skema Amazon Redshift:redshift_jdbc
penting
Ganti
<account-id>
dengan nomor AWS rekening yang valid, dan<region>
dengan nama AWS Region yang valid (misalnya,us-east-1
).create external schema if not exists redshift_jdbc from DATA CATALOG database 'lakeformation_tutorial' iam_role 'arn:aws:iam::
<account-id>
:role/RedshiftLakeFormationRole' region '<region>
'; -
Dalam daftar skema di bawah Pilih skema, pilih redshift_jdbc.
Daftar tabel terisi. Editor kueri hanya menampilkan tabel di mana Anda diberikan izin danau data Lake Formation.
-
Pada menu pop-up di samping nama tabel, pilih Pratinjau data.
Amazon Redshift mengembalikan 10 baris pertama.
Anda sekarang dapat menjalankan kueri terhadap tabel dan kolom yang Anda memiliki izin.
Langkah 13: Berikan atau cabut izin Lake Formation menggunakan Amazon Redshift Spectrum
Amazon Redshift mendukung kemampuan untuk memberikan dan mencabut izin Lake Formation pada database dan tabel menggunakan pernyataan yang dimodifikasi. SQL Pernyataan ini mirip dengan pernyataan Amazon Redshift yang ada. Untuk informasi selengkapnya, lihat GRANTdan REVOKEdi Panduan Pengembang Database Amazon Redshift.