Tutorial: Menggunakan AWS Glue Konektor untuk Elasticsearch

Masuk ke konsol AWS Secrets Manager tersebut.

Pada halaman pengenalan layanan atau halaman daftar Rahasia, pilih Menyimpan rahasia baru.

Pada halaman Menyimpan rahasia baru, pilih Jenis rahasia lainnya. Pilihan ini berarti Anda harus menyediakan struktur dan detail rahasia Anda.

Tambahkan pasangan Kunci dan Nilai untuk nama pengguna OpenSearch cluster. Sebagai contoh:

es.net.http.auth.user: username

Pilih + Tambahkan baris, dan masukkan pasangan nilai-kunci lain untuk kata sandi. Sebagai contoh:

es.net.http.auth.pass: password

Pilih Berikutnya.

Masukkan nama rahasia. Misalnya: my-es-secret. Anda dapat menyertakan sebuah deskripsi.

Catat nama rahasia, yang akan digunakan nanti dalam tutorial ini, dan kemudian pilih Selanjutnya.

Pilih Selanjutnya lagi, lalu pilih Menyimpan untuk menciptakan rahasia.

Jika Anda belum mengonfigurasi AWS akun Anda untuk menggunakan License Manager, lakukan hal berikut:

1. Buka AWS License Manager konsol di https://console.aws.amazon.com/license-manager.

2. Pilih Buat lisensi terkelola pelanggan.

3. Di jendela IAMizin (pengaturan satu kali), pilih Saya memberikan izin AWS License Manager yang diperlukan, lalu pilih Berikan izin.

   Jika Anda tidak melihat jendela ini, maka berarti Anda telah mengkonfigurasi izin yang diperlukan.

Buka konsol AWS Glue Studio di https://console.aws.amazon.com/gluestudio/.

Di AWS Glue Studio konsol, perluas ikon menu ( ), lalu pilih Konektor di panel navigasi.

Pada halaman Konektor, pilih Buka AWS Marketplace.

Di AWS Marketplace, di bagian Cari AWS Glue Studio produk, masukkan AWS Glue Konektor untuk Elasticsearch di bidang pencarian, lalu tekan Enter.

Pilih nama konektor, AWS Glue Konektor untuk Elasticsearch.

Pada halaman produk untuk konektor, gunakan tab untuk melihat informasi tentang konektor tersebut. Saat Anda siap melanjutkan, pilih Lanjutkan ke Berlangganan.

Tinjau ketentuan penggunaan untuk perangkat lunak. Klik Terima Ketentuan.

Ketika proses berlangganan selesai, Anda akan melihat pemberitahuan: “Terima kasih telah berlangganan produk ini! Anda sekarang dapat mengkonfigurasi perangkat lunak Anda.” Di atas spanduk akan ada tombol Lanjutkan ke Konfigurasi. Pilih Lanjutkan ke Konfigurasi.

Pilih opsi Pemenuhan pada halaman Konfigurasikan perangkat lunak ini. Anda dapat memilih antara AWS Glue 1.0/2.0 atau AWS Glue 3.0. Kemudian, pilih Continue to Launch.

Pada halaman Luncurkan perangkat lunak ini di AWS Marketplace konsol, pilih Petunjuk Penggunaan, lalu pilih tautan di jendela yang muncul.

Browser Anda dialihkan ke AWS Glue Studio konsol Buat halaman koneksi marketplace.

Masukkan nama untuk koneksi tersebut. Misalnya: my-es-connection.

Di bagian Akses koneksi, untuk Jenis kredensial koneksi, pilih Nama pengguna dan kata sandi.

Untuk Rahasia AWS , masukkan nama rahasia Anda. Misalnya: my-es-secret.

Di bagian Opsi jaringan, masukkan VPC informasi untuk terhubung ke OpenSearch cluster.

Pilih Buat koneksi dan aktifkan konektor.

Konfigurasikan izin sebagaimana yang dijelaskan di Meninjau IAM izin yang diperlukan untuk pekerjaan ETL.

Konfigurasikan izin tambahan yang diperlukan saat menggunakan konektor dengan AWS Glue Studio, seperti yang dijelaskan dalamIzin diperlukan untuk menggunakan konektor.

Di AWS Glue Studio, pilih Konektor.

Di daftar Koneksi Anda, pilih koneksi yang baru saja Anda buat dan pilih Buat tugas.

Dalam editor tugas visual, pilih Simpul sumber data. Di sebelah kanan, di tab Properti sumber data - Konektor, konfigurasi informasi tambahan untuk konektor.

1. Pilih Tambahkan skema dan masukkan skema set data dalam sumber data. Koneksi tidak menggunakan tabel yang disimpan dalam Katalog Data, yang AWS Glue Studio berarti tidak mengetahui skema data. Anda harus memberikan informasi skema ini secara manual. Untuk petunjuk tentang cara menggunakan editor skema, lihat Mengedit skema di simpul transformasi kustom.

2. Perluas Opsi koneksi.

3. Pilih Tambahkan opsi baru dan masukkan informasi yang diperlukan untuk konektor yang tidak dimasukkan dalam AWS rahasia:

   • es.nodes: https://< OpenSearch titik akhir domain>

   • es.port: 443

   • jalur: uji

   • es.nodes.wan.only: benar

   Untuk penjelasan tentang pilihan koneksi ini, lihat https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html.

Tambahkan simpul target ke grafik.

Target data Anda bisa berupa Amazon S3, atau dapat menggunakan formulir informasi dari AWS Glue Data Catalog atau konektor untuk menulis data di lokasi yang berbeda. Misalnya, Anda dapat menggunakan tabel Katalog Data untuk menulis ke database di AmazonRDS, atau Anda dapat menggunakan konektor sebagai target data untuk menulis ke penyimpanan data yang tidak didukung secara AWS Glue asli.

Jika Anda memilih sebuah konektor untuk target data Anda, maka Anda harus memilih sebuah koneksi yang dibuat untuk konektor tersebut. Selain itu, jika diperlukan oleh penyedia konektor, Anda harus menambahkan opsi untuk memberikan informasi tambahan ke konektor. Jika Anda menggunakan koneksi yang berisi informasi untuk AWS rahasia, maka Anda tidak perlu memberikan nama pengguna dan otentikasi kata sandi dalam opsi koneksi.

Opsional, tambahkan sumber data tambahan dan satu atau beberapa simpul transformasi seperti yang dijelaskan di Transformasi data dengan transformasi AWS Glue terkelola.

Konfigurasikan properti tugas seperti yang dijelaskan di Mengubah properti tugas, dimulai dengan langkah 3, dan simpan tugas.

Menggunakan AWS Glue Studio konsol, pada halaman editor visual, pilih Jalankan.

Dalam banner keberhasilan, pilih Detail Eksekusi, atau Anda dapat memilih tab Eksekusi di editor visual untuk melihat informasi tentang eksekusi tugas.