Gunakan konektor dan dependensi - Layanan Terkelola untuk Apache Flink

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan konektor dan dependensi

Konektor memungkinkan Anda membaca dan menulis data di berbagai teknologi. Layanan Terkelola untuk Apache Flink menggabungkan tiga konektor default dengan notebook Studio Anda. Anda juga dapat menggunakan konektor kustom. Untuk informasi selengkapnya tentang konektor, lihat Tabel & SQL Konektor di dokumentasi Apache Flink.

Konektor default

Jika Anda menggunakan AWS Management Console untuk membuat buku catatan Studio, Managed Service for Apache Flink menyertakan konektor kustom berikut secara default:flink-sql-connector-kinesis, flink-connector-kafka_2.12 dan. aws-msk-iam-auth Untuk membuat notebook Studio melalui konsol tanpa konektor khusus ini, pilih opsi Buat dengan pengaturan khusus. Selanjutnya, ketika Anda sampai di halaman Konfigurasi, hapus kotak centang di sebelah dua konektor.

Jika Anda menggunakan CreateApplicationAPIuntuk membuat notebook Studio, flink-connector-kafka konektor flink-sql-connector-flink dan tidak disertakan secara default. Untuk menambahkannya, tentukan konektor sebagai MavenReference di tipe data CustomArtifactsConfiguration seperti yang ditunjukkan dalam contoh berikut.

aws-msk-iam-authKonektor adalah konektor yang akan digunakan dengan Amazon MSK yang menyertakan fitur untuk mengautentikasi secara otomatis. IAM

catatan

Versi konektor yang ditunjukkan dalam contoh berikut adalah satu-satunya versi yang kami dukung.

For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]

Untuk menambahkan konektor ini ke notebook yang ada, gunakan UpdateApplicationAPIoperasi dan tentukan sebagai MavenReference tipe CustomArtifactsConfigurationUpdate data.

catatan

Anda dapat mengatur failOnError ke true untuk flink-sql-connector-kinesis konektor di tabelAPI.

Tambahkan dependensi dan konektor khusus

Untuk menggunakan AWS Management Console cara menambahkan dependensi atau konektor kustom ke notebook Studio Anda, ikuti langkah-langkah berikut:

  1. Unggah file konektor kustom Anda ke Amazon S3.

  2. Di bagian AWS Management Console, pilih opsi Custom create untuk membuat notebook Studio Anda.

  3. Ikuti alur kerja pembuatan notebook Studio hingga Anda sampai di langkah Konfigurasi.

  4. Di bagian Custom connectors (Konektor kustom), pilih Add custom connector (Tambahkan konektor kustom).

  5. Tentukan lokasi Amazon S3 dari dependensi atau konektor kustom.

  6. Pilih Save changes (Simpan perubahan).

Untuk menambahkan dependensi JAR atau konektor kustom saat Anda membuat notebook Studio baru menggunakan CreateApplicationAPI, tentukan lokasi Amazon S3 dari JAR dependensi atau konektor kustom dalam CustomArtifactsConfiguration tipe data. Untuk menambahkan dependensi atau konektor kustom ke notebook Studio yang ada, jalankan UpdateApplicationAPIoperasi dan tentukan lokasi Amazon S3 dari JAR dependensi atau konektor kustom dalam tipe data. CustomArtifactsConfigurationUpdate

catatan

Ketika Anda menyertakan dependensi atau konektor kustom, Anda juga harus menyertakan semua dependensi transitif yang tidak digabungkan di dalamnya.