Contoh Java untuk Managed Service untuk Apache Flink - Layanan Terkelola untuk Apache Flink

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Contoh Java untuk Managed Service untuk Apache Flink

Contoh berikut menunjukkan cara membuat aplikasi yang ditulis dalam Java.

catatan

Sebagian besar contoh dirancang untuk dijalankan secara lokal, di mesin pengembangan dan pilihan Anda, dan di Amazon Managed Service untuk Apache Flink. IDE Mereka mendemonstrasikan mekanisme yang dapat Anda gunakan untuk meneruskan parameter aplikasi, dan cara mengatur ketergantungan dengan benar untuk menjalankan aplikasi di kedua lingkungan tanpa perubahan.

Contoh ini menggambarkan cara mendefinisikan kustom TypeInfo pada objek record atau state Anda untuk mencegah serialisasi kembali ke serialisasi Kryo yang kurang efisien. Ini diperlukan, misalnya, ketika objek Anda berisi List atauMap. Untuk informasi selengkapnya, lihat Jenis Data & Serialisasi dalam dokumentasi Apache Flink. Contoh ini juga menunjukkan bagaimana menguji apakah serialisasi objek Anda kembali ke serialisasi Kryo yang kurang efisien.

Contoh kode: CustomTypeInfo

Contoh ini menunjukkan aplikasi sederhana, membaca dari aliran data Kinesis dan menulis ke aliran data Kinesis lain, menggunakan file. DataStream API Contoh ini menunjukkan cara mengatur file dengan dependensi yang benar, membangun uber-, dan kemudian mengurai parameter konfigurasiJAR, sehingga Anda dapat menjalankan aplikasi baik secara lokal, di Anda, IDE dan di Amazon Managed Service untuk Apache Flink.

Contoh kode: GettingStarted

Contoh ini menunjukkan aplikasi sederhana menggunakan Table API danSQL. Ini menunjukkan bagaimana mengintegrasikan DataStream API dengan Table API atau SQL dalam aplikasi Java yang sama. Ini juga menunjukkan bagaimana menggunakan DataGen konektor untuk menghasilkan data uji acak dari dalam aplikasi Flink itu sendiri, tidak memerlukan generator data eksternal.

Contoh lengkap: GettingStartedTable

Contoh ini menunjukkan cara menggunakan DataStream API's untuk menulis JSON file FileSink ke bucket S3.

Contoh kode: S3Sink

Contoh ini menunjukkan cara mengonfigurasi konsumsi sumber dari aliran data Kinesis, baik menggunakan konsumen standar EFO atau, dan cara mengatur sink ke aliran data Kinesis.

Contoh kode: KinesisConnectors

Contoh ini menunjukkan cara mengirim data ke Amazon Data Firehose (sebelumnya dikenal sebagai Kinesis Data Firehose).

Contoh kode: KinesisFirehoseSink

Contoh ini menunjukkan empat jenis agregasi windowing di. DataStream API

  1. Jendela Geser berdasarkan waktu pemrosesan

  2. Jendela Geser berdasarkan waktu acara

  3. Tumbling Window berdasarkan waktu pemrosesan

  4. Jatuh Jendela berdasarkan waktu acara

Contoh kode: Windowing

Contoh ini menunjukkan cara menambahkan metrik khusus ke aplikasi Flink Anda dan mengirimkannya ke CloudWatch metrik.

Contoh kode: CustomMetrics

Contoh ini menggambarkan bagaimana Anda dapat menggunakan Penyedia Konfigurasi Kafka untuk menyiapkan keystore kustom dan truststore dengan sertifikat untuk TLS otentikasi m untuk konektor Kafka. Teknik ini memungkinkan Anda memuat sertifikat kustom yang diperlukan dari Amazon S3 dan rahasia dari AWS Secrets Manager saat aplikasi dimulai.

Contoh kode: TLSKafka-m -Keystore- ConfigProviders

Contoh ini menggambarkan bagaimana Anda dapat menggunakan Penyedia Konfigurasi Kafka untuk mengambil kredensil dari AWS Secrets Manager dan mengunduh truststore dari Amazon S3 untuk mengatur/authetication pada konektor Kafka. SASL SCRAM Teknik ini memungkinkan Anda memuat sertifikat kustom yang diperlukan dari Amazon S3 dan rahasia dari AWS Secrets Manager saat aplikasi dimulai.

Contoh kode: Kafka- SASL _ SSL - ConfigProviders