Layanan Terkelola untuk Apache Flink: Cara kerjanya - Layanan Terkelola untuk Apache Flink
Program aplikasi Apache Flink AndaBuat Layanan Terkelola Anda untuk aplikasi Apache Flink

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Layanan Terkelola untuk Apache Flink: Cara kerjanya

Managed Service for Apache Flink adalah layanan Amazon yang dikelola sepenuhnya yang memungkinkan Anda menggunakan aplikasi Apache Flink untuk memproses data streaming. Pertama, Anda memprogram aplikasi Apache Flink Anda, dan kemudian Anda membuat Layanan Terkelola untuk aplikasi Apache Flink Anda.

Program aplikasi Apache Flink Anda

Aplikasi Apache Flink adalah aplikasi Java atau Scala yang dibuat dengan kerangka kerja Apache Flink. Anda menulis dan membangun aplikasi Apache Flink Anda secara lokal.

Aplikasi terutama menggunakan Tabel DataStream APIatau Tabel API. Apache Flink lainnya juga APIs tersedia untuk Anda gunakan, tetapi mereka kurang umum digunakan dalam membangun aplikasi streaming.

Fitur keduanya APIs adalah sebagai berikut:

DataStream API

Model DataStream API pemrograman Apache Flink didasarkan pada dua komponen:

  • Aliran data: Representasi terstruktur dari aliran catatan data yang berkelanjutan.

  • Operator transformasi: Membawa satu atau beberapa aliran data sebagai input, dan menghasilkan satu atau beberapa aliran data sebagai output.

Aplikasi yang dibuat dengan DataStream API melakukan hal berikut:

  • Baca data dari Sumber Data (seperti aliran Kinesis atau MSK topik Amazon).

  • Terapkan transformasi ke data, seperti penyaringan, agregasi, atau pengayaan.

  • Tulis data yang diubah ke Sink Data.

Aplikasi yang menggunakan DataStream API dapat ditulis dalam Java atau Scala, dan dapat dibaca dari aliran data Kinesis, topik MSK Amazon, atau sumber kustom.

Aplikasi Anda memproses data menggunakan konektor. Apache Flink menggunakan tipe konektor berikut:

  • Source (Sumber) : Konektor yang digunakan untuk membaca data eksternal.

  • Sink: Konektor yang digunakan untuk menulis ke lokasi eksternal.

  • Operator: Konektor yang digunakan untuk memproses data dalam aplikasi.

Aplikasi yang khas terdiri dari setidaknya satu aliran data dengan sumber, aliran data dengan satu atau beberapa operator, dan setidaknya satu data sink.

Untuk informasi lebih lanjut tentang menggunakan DataStream API, lihatTinjau DataStream API komponen.

Tabel API

Model API pemrograman Apache Flink Table didasarkan pada komponen-komponen berikut:

  • Lingkungan Tabel: Antarmuka untuk data yang mendasari yang Anda gunakan untuk membuat dan meng-host satu atau beberapa tabel.

  • Tabel: Objek yang menyediakan akses ke SQL tabel atau tampilan.

  • Sumber Tabel: Digunakan untuk membaca data dari sumber eksternal, seperti MSK topik Amazon.

  • Fungsi Tabel: Sebuah SQL query atau API panggilan yang digunakan untuk mengubah data.

  • Sink Tabel: Digunakan untuk menulis data ke lokasi eksternal, seperti bucket Amazon S3.

Aplikasi yang dibuat dengan Tabel API melakukan hal berikut:

  • Buat TableEnvironment dengan menghubungkan ke Table Source.

  • Membuat tabel dalam TableEnvironment menggunakan SQL query atau API fungsi Tabel.

  • Jalankan kueri di atas meja menggunakan Tabel API atau SQL

  • Terapkan transformasi pada hasil kueri menggunakan Fungsi Tabel atau SQL kueri.

  • Tulis hasil kueri atau fungsi ke Table Sink.

Aplikasi yang menggunakan Tabel API dapat ditulis dalam Java atau Scala, dan dapat meminta data menggunakan API panggilan atau SQL kueri.

Untuk informasi selengkapnya tentang menggunakan TabelAPI, lihatTinjau API komponen Tabel.

Buat Layanan Terkelola Anda untuk aplikasi Apache Flink

Managed Service for Apache Flink adalah AWS layanan yang menciptakan lingkungan untuk hosting aplikasi Apache Flink Anda dan menyediakannya dengan pengaturan berikut:

Anda membuat Layanan Terkelola untuk aplikasi Apache Flink menggunakan konsol atau aplikasi. AWS CLI Untuk mulai membuat Layanan Terkelola untuk aplikasi Apache Flink, lihat. Tutorial: Mulai menggunakan Layanan Terkelola DataStream API di Apache Flink