Contoh Python untuk Managed Service untuk Apache Flink - Layanan Terkelola untuk Apache Flink

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Contoh Python untuk Managed Service untuk Apache Flink

Contoh berikut menunjukkan cara membuat aplikasi yang ditulis dengan Python.

catatan

Sebagian besar contoh dirancang untuk dijalankan secara lokal, di mesin pengembangan dan pilihan Anda, dan di Amazon Managed Service untuk Apache Flink. IDE Mereka mendemonstrasikan mekanisme sederhana yang dapat Anda gunakan untuk meneruskan parameter aplikasi, dan cara mengatur ketergantungan dengan benar untuk menjalankan aplikasi di kedua lingkungan tanpa perubahan.

Ketergantungan proyek

Sebagian besar PyFlink contoh memerlukan satu atau lebih dependensi dalam bentuk JAR file, misalnya untuk konektor Flink. Dependensi ini kemudian harus dikemas dengan aplikasi saat digunakan di Amazon Managed Service untuk Apache Flink.

Contoh berikut sudah menyertakan perkakas yang memungkinkan Anda menjalankan aplikasi secara lokal untuk pengembangan dan pengujian, dan untuk mengemas dependensi yang diperlukan dengan benar. Perkakas ini membutuhkan penggunaan Java JDK11 dan Apache Maven. Lihat yang README terkandung dalam setiap contoh untuk instruksi spesifik.

Contoh

Contoh ini menunjukkan struktur dasar PyFlink aplikasi menggunakan SQL tertanam dalam kode Pyton. Proyek ini juga menyediakan kerangka untuk PyFlink aplikasi apa pun yang mencakup JAR dependensi seperti konektor. READMEBagian ini memberikan panduan terperinci tentang cara menjalankan aplikasi Python Anda secara lokal untuk pengembangan. Contoh ini juga menunjukkan cara memasukkan JAR dependensi tunggal, konektor SQL Kinesis dalam contoh ini, dalam PyFlink aplikasi Anda.

Contoh kode: GettingStarted

Contoh ini menunjukkan cara menambahkan dependensi Python ke PyFlink aplikasi Anda dengan cara yang paling umum. Metode ini berfungsi untuk dependensi sederhana, seperti Boto3, atau dependensi kompleks yang berisi pustaka C seperti. PyArrow

Contoh kode: PythonDependencies

Contoh ini menunjukkan empat jenis agregasi windowing yang SQL disematkan dalam aplikasi Python.

  1. Jendela Geser berdasarkan waktu pemrosesan

  2. Jendela Geser berdasarkan waktu acara

  3. Tumbling Window berdasarkan waktu pemrosesan

  4. Jatuh Jendela berdasarkan waktu acara

Contoh kode: Windowing

Contoh ini menunjukkan cara menulis output Anda ke Amazon S3 sebagai JSON file, menggunakan SQL tertanam dalam aplikasi Python. Anda harus mengaktifkan pos pemeriksaan untuk wastafel S3 untuk menulis dan memutar file ke Amazon S3.

Contoh kode: S3Sink

Contoh ini menunjukkan bagaimana mendefinisikan User Defined Funtion, mengimplementasikannya dengan Python, dan menggunakannya dalam SQL kode yang berjalan dalam aplikasi Python.

Contoh kode: UDF

Contoh ini menunjukkan cara mengirim data ke Amazon Data SQL Firehose menggunakan.

Contoh kode: FirehoseSink