Membuat dan menjalankan Managed Service untuk aplikasi Apache Flink

Untuk membuat aliran data AWS CLI

1. Untuk membuat stream (ExampleInputStream) pertama, gunakan perintah Amazon Kinesis create-stream AWS CLI berikut:

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. Untuk membuat aliran kedua yang digunakan aplikasi untuk menulis output, jalankan perintah yang sama, ubah nama aliran menjadiExampleOutputStream:

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. Kloning repositori jarak jauh menggunakan perintah berikut:

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Buka direktori amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted tersebut.

Untuk mengamati catatan

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Verifikasi bahwa Region sama dengan tempat Anda menjalankan tutorial ini, yaitu us-east-1 US East (Virginia N.) secara default. Ubah Wilayah jika tidak cocok.

3. Pilih Aliran Data.

4. Pilih aliran yang ingin Anda amati, salah satu ExampleInputStream atau ExampleOutputStream.

5. Pilih tab Penampil data.

6. Pilih Shard apa saja, simpan Terbaru sebagai posisi Awal, lalu pilih Dapatkan catatan. Anda mungkin melihat kesalahan “Tidak ada catatan ditemukan untuk permintaan ini”. Jika demikian, pilih Coba lagi mendapatkan catatan. Catatan terbaru yang diterbitkan ke tampilan streaming.

7. Pilih nilai di kolom Data untuk memeriksa konten rekaman dalam JSON format.

Untuk mengunggah JAR file kode aplikasi

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih bucket yang sebelumnya Anda buat untuk kode aplikasi.

3. Pilih Unggah.

4. Pilih Tambahkan file.

5. Arahkan ke JAR file yang dihasilkan pada langkah sebelumnya:target/amazon-msf-java-stream-app-1.0.jar.

6. Pilih Unggah tanpa mengubah pengaturan lainnya.

Untuk membuat aplikasi

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Verifikasi bahwa Wilayah yang benar dipilih: us-east-1 US East (Virginia N.)

3. Buka menu di sebelah kanan dan pilih Apache Flink Applications dan kemudian Buat aplikasi streaming. Atau, pilih Buat aplikasi streaming di wadah Memulai halaman awal.

4. Di halaman Buat aplikasi streaming:

   • Pilih metode untuk mengatur aplikasi pemrosesan aliran: pilih Buat dari awal.

   • Konfigurasi Apache Flink, versi Aplikasi Flink: pilih Apache Flink 1.19.

5. Konfigurasikan aplikasi Anda

   • Nama aplikasi: masukkanMyApplication.

   • Keterangan: masukMy java test app.

   • Akses ke sumber daya aplikasi: pilih Buat/IAMperbarui peran kinesis-analytics-MyApplication-us-east-1 dengan kebijakan yang diperlukan.

6. Konfigurasikan Template Anda untuk pengaturan aplikasi

   • Template: pilih Pengembangan.

7. Pilih Buat aplikasi streaming di bagian bawah halaman.

Untuk mengedit kebijakan

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-east-1 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Pilih Edit dan kemudian pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti akun sampel IDs (012345678901) dengan ID akun Anda.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

5. Pilih Berikutnya di bagian bawah halaman dan kemudian pilih Simpan perubahan.

Untuk mengedit konfigurasi

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di bagian Lokasi kode aplikasi:

   • Untuk bucket Amazon S3, pilih bucket yang sebelumnya Anda buat untuk kode aplikasi. Pilih Browse dan pilih bucket yang benar, lalu pilih Pilih. Jangan klik nama bucket.

   • Untuk Jalur ke objek Amazon S3, masukkan amazon-msf-java-stream-app-1.0.jar.

3. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-east-1 dengan kebijakan yang diperlukan.

4. Di bagian properti Runtime, tambahkan properti berikut.

5. Pilih Tambahkan item baru dan tambahkan masing-masing parameter berikut:

   ID Grup	Kunci	Nilai
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. Jangan memodifikasi bagian lainnya.

7. Pilih Simpan perubahan.

Untuk menjalankan aplikasi

1. Di konsol untuk Amazon Managed Service untuk Apache Flink, pilih Aplikasi Saya dan pilih Jalankan.

2. Pada halaman berikutnya, halaman konfigurasi Pemulihan aplikasi, pilih Jalankan dengan snapshot terbaru dan kemudian pilih Jalankan.

   Status dalam Aplikasi merinci transisi dari Ready ke Starting dan kemudian ke Running saat aplikasi telah dimulai.

Untuk membuka dasbor

1. Pilih Buka dasbor Apache Flink. Dasbor terbuka di halaman baru.

2. Dalam daftar pekerjaan Runing, pilih satu pekerjaan yang dapat Anda lihat.

   catatan

   Jika Anda menyetel properti Runtime atau mengedit IAM kebijakan secara tidak benar, status aplikasi mungkin berubah menjadiRunning, tetapi dasbor Flink menunjukkan bahwa pekerjaan terus dimulai ulang. Ini adalah skenario kegagalan umum jika aplikasi salah konfigurasi atau tidak memiliki izin untuk mengakses sumber daya eksternal.

   Ketika ini terjadi, periksa tab Pengecualian di dasbor Flink untuk melihat penyebab masalah.

Untuk melihat metrik

1. Di sebelah tombol Refresh, pilih 10 detik dari daftar dropdown.

2. Saat aplikasi berjalan dan sehat, Anda dapat melihat metrik uptime terus meningkat.

3. Metrik fullrestart harus nol. Jika meningkat, konfigurasi mungkin memiliki masalah. Untuk menyelidiki masalah ini, tinjau tab Pengecualian di dasbor Flink.

4. Jumlah metrik pos pemeriksaan yang gagal harus nol dalam aplikasi yang sehat.

   catatan

   Dasbor ini menampilkan satu set metrik tetap dengan perincian 5 menit. Anda dapat membuat dasbor aplikasi khusus dengan metrik apa pun di CloudWatch dasbor.

Untuk melihat output

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Verifikasi bahwa Region sama dengan yang Anda gunakan untuk menjalankan tutorial ini. Secara default, itu adalah AS-Timur-1us Timur (Virginia N.). Ubah Wilayah jika perlu.

3. Pilih Aliran Data.

4. Pilih aliran yang ingin Anda amati. Untuk tutorial ini, gunakan ExampleOutputStream.

5. Pilih tab Penampil data.

6. Pilih Shard apa saja, simpan Terbaru sebagai posisi Awal, lalu pilih Dapatkan catatan. Anda mungkin melihat kesalahan “tidak ada catatan ditemukan untuk permintaan ini”. Jika demikian, pilih Coba lagi mendapatkan catatan. Catatan terbaru yang diterbitkan ke tampilan streaming.

7. Pilih nilai di kolom Data untuk memeriksa konten catatan dalam JSON format.

Untuk menghentikan aplikasi

1. Dari daftar dropdown Action, pilih Stop.

2. Status dalam Aplikasi merinci transisi dari Running keStopping, dan kemudian ke Ready saat aplikasi benar-benar dihentikan.

   catatan

   Jangan lupa juga untuk berhenti mengirim data ke input stream dari script Python atau Kinesis Data Generator.