Membuat dan menjalankan aplikasi Layanan Terkelola untuk Apache Flink

Untuk membuat aliran data (AWS CLI)

1. Untuk membuat stream pertama (ExampleInputStream), gunakan create-stream AWS CLI perintah Amazon Kinesis berikut:

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. Untuk membuat aliran kedua yang digunakan aplikasi untuk menulis output, jalankan perintah yang sama, ubah nama aliran menjadiExampleOutputStream:

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. Kloning repositori jarak jauh menggunakan perintah berikut:

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Buka direktori amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted tersebut.

Untuk mengamati catatan

1. Buka konsol Kinesis di https://console.aws.amazon.com/kinesis.

2. Verifikasi bahwa Wilayah sama di mana Anda menjalankan tutorial ini, yaitu us-east-1 US East (Virginia Utara) secara default. Ubah Wilayah jika tidak cocok.

3. Pilih Aliran Data.

4. Pilih streaming yang ingin Anda amati, salah satu ExampleInputStream atau ExampleOutputStream.

5. Pilih tab Pen ampil data.

6. Pilih Shard apa saja, pertahankan Ter baru sebagai posisi A wal, lalu pilih Dapatkan catatan. Anda mungkin melihat kesalahan “Tidak ada catatan yang ditemukan untuk permintaan ini”. Jika demikian, pilih C oba lagi mendapatkan catatan. Catatan terbaru yang dipublikasikan ke tampilan streaming.

7. Pilih nilai di kolom Data untuk memeriksa konten catatan dalam format JSON.

Untuk mengunggah file JAR kode aplikasi

1. Buka konsol Amazon S3 di https://console.aws.amazon.com/s3/.

2. Pilih bucket yang sebelumnya Anda buat untuk kode aplikasi.

3. Pilih Unggah.

4. Pilih Tambahkan file.

5. Arahkan ke file JAR yang dihasilkan pada langkah sebelumnya:target/amazon-msf-java-stream-app-1.0.jar.

6. Pilih Ung gah tanpa mengubah pengaturan lainnya.

Untuk membuat aplikasi

1. Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon MSF di https://console.aws.amazon.com/flink.

2. Verifikasi bahwa Wilayah yang benar dipilih: us-east-1 AS Timur (Virginia Utara)

3. Buka menu di sebelah kanan dan pilih aplikasi Apache Flink lalu Buat aplikasi streaming. Atau, pilih Buat aplikasi streaming di wadah Mulai halaman awal.

4. Pada halaman Buat aplikasi streaming:

   • Pilih metode untuk mengatur aplikasi pemrosesan aliran: pilih Buat dari awal.

   • Konfigurasi Apache Flink, versi Aplikasi Flink: pilih Apache Flink 1.20.

5. Konfigurasikan aplikasi Anda

   • Nama aplikasi: masukkanMyApplication.

   • Deskripsi: masukkanMy java test app.

   • Akses ke sumber daya aplikasi: pilih Buat/perbarui peran IAM kinesis-analytics-MyApplication-us-east-1 dengan kebijakan yang diperlukan.

6. Konfigurasikan Template Anda untuk pengaturan aplikasi

   • Template: pilih Peng embangan.

7. Pilih Buat aplikasi streaming di bagian bawah halaman.

Untuk mengedit kebijakan

1. Buka konsol IAM di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-east-1 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Pilih Edit dan kemudian pilih tab JSON.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti contoh ID akun (012345678901) dengan ID akun Anda.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

5. Pilih Berikutnya di bagian bawah halaman dan kemudian pilih S impan perubahan.

Untuk mengedit konfigurasi

1. Pada MyApplication halaman, pilih Konfigurasi.

2. Di bagian lokasi kode aplikasi:

   • Untuk bucket Amazon S3, pilih bucket yang sebelumnya Anda buat untuk kode aplikasi. Pilih Browse dan pilih bucket yang benar, lalu pilih Pilih. Jangan klik nama bucket.

   • Untuk Jalur ke objek Amazon S3, masukkan amazon-msf-java-stream-app-1.0.jar.

3. Untuk izin Akses, pilih Buat/perbarui peran IAM kinesis-analytics-MyApplication-us-east-1 dengan kebijakan yang diperlukan.

4. Di bagian properti Runtime, tambahkan properti berikut.

5. Pilih Tambahkan item baru dan tambahkan masing-masing parameter berikut:

   ID Grup	Key	Nilai
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. Jangan memodifikasi salah satu bagian lainnya.

7. Pilih Simpan perubahan.

Untuk menjalankan aplikasi

1. Pada konsol untuk Amazon Managed Service for Apache Flink, pilih Aplikasi Saya dan pilih J alan kan.

2. Pada halaman berikutnya, halaman konfigurasi pemulihan aplikasi, pilih J alankan dengan snapshot terbaru dan kemudian pilih J alankan.

   Status dalam Aplikasi merinci transisi dari Ready ke Starting dan kemudian ke Running saat aplikasi telah dimulai.

Untuk membuka dasbor

1. Pilih Buka dasbor Apache Flink. Dasbor terbuka di halaman baru.

2. Dalam daftar Runing jobs, pilih pekerjaan tunggal yang dapat Anda lihat.

   catatan

   Jika Anda menyetel properti Runtime atau mengedit kebijakan IAM secara tidak benar, status aplikasi mungkin berubah menjadiRunning, tetapi dasbor Flink menunjukkan bahwa pekerjaan terus dimulai ulang. Ini adalah skenario kegagalan umum jika aplikasi salah dikonfigurasi atau tidak memiliki izin untuk mengakses sumber daya eksternal.

   Ketika ini terjadi, periksa tab Pengecualian di dasbor Flink untuk melihat penyebab masalah.

Untuk melihat metrik

1. Di sebelah tombol Refresh, pilih 10 detik dari daftar dropdown.

2. Saat aplikasi berjalan dan sehat, Anda dapat melihat metrik uptime terus meningkat.

3. Metrik fullrestarts harus nol. Jika meningkat, konfigurasi mungkin memiliki masalah. Untuk menyelidiki masalah ini, tinjau tab Pengecualian di dasbor Flink.

4. Metrik Jumlah pos pemeriksaan yang gagal harus nol dalam aplikasi yang sehat.

   catatan

   Dasbor ini menampilkan serangkaian metrik tetap dengan perincian 5 menit. Anda dapat membuat dasbor aplikasi khusus dengan metrik apa pun di CloudWatch dasbor.

Untuk melihat output

1. Buka konsol Kinesis di https://console.aws.amazon.com/kinesis.

2. Verifikasi bahwa Wilayah sama dengan yang Anda gunakan untuk menjalankan tutorial ini. Secara default, itu adalah AS-East-1US East (Virginia Utara). Ubah wilayah jika perlu.

3. Pilih Aliran Data.

4. Pilih streaming yang ingin Anda amati. Untuk tutorial ini, gunakan ExampleOutputStream.

5. Pilih tab Pen ampil data.

6. Pilih Shard apa saja, pertahankan Ter baru sebagai posisi A wal, lalu pilih Dapatkan catatan. Anda mungkin melihat kesalahan “tidak ada catatan yang ditemukan untuk permintaan ini”. Jika demikian, pilih C oba lagi mendapatkan catatan. Catatan terbaru yang dipublikasikan ke tampilan streaming.

7. Pilih nilai di kolom Data untuk memeriksa konten catatan dalam format JSON.

Untuk menghentikan aplikasi

1. Dari daftar tar ik- turun Tindakan, pilih Ber henti.

2. Status dalam Aplikasi merinci transisi dari Running keStopping, dan kemudian ke Ready saat aplikasi benar-benar dihentikan.

   catatan

   Jangan lupa juga untuk berhenti mengirim data ke aliran input dari skrip Python atau Kinesis Data Generator.