Informasi versi sebelumnya untuk Managed Service untuk Apache Flink

1. Pastikan bahwa Anda memiliki Apache Maven diinstal, dan variabel JAVA_HOME lingkungan Anda menunjuk ke JDK bukan a. JRE Anda dapat menguji penginstalan Apache Maven Anda dengan perintah berikut:

   mvn -version

2. Unduh kode sumber Apache Flink versi 1.8.2:

   wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz

3. Batalkan kompresi kode sumber Apache Flink:

   tar -xvf flink-1.8.2-src.tgz

4. Ubah ke direktori kode sumber Apache Flink:

   cd flink-1.8.2

5. Komplikasi dan instal Apache Flink:

   mvn clean install -Pinclude-kinesis -DskipTests

   catatan

   Jika Anda mengompilasi Flink di Microsoft Windows, Anda perlu menambahkan parameter -Drat.skip=true.

Untuk mendaftar untuk Akun AWS

1. Buka https://portal.aws.amazon.com/billing/pendaftaran.

2. Ikuti petunjuk online.

   Bagian dari prosedur pendaftaran melibatkan tindakan menerima panggilan telepon dan memasukkan kode verifikasi di keypad telepon.

   Saat Anda mendaftar untuk sebuah Akun AWS, sebuah Pengguna root akun AWSdibuat. Pengguna root memiliki akses ke semua Layanan AWS dan sumber daya di akun. Sebagai praktik keamanan terbaik, tetapkan akses administratif ke pengguna, dan gunakan hanya pengguna root untuk melakukan tugas yang memerlukan akses pengguna root.

Amankan Anda Pengguna root akun AWS

1. Masuk ke AWS Management Consolesebagai pemilik akun dengan memilih pengguna Root dan memasukkan alamat Akun AWS email Anda. Di laman berikutnya, masukkan kata sandi.

   Untuk bantuan masuk dengan menggunakan pengguna root, lihat Masuk sebagai pengguna root di AWS Sign-In Panduan Pengguna.

2. Aktifkan otentikasi multi-faktor (MFA) untuk pengguna root Anda.

   Untuk petunjuk, lihat Mengaktifkan MFA perangkat virtual untuk pengguna Akun AWS root (konsol) Anda di Panduan IAM Pengguna.

Buat pengguna dengan akses administratif

1. Aktifkan Pusat IAM Identitas.

   Untuk mendapatkan petunjuk, silakan lihat Mengaktifkan AWS IAM Identity Center di Panduan Pengguna AWS IAM Identity Center .

2. Di Pusat IAM Identitas, berikan akses administratif ke pengguna.

   Untuk tutorial tentang menggunakan Direktori Pusat Identitas IAM sebagai sumber identitas Anda, lihat Mengkonfigurasi akses pengguna dengan default Direktori Pusat Identitas IAM di Panduan AWS IAM Identity Center Pengguna.

Masuk sebagai pengguna dengan akses administratif

• Untuk masuk dengan pengguna Pusat IAM Identitas, gunakan login URL yang dikirim ke alamat email saat Anda membuat pengguna Pusat IAM Identitas.

  Untuk bantuan masuk menggunakan pengguna Pusat IAM Identitas, lihat Masuk ke portal AWS akses di Panduan AWS Sign-In Pengguna.

Tetapkan akses ke pengguna tambahan

1. Di Pusat IAM Identitas, buat set izin yang mengikuti praktik terbaik menerapkan izin hak istimewa paling sedikit.

   Untuk petunjuknya, lihat Membuat set izin di Panduan AWS IAM Identity Center Pengguna.

2. Tetapkan pengguna ke grup, lalu tetapkan akses masuk tunggal ke grup.

   Untuk petunjuk, lihat Menambahkan grup di Panduan AWS IAM Identity Center Pengguna.

Untuk mengatur AWS CLI

1. Unduh dan konfigurasikan AWS CLI. Untuk instruksi, lihat topik berikut di AWS Command Line Interface Panduan Pengguna:

   • Menginstal AWS Command Line Interface

   • Mengonfigurasi AWS CLI

2. Tambahkan profil bernama untuk pengguna administrator dalam AWS CLI config file. Anda dapat menggunakan profil ini saat menjalankan perintah AWS CLI . Untuk informasi selengkapnya tentang profil yang diberi nama, lihat Profil yang Diberi Nama dalam Panduan Pengguna AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Untuk daftar AWS Wilayah yang tersedia, lihat Wilayah dan Titik Akhir di. Referensi Umum Amazon Web Services

   catatan

   Kode dan perintah contoh dalam tutorial ini menggunakan Wilayah US West (Oregon). Untuk menggunakan Wilayah yang berbeda, ubah Wilayah dalam kode dan perintah untuk tutorial ini ke Wilayah yang ingin Anda gunakan.

3. Verifikasikan penyiapan dengan memasukkan perintah bantuan berikut pada prompt perintah.

   aws help

Untuk membuat aliran data AWS CLI

1. Untuk membuat stream (ExampleInputStream) pertama, gunakan perintah Amazon Kinesis create-stream AWS CLI berikut.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Untuk membuat aliran kedua yang digunakan aplikasi untuk menulis output, jalankan perintah yang sama, yang mengubah nama aliran menjadi ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Buat file bernama stock.py dengan konten berikut:

   
       import datetime
       import json
       import random
       import boto3
       STREAM_NAME = "ExampleInputStream"
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2')) 

2. Selanjutnya dalam tutorial ini, Anda menjalankan skrip stock.py untuk mengirim data ke aplikasi.

   $ python stock.py

1. Kloning repositori jarak jauh menggunakan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Buka direktori amazon-kinesis-data-analytics-java-examples/GettingStarted tersebut.

Untuk mengompikasi kode aplikasi

1. Untuk menggunakan kode aplikasi Anda, Anda mengkompilasi dan mengemasnya ke dalam JAR file. Anda dapat mengompilasi dan mengemas kode Anda dengan salah satu dari dua cara:

   • Gunakan alat Maven baris perintah. Buat JAR file Anda dengan menjalankan perintah berikut di direktori yang berisi pom.xml file:

     mvn package -Dflink.version=1.13.2

   • Menyiapkan lingkungan pengembangan Anda. Lihat dokumentasi lingkungan pengembangan Anda untuk detail.

     catatan

     Kode sumber yang disediakan bergantung pada pustaka dari Java 11.

   Anda dapat mengunggah paket Anda sebagai JAR file, atau Anda dapat mengompres paket Anda dan mengunggahnya sebagai ZIP file. Jika Anda membuat aplikasi menggunakan AWS CLI, Anda menentukan jenis konten kode Anda (JARatauZIP).

2. Jika ada kesalahan saat mengompilasi, pastikan variabel lingkungan JAVA_HOMEAnda diatur dengan benar.

Untuk mengunggah kode aplikasi

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih Buat bucket.

3. Masukkan ka-app-code-<username> di bidang Bucket name (Nama bucket). Tambahkan sufiks ke nama bucket, seperti nama pengguna Anda, untuk membuatnya unik secara global. Pilih Next (Selanjutnya).

4. Di langkah Konfigurasi opsi, jangan ubah pengaturan, dan pilih Next (Selanjutnya).

5. Di langkah Atur izin, jangan ubah pengaturan, dan pilih Next (Selanjutnya).

6. Pilih Create bucket (Buat bucket).

7. Di konsol Amazon S3, pilih - ka-app-code<username>bucket, dan pilih Upload.

8. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file aws-kinesis-analytics-java-apps-1.0.jar yang Anda buat di langkah sebelumnya. Pilih Berikutnya.

9. Anda tidak perlu mengubah pengaturan apa pun untuk objek, jadi pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Description (Deskripsi), masukkan My java test app.

   • Untuk Runtime, pilih Apache Flink.

   • Biarkan versi pulldown sebagai Apache Flink versi 1.13.

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-west-2 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Di halaman Ringkasan, pilih Edit policy (Edit kebijakan). Pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti akun sampel IDs (012345678901) dengan ID akun Anda.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan aws-kinesis-analytics-java-apps-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

4. Masukkan yang berikut ini:

   ID Grup	Kunci	Nilai
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

6. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

7. Pilih Perbarui.

Untuk membuat IAM peran

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Dalam panel navigasi, pilih Roles (Peran), Create role (Buat Peran).

3. Di bawah Pilih tipe identitas tepercaya, pilih Layanan AWS . Di bawah Pilih layanan yang akan menggunakan peran ini, pilih Kinesis. Di bawah Pilih kasus penggunaan Anda, pilih Analitik Kinesis.

   Pilih Berikutnya: Izin.

4. Di halaman Lampirkan kebijakan izin, pilih Next: Review (Selanjutnya: Tinjau). Anda melampirkan kebijakan izin setelah Anda membuat peran tersebut.

5. Di halaman Buat peran, masukkan MF-stream-rw-role untuk Role name (Nama peran). Pilih Create role (Buat peran).

   Sekarang Anda telah menciptakan IAM peran baru yang disebutMF-stream-rw-role. Berikutnya, Anda memperbarui kebijakan kepercayaan dan izin untuk peran.

6. Lampirkan kebijakan izin ke peran tersebut.

   catatan

   Untuk latihan ini, Managed Service for Apache Flink mengasumsikan peran ini untuk membaca data dari aliran data Kinesis (sumber) dan menulis output ke aliran data Kinesis lain. Jadi, Anda melampirkan kebijakan yang Anda buat di langkah sebelumnya, Membuat kebijakan izin.

   1. Di halaman Ringkasan, pilih tab Permissions (Izin).

   2. Pilih Attach Policies (Lampirkan Kebijakan).

   3. Di kotak pencarian, masukkan AKReadSourceStreamWriteSinkStream (kebijakan yang Anda buat bagian sebelumnya).

   4. Pilih AKReadSourceStreamWriteSinkStreamkebijakan, lalu pilih Lampirkan kebijakan.

1. Simpan JSON kode berikut ke file bernamacreate_request.json. Ganti peran sampel ARN dengan peran yang Anda buat sebelumnya. ARN Ganti ARN akhiran bucket (username) dengan akhiran yang Anda pilih di bagian sebelumnya. Ganti ID akun sampel (012345678901) di peran eksekusi layanan dengan ID akun Anda.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_15",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Jalankan tindakan CreateApplication dengan permintaan sebelumnya untuk membuat aplikasi:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Untuk memulai aplikasi

1. Simpan JSON kode berikut ke file bernamastart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Jalankan tindakan StartApplication dengan permintaan sebelumnya untuk memulai aplikasi:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Untuk menghentikan aplikasi

1. Simpan JSON kode berikut ke file bernamastop_request.json.

   {
      "ApplicationName": "test"
   }
   

2. Jalankan tindakan StopApplication dengan permintaan berikut untuk menghentikan aplikasi:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Untuk memperbarui properti lingkungan untuk aplikasi

1. Simpan JSON kode berikut ke file bernamaupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Jalankan tindakan UpdateApplication dengan permintaan sebelumnya untuk memperbarui properti lingkungan:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Managed Service for Apache Flink, pilih. MyApplication

3. Di halaman aplikasi, pilih Delete (Hapus), lalu konfirmasikan penghapusan.

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Di panel Kinesis Data Streams, pilih. ExampleInputStream

3. Di ExampleInputStreamhalaman, pilih Hapus Stream Kinesis dan kemudian konfirmasikan penghapusan.

4. Di halaman Kinesis streams, pilih, pilih Tindakan ExampleOutputStream, pilih Hapus, lalu konfirmasikan penghapusan.

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih ka-app-code -<username> ember.

3. Pilih Delete (Hapus), lalu masukkan nama bucket untuk mengonfirmasi penghapusan.

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Di bilah navigasi, pilih Policies (Kebijakan).

3. Di kontrol filter, masukkan kinesis.

4. Pilih kebijakan kinesis-analytics-service- MyApplication -us-west-2.

5. Pilih Policy Actions (Tindakan Kebijakan), lalu pilih Delete (Hapus).

6. Di bilah navigasi, pilih Roles (Peran).

7. Pilih peran kinesis-analytics- -us-west-2. MyApplication

8. Pilih Delete role (Hapus peran), lalu konfirmasi penghapusan.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di bilah navigasi, pilih Logs.

3. Pilih grup/aws/kinesis-analytics/MyApplicationlog.

4. Pilih Delete Log Group (Hapus Grup Log), lalu konfirmasi penghapusan.

Untuk mendaftar untuk Akun AWS

1. Buka https://portal.aws.amazon.com/billing/pendaftaran.

2. Ikuti petunjuk online.

   Bagian dari prosedur pendaftaran melibatkan tindakan menerima panggilan telepon dan memasukkan kode verifikasi di keypad telepon.

   Saat Anda mendaftar untuk sebuah Akun AWS, sebuah Pengguna root akun AWSdibuat. Pengguna root memiliki akses ke semua Layanan AWS dan sumber daya di akun. Sebagai praktik keamanan terbaik, tetapkan akses administratif ke pengguna, dan gunakan hanya pengguna root untuk melakukan tugas yang memerlukan akses pengguna root.

Amankan Anda Pengguna root akun AWS

1. Masuk ke AWS Management Consolesebagai pemilik akun dengan memilih pengguna Root dan memasukkan alamat Akun AWS email Anda. Di laman berikutnya, masukkan kata sandi.

   Untuk bantuan masuk dengan menggunakan pengguna root, lihat Masuk sebagai pengguna root di AWS Sign-In Panduan Pengguna.

2. Aktifkan otentikasi multi-faktor (MFA) untuk pengguna root Anda.

   Untuk petunjuk, lihat Mengaktifkan MFA perangkat virtual untuk pengguna Akun AWS root (konsol) Anda di Panduan IAM Pengguna.

Buat pengguna dengan akses administratif

1. Aktifkan Pusat IAM Identitas.

   Untuk mendapatkan petunjuk, silakan lihat Mengaktifkan AWS IAM Identity Center di Panduan Pengguna AWS IAM Identity Center .

2. Di Pusat IAM Identitas, berikan akses administratif ke pengguna.

   Untuk tutorial tentang menggunakan Direktori Pusat Identitas IAM sebagai sumber identitas Anda, lihat Mengkonfigurasi akses pengguna dengan default Direktori Pusat Identitas IAM di Panduan AWS IAM Identity Center Pengguna.

Masuk sebagai pengguna dengan akses administratif

• Untuk masuk dengan pengguna Pusat IAM Identitas, gunakan login URL yang dikirim ke alamat email saat Anda membuat pengguna Pusat IAM Identitas.

  Untuk bantuan masuk menggunakan pengguna Pusat IAM Identitas, lihat Masuk ke portal AWS akses di Panduan AWS Sign-In Pengguna.

Tetapkan akses ke pengguna tambahan

1. Di Pusat IAM Identitas, buat set izin yang mengikuti praktik terbaik menerapkan izin hak istimewa paling sedikit.

   Untuk petunjuknya, lihat Membuat set izin di Panduan AWS IAM Identity Center Pengguna.

2. Tetapkan pengguna ke grup, lalu tetapkan akses masuk tunggal ke grup.

   Untuk petunjuk, lihat Menambahkan grup di Panduan AWS IAM Identity Center Pengguna.

Untuk mengatur AWS CLI

1. Unduh dan konfigurasikan AWS CLI. Untuk instruksi, lihat topik berikut di AWS Command Line Interface Panduan Pengguna:

   • Menginstal AWS Command Line Interface

   • Mengonfigurasi AWS CLI

2. Tambahkan profil bernama untuk pengguna administrator dalam AWS CLI config file. Anda dapat menggunakan profil ini saat menjalankan perintah AWS CLI . Untuk informasi selengkapnya tentang profil yang diberi nama, lihat Profil yang Diberi Nama dalam Panduan Pengguna AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Untuk daftar AWS Wilayah yang tersedia, lihat Wilayah dan Titik Akhir di. Referensi Umum Amazon Web Services

   catatan

   Kode dan perintah contoh dalam tutorial ini menggunakan Wilayah US West (Oregon). Untuk menggunakan Wilayah yang berbeda, ubah Wilayah dalam kode dan perintah untuk tutorial ini ke Wilayah yang ingin Anda gunakan.

3. Verifikasikan penyiapan dengan memasukkan perintah bantuan berikut pada prompt perintah.

   aws help

Untuk membuat aliran data AWS CLI

1. Untuk membuat stream (ExampleInputStream) pertama, gunakan perintah Amazon Kinesis create-stream AWS CLI berikut.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Untuk membuat aliran kedua yang digunakan aplikasi untuk menulis output, jalankan perintah yang sama, yang mengubah nama aliran menjadi ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Buat file bernama stock.py dengan konten berikut:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Selanjutnya dalam tutorial ini, Anda menjalankan skrip stock.py untuk mengirim data ke aplikasi.

   $ python stock.py

1. Kloning repositori jarak jauh menggunakan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Buka direktori amazon-kinesis-data-analytics-java-examples/GettingStarted tersebut.

Untuk mengompikasi kode aplikasi

1. Untuk menggunakan kode aplikasi Anda, Anda mengkompilasi dan mengemasnya ke dalam JAR file. Anda dapat mengompilasi dan mengemas kode Anda dengan salah satu dari dua cara:

   • Gunakan alat Maven baris perintah. Buat JAR file Anda dengan menjalankan perintah berikut di direktori yang berisi pom.xml file:

     mvn package -Dflink.version=1.11.3

   • Menyiapkan lingkungan pengembangan Anda. Lihat dokumentasi lingkungan pengembangan Anda untuk detail.

     catatan

     Kode sumber yang disediakan bergantung pada pustaka dari Java 11. Pastikan versi Java proyek Anda adalah 11.

   Anda dapat mengunggah paket Anda sebagai JAR file, atau Anda dapat mengompres paket Anda dan mengunggahnya sebagai ZIP file. Jika Anda membuat aplikasi menggunakan AWS CLI, Anda menentukan jenis konten kode Anda (JARatauZIP).

2. Jika ada kesalahan saat mengompilasi, pastikan variabel lingkungan JAVA_HOMEAnda diatur dengan benar.

Untuk mengunggah kode aplikasi

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih Buat bucket.

3. Masukkan ka-app-code-<username> di bidang Bucket name (Nama bucket). Tambahkan sufiks ke nama bucket, seperti nama pengguna Anda, untuk membuatnya unik secara global. Pilih Next (Selanjutnya).

4. Di langkah Konfigurasi opsi, jangan ubah pengaturan, dan pilih Next (Selanjutnya).

5. Di langkah Atur izin, jangan ubah pengaturan, dan pilih Next (Selanjutnya).

6. Pilih Create bucket (Buat bucket).

7. Di konsol Amazon S3, pilih - ka-app-code<username>bucket, dan pilih Upload.

8. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file aws-kinesis-analytics-java-apps-1.0.jar yang Anda buat di langkah sebelumnya. Pilih Berikutnya.

9. Anda tidak perlu mengubah pengaturan apa pun untuk objek, jadi pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Description (Deskripsi), masukkan My java test app.

   • Untuk Runtime, pilih Apache Flink.

   • Biarkan versi pulldown sebagai Apache Flink versi 1.11 (Versi yang disarankan).

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-west-2 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Di halaman Ringkasan, pilih Edit policy (Edit kebijakan). Pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti akun sampel IDs (012345678901) dengan ID akun Anda.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan aws-kinesis-analytics-java-apps-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

4. Di bawah Properties (Properti), untuk Group ID (ID Grup), masukkan ProducerConfigProperties.

5. Masukkan properti dan nilai aplikasi berikut:

   ID Grup	Kunci	Nilai
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

6. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

7. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

8. Pilih Perbarui.

Untuk membuat IAM peran

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Dalam panel navigasi, pilih Roles (Peran), Create role (Buat Peran).

3. Di bawah Pilih tipe identitas tepercaya, pilih Layanan AWS . Di bawah Pilih layanan yang akan menggunakan peran ini, pilih Kinesis. Di bawah Pilih kasus penggunaan Anda, pilih Analitik Kinesis.

   Pilih Berikutnya: Izin.

4. Di halaman Lampirkan kebijakan izin, pilih Next: Review (Selanjutnya: Tinjau). Anda melampirkan kebijakan izin setelah Anda membuat peran tersebut.

5. Di halaman Buat peran, masukkan MF-stream-rw-role untuk Role name (Nama peran). Pilih Create role (Buat peran).

   Sekarang Anda telah menciptakan IAM peran baru yang disebutMF-stream-rw-role. Berikutnya, Anda memperbarui kebijakan kepercayaan dan izin untuk peran.

6. Lampirkan kebijakan izin ke peran tersebut.

   catatan

   Untuk latihan ini, Managed Service for Apache Flink mengasumsikan peran ini untuk membaca data dari aliran data Kinesis (sumber) dan menulis output ke aliran data Kinesis lain. Jadi, Anda melampirkan kebijakan yang Anda buat di langkah sebelumnya, Membuat Kebijakan Izin.

   1. Di halaman Ringkasan, pilih tab Permissions (Izin).

   2. Pilih Attach Policies (Lampirkan Kebijakan).

   3. Di kotak pencarian, masukkan AKReadSourceStreamWriteSinkStream (kebijakan yang Anda buat bagian sebelumnya).

   4. Pilih AKReadSourceStreamWriteSinkStreamkebijakan, lalu pilih Lampirkan kebijakan.

1. Simpan JSON kode berikut ke file bernamacreate_request.json. Ganti peran sampel ARN dengan peran yang Anda buat sebelumnya. ARN Ganti ARN akhiran bucket (username) dengan akhiran yang Anda pilih di bagian sebelumnya. Ganti ID akun sampel (012345678901) di peran eksekusi layanan dengan ID akun Anda.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_11",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Jalankan tindakan CreateApplication dengan permintaan sebelumnya untuk membuat aplikasi:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Untuk memulai aplikasi

1. Simpan JSON kode berikut ke file bernamastart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Jalankan tindakan StartApplication dengan permintaan sebelumnya untuk memulai aplikasi:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Untuk menghentikan aplikasi

1. Simpan JSON kode berikut ke file bernamastop_request.json.

   
   {
       "ApplicationName": "test"
   }
   

2. Jalankan tindakan StopApplication dengan permintaan berikut untuk menghentikan aplikasi:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Untuk memperbarui properti lingkungan untuk aplikasi

1. Simpan JSON kode berikut ke file bernamaupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Jalankan tindakan UpdateApplication dengan permintaan sebelumnya untuk memperbarui properti lingkungan:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Managed Service for Apache Flink, pilih. MyApplication

3. Di halaman aplikasi, pilih Delete (Hapus), lalu konfirmasikan penghapusan.

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Di panel Kinesis Data Streams, pilih. ExampleInputStream

3. Di ExampleInputStreamhalaman, pilih Hapus Stream Kinesis dan kemudian konfirmasikan penghapusan.

4. Di halaman Kinesis streams, pilih, pilih Tindakan ExampleOutputStream, pilih Hapus, lalu konfirmasikan penghapusan.

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih ka-app-code -<username> ember.

3. Pilih Delete (Hapus), lalu masukkan nama bucket untuk mengonfirmasi penghapusan.

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Di bilah navigasi, pilih Policies (Kebijakan).

3. Di kontrol filter, masukkan kinesis.

4. Pilih kebijakan kinesis-analytics-service- MyApplication -us-west-2.

5. Pilih Policy Actions (Tindakan Kebijakan), lalu pilih Delete (Hapus).

6. Di bilah navigasi, pilih Roles (Peran).

7. Pilih peran kinesis-analytics- -us-west-2. MyApplication

8. Pilih Delete role (Hapus peran), lalu konfirmasi penghapusan.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di bilah navigasi, pilih Logs.

3. Pilih grup/aws/kinesis-analytics/MyApplicationlog.

4. Pilih Delete Log Group (Hapus Grup Log), lalu konfirmasi penghapusan.

Untuk mendaftar untuk Akun AWS

1. Buka https://portal.aws.amazon.com/billing/pendaftaran.

2. Ikuti petunjuk online.

   Bagian dari prosedur pendaftaran melibatkan tindakan menerima panggilan telepon dan memasukkan kode verifikasi di keypad telepon.

   Saat Anda mendaftar untuk sebuah Akun AWS, sebuah Pengguna root akun AWSdibuat. Pengguna root memiliki akses ke semua Layanan AWS dan sumber daya di akun. Sebagai praktik keamanan terbaik, tetapkan akses administratif ke pengguna, dan gunakan hanya pengguna root untuk melakukan tugas yang memerlukan akses pengguna root.

Amankan Anda Pengguna root akun AWS

1. Masuk ke AWS Management Consolesebagai pemilik akun dengan memilih pengguna Root dan memasukkan alamat Akun AWS email Anda. Di laman berikutnya, masukkan kata sandi.

   Untuk bantuan masuk dengan menggunakan pengguna root, lihat Masuk sebagai pengguna root di AWS Sign-In Panduan Pengguna.

2. Aktifkan otentikasi multi-faktor (MFA) untuk pengguna root Anda.

   Untuk petunjuk, lihat Mengaktifkan MFA perangkat virtual untuk pengguna Akun AWS root (konsol) Anda di Panduan IAM Pengguna.

Buat pengguna dengan akses administratif

1. Aktifkan Pusat IAM Identitas.

   Untuk mendapatkan petunjuk, silakan lihat Mengaktifkan AWS IAM Identity Center di Panduan Pengguna AWS IAM Identity Center .

2. Di Pusat IAM Identitas, berikan akses administratif ke pengguna.

   Untuk tutorial tentang menggunakan Direktori Pusat Identitas IAM sebagai sumber identitas Anda, lihat Mengkonfigurasi akses pengguna dengan default Direktori Pusat Identitas IAM di Panduan AWS IAM Identity Center Pengguna.

Masuk sebagai pengguna dengan akses administratif

• Untuk masuk dengan pengguna Pusat IAM Identitas, gunakan login URL yang dikirim ke alamat email saat Anda membuat pengguna Pusat IAM Identitas.

  Untuk bantuan masuk menggunakan pengguna Pusat IAM Identitas, lihat Masuk ke portal AWS akses di Panduan AWS Sign-In Pengguna.

Tetapkan akses ke pengguna tambahan

1. Di Pusat IAM Identitas, buat set izin yang mengikuti praktik terbaik menerapkan izin hak istimewa paling sedikit.

   Untuk petunjuknya, lihat Membuat set izin di Panduan AWS IAM Identity Center Pengguna.

2. Tetapkan pengguna ke grup, lalu tetapkan akses masuk tunggal ke grup.

   Untuk petunjuk, lihat Menambahkan grup di Panduan AWS IAM Identity Center Pengguna.

Untuk mengatur AWS CLI

1. Unduh dan konfigurasikan AWS CLI. Untuk instruksi, lihat topik berikut di AWS Command Line Interface Panduan Pengguna:

   • Menginstal AWS Command Line Interface

   • Mengonfigurasi AWS CLI

2. Tambahkan profil bernama untuk pengguna administrator dalam AWS CLI config file. Anda dapat menggunakan profil ini saat menjalankan perintah AWS CLI . Untuk informasi selengkapnya tentang profil yang diberi nama, lihat Profil yang Diberi Nama dalam Panduan Pengguna AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Untuk daftar Wilayah yang tersedia, lihat Wilayah dan Titik Akhir di. Referensi Umum Amazon Web Services

   catatan

   Kode dan perintah contoh dalam tutorial ini menggunakan Wilayah US West (Oregon). Untuk menggunakan AWS Region yang berbeda, ubah Region dalam kode dan perintah untuk tutorial ini ke Region yang ingin Anda gunakan.

3. Verifikasikan penyiapan dengan memasukkan perintah bantuan berikut pada prompt perintah.

   aws help

Untuk membuat aliran data AWS CLI

1. Untuk membuat stream (ExampleInputStream) pertama, gunakan perintah Amazon Kinesis create-stream AWS CLI berikut.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Untuk membuat aliran kedua yang digunakan aplikasi untuk menulis output, jalankan perintah yang sama, yang mengubah nama aliran menjadi ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Buat file bernama stock.py dengan konten berikut:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Selanjutnya dalam tutorial ini, Anda menjalankan skrip stock.py untuk mengirim data ke aplikasi.

   $ python stock.py

1. Kloning repositori jarak jauh menggunakan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Buka direktori amazon-kinesis-data-analytics-java-examples/GettingStarted_1_8 tersebut.

Untuk mengompikasi kode aplikasi

1. Untuk menggunakan kode aplikasi Anda, Anda mengkompilasi dan mengemasnya ke dalam JAR file. Anda dapat mengompilasi dan mengemas kode Anda dengan salah satu dari dua cara:

   • Gunakan alat Maven baris perintah. Buat JAR file Anda dengan menjalankan perintah berikut di direktori yang berisi pom.xml file:

     mvn package -Dflink.version=1.8.2

   • Menyiapkan lingkungan pengembangan Anda. Lihat dokumentasi lingkungan pengembangan Anda untuk detail.

     catatan

     Kode sumber yang disediakan bergantung pada pustaka dari Java 1.8. Pastikan versi Java proyek Anda adalah 1.8.

   Anda dapat mengunggah paket Anda sebagai JAR file, atau Anda dapat mengompres paket Anda dan mengunggahnya sebagai ZIP file. Jika Anda membuat aplikasi menggunakan AWS CLI, Anda menentukan jenis konten kode Anda (JARatauZIP).

2. Jika ada kesalahan saat mengompilasi, pastikan variabel lingkungan JAVA_HOMEAnda diatur dengan benar.

Untuk mengunggah kode aplikasi

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih Buat bucket.

3. Masukkan ka-app-code-<username> di bidang Bucket name (Nama bucket). Tambahkan sufiks ke nama bucket, seperti nama pengguna Anda, untuk membuatnya unik secara global. Pilih Next (Selanjutnya).

4. Di langkah Konfigurasi opsi, jangan ubah pengaturan, dan pilih Next (Selanjutnya).

5. Di langkah Atur izin, jangan ubah pengaturan, dan pilih Next (Selanjutnya).

6. Pilih Create bucket (Buat bucket).

7. Di konsol Amazon S3, pilih - ka-app-code<username>bucket, dan pilih Upload.

8. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file aws-kinesis-analytics-java-apps-1.0.jar yang Anda buat di langkah sebelumnya. Pilih Berikutnya.

9. Anda tidak perlu mengubah pengaturan apa pun untuk objek, jadi pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Description (Deskripsi), masukkan My java test app.

   • Untuk Runtime, pilih Apache Flink.

   • Biarkan menu tarik turun versi sebagai Apache Flink 1.8 (Versi yang Direkomendasikan).

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-west-2 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Di halaman Ringkasan, pilih Edit policy (Edit kebijakan). Pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti akun sampel IDs (012345678901) dengan ID akun Anda.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan aws-kinesis-analytics-java-apps-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

4. Masukkan properti dan nilai aplikasi berikut:

   ID Grup	Kunci	Nilai
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

6. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

7. Pilih Perbarui.

1. Pada MyApplicationhalaman, pilih Jalankan. Konfirmasikan tindakan.

2. Ketika aplikasi berjalan, refresh halaman. Konsol menunjukkan Grafik aplikasi.

Untuk membuat IAM peran

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Dalam panel navigasi, pilih Roles (Peran), Create role (Buat Peran).

3. Di bawah Pilih tipe identitas tepercaya, pilih Layanan AWS . Di bawah Pilih layanan yang akan menggunakan peran ini, pilih Kinesis. Di bawah Pilih kasus penggunaan Anda, pilih Analitik Kinesis.

   Pilih Berikutnya: Izin.

4. Di halaman Lampirkan kebijakan izin, pilih Next: Review (Selanjutnya: Tinjau). Anda melampirkan kebijakan izin setelah Anda membuat peran tersebut.

5. Di halaman Buat peran, masukkan MF-stream-rw-role untuk Role name (Nama peran). Pilih Create role (Buat peran).

   Sekarang Anda telah menciptakan IAM peran baru yang disebutMF-stream-rw-role. Berikutnya, Anda memperbarui kebijakan kepercayaan dan izin untuk peran.

6. Lampirkan kebijakan izin ke peran tersebut.

   catatan

   Untuk latihan ini, Managed Service for Apache Flink mengasumsikan peran ini untuk membaca data dari aliran data Kinesis (sumber) dan menulis output ke aliran data Kinesis lain. Jadi, Anda melampirkan kebijakan yang Anda buat di langkah sebelumnya, Membuat Kebijakan Izin.

   1. Di halaman Ringkasan, pilih tab Permissions (Izin).

   2. Pilih Attach Policies (Lampirkan Kebijakan).

   3. Di kotak pencarian, masukkan AKReadSourceStreamWriteSinkStream (kebijakan yang Anda buat bagian sebelumnya).

   4. Pilih AKReadSourceStreamWriteSinkStreamkebijakan, lalu pilih Lampirkan kebijakan.

1. Simpan JSON kode berikut ke file bernamacreate_request.json. Ganti peran sampel ARN dengan peran yang Anda buat sebelumnya. ARN Ganti ARN akhiran bucket (username) dengan akhiran yang Anda pilih di bagian sebelumnya. Ganti ID akun sampel (012345678901) di peran eksekusi layanan dengan ID akun Anda.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_8",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Jalankan tindakan CreateApplication dengan permintaan sebelumnya untuk membuat aplikasi:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Untuk memulai aplikasi

1. Simpan JSON kode berikut ke file bernamastart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Jalankan tindakan StartApplication dengan permintaan sebelumnya untuk memulai aplikasi:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Untuk menghentikan aplikasi

1. Simpan JSON kode berikut ke file bernamastop_request.json.

   
   {
      "ApplicationName": "test"
   }
   

2. Jalankan tindakan StopApplication dengan permintaan berikut untuk menghentikan aplikasi:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Untuk memperbarui properti lingkungan untuk aplikasi

1. Simpan JSON kode berikut ke file bernamaupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Jalankan tindakan UpdateApplication dengan permintaan sebelumnya untuk memperbarui properti lingkungan:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Managed Service for Apache Flink, pilih. MyApplication

3. Pilih Configure (Konfigurasikan).

4. Di bagian Snapshots, pilih Disable (Nonaktifkan), lalu pilih Update (Perbarui).

5. Di halaman aplikasi, pilih Delete (Hapus), lalu konfirmasikan penghapusan.

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Di panel Kinesis Data Streams, pilih. ExampleInputStream

3. Di ExampleInputStreamhalaman, pilih Hapus Stream Kinesis dan kemudian konfirmasikan penghapusan.

4. Di halaman Kinesis streams, pilih, pilih Tindakan ExampleOutputStream, pilih Hapus, lalu konfirmasikan penghapusan.

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih ka-app-code -<username> ember.

3. Pilih Delete (Hapus), lalu masukkan nama bucket untuk mengonfirmasi penghapusan.

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Di bilah navigasi, pilih Policies (Kebijakan).

3. Di kontrol filter, masukkan kinesis.

4. Pilih kebijakan kinesis-analytics-service- MyApplication -us-west-2.

5. Pilih Policy Actions (Tindakan Kebijakan), lalu pilih Delete (Hapus).

6. Di bilah navigasi, pilih Roles (Peran).

7. Pilih peran kinesis-analytics- -us-west-2. MyApplication

8. Pilih Delete role (Hapus peran), lalu konfirmasi penghapusan.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di bilah navigasi, pilih Logs.

3. Pilih grup/aws/kinesis-analytics/MyApplicationlog.

4. Pilih Delete Log Group (Hapus Grup Log), lalu konfirmasi penghapusan.

Untuk mendaftar untuk Akun AWS

1. Buka https://portal.aws.amazon.com/billing/pendaftaran.

2. Ikuti petunjuk online.

   Bagian dari prosedur pendaftaran melibatkan tindakan menerima panggilan telepon dan memasukkan kode verifikasi di keypad telepon.

   Saat Anda mendaftar untuk sebuah Akun AWS, sebuah Pengguna root akun AWSdibuat. Pengguna root memiliki akses ke semua Layanan AWS dan sumber daya di akun. Sebagai praktik keamanan terbaik, tetapkan akses administratif ke pengguna, dan gunakan hanya pengguna root untuk melakukan tugas yang memerlukan akses pengguna root.

Amankan Anda Pengguna root akun AWS

1. Masuk ke AWS Management Consolesebagai pemilik akun dengan memilih pengguna Root dan memasukkan alamat Akun AWS email Anda. Di laman berikutnya, masukkan kata sandi.

   Untuk bantuan masuk dengan menggunakan pengguna root, lihat Masuk sebagai pengguna root di AWS Sign-In Panduan Pengguna.

2. Aktifkan otentikasi multi-faktor (MFA) untuk pengguna root Anda.

   Untuk petunjuk, lihat Mengaktifkan MFA perangkat virtual untuk pengguna Akun AWS root (konsol) Anda di Panduan IAM Pengguna.

Buat pengguna dengan akses administratif

1. Aktifkan Pusat IAM Identitas.

   Untuk mendapatkan petunjuk, silakan lihat Mengaktifkan AWS IAM Identity Center di Panduan Pengguna AWS IAM Identity Center .

2. Di Pusat IAM Identitas, berikan akses administratif ke pengguna.

   Untuk tutorial tentang menggunakan Direktori Pusat Identitas IAM sebagai sumber identitas Anda, lihat Mengkonfigurasi akses pengguna dengan default Direktori Pusat Identitas IAM di Panduan AWS IAM Identity Center Pengguna.

Masuk sebagai pengguna dengan akses administratif

• Untuk masuk dengan pengguna Pusat IAM Identitas, gunakan login URL yang dikirim ke alamat email saat Anda membuat pengguna Pusat IAM Identitas.

  Untuk bantuan masuk menggunakan pengguna Pusat IAM Identitas, lihat Masuk ke portal AWS akses di Panduan AWS Sign-In Pengguna.

Tetapkan akses ke pengguna tambahan

1. Di Pusat IAM Identitas, buat set izin yang mengikuti praktik terbaik menerapkan izin hak istimewa paling sedikit.

   Untuk petunjuknya, lihat Membuat set izin di Panduan AWS IAM Identity Center Pengguna.

2. Tetapkan pengguna ke grup, lalu tetapkan akses masuk tunggal ke grup.

   Untuk petunjuk, lihat Menambahkan grup di Panduan AWS IAM Identity Center Pengguna.

Untuk mengatur AWS CLI

1. Unduh dan konfigurasikan AWS CLI. Untuk instruksi, lihat topik berikut di AWS Command Line Interface Panduan Pengguna:

   • Menginstal AWS Command Line Interface

   • Mengonfigurasi AWS CLI

2. Tambahkan profil bernama untuk pengguna administrator dalam AWS CLI config file. Anda dapat menggunakan profil ini saat menjalankan perintah AWS CLI . Untuk informasi selengkapnya tentang profil yang diberi nama, lihat Profil yang Diberi Nama dalam Panduan Pengguna AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Untuk daftar AWS Wilayah yang tersedia, lihat Wilayah dan Titik Akhir di. Referensi Umum Amazon Web Services

   catatan

   Kode dan perintah contoh dalam tutorial ini menggunakan Wilayah US West (Oregon). Untuk menggunakan Wilayah yang berbeda, ubah Wilayah dalam kode dan perintah untuk tutorial ini ke Wilayah yang ingin Anda gunakan.

3. Verifikasikan penyiapan dengan memasukkan perintah bantuan berikut pada prompt perintah.

   aws help

Untuk membuat aliran data AWS CLI

1. Untuk membuat stream (ExampleInputStream) pertama, gunakan perintah Amazon Kinesis create-stream AWS CLI berikut.

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Untuk membuat aliran kedua yang digunakan aplikasi untuk menulis output, jalankan perintah yang sama, yang mengubah nama aliran menjadi ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Buat file bernama stock.py dengan konten berikut:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Selanjutnya dalam tutorial ini, Anda menjalankan skrip stock.py untuk mengirim data ke aplikasi.

   $ python stock.py

1. Kloning repositori jarak jauh menggunakan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Buka direktori amazon-kinesis-data-analytics-java-examples/GettingStarted_1_6 tersebut.

Untuk mengompikasi kode aplikasi

1. Untuk menggunakan kode aplikasi Anda, Anda mengkompilasi dan mengemasnya ke dalam JAR file. Anda dapat mengompilasi dan mengemas kode Anda dengan salah satu dari dua cara:

   • Gunakan alat Maven baris perintah. Buat JAR file Anda dengan menjalankan perintah berikut di direktori yang berisi pom.xml file:

     mvn package

     catatan

     Parameter -DFLink.version tidak diperlukan untuk Managed Service untuk Apache Flink Runtime versi 1.0.1; hanya diperlukan untuk versi 1.1.0 dan yang lebih baru. Untuk informasi selengkapnya, lihat Tentukan versi Apache Flink aplikasi Anda.

   • Menyiapkan lingkungan pengembangan Anda. Lihat dokumentasi lingkungan pengembangan Anda untuk detail.

   Anda dapat mengunggah paket Anda sebagai JAR file, atau Anda dapat mengompres paket Anda dan mengunggahnya sebagai ZIP file. Jika Anda membuat aplikasi menggunakan AWS CLI, Anda menentukan jenis konten kode Anda (JARatauZIP).

2. Jika ada kesalahan saat mengompilasi, pastikan variabel lingkungan JAVA_HOMEAnda diatur dengan benar.

Untuk mengunggah kode aplikasi

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih Buat bucket.

3. Masukkan ka-app-code-<username> di bidang Bucket name (Nama bucket). Tambahkan sufiks ke nama bucket, seperti nama pengguna Anda, untuk membuatnya unik secara global. Pilih Next (Selanjutnya).

4. Di langkah Konfigurasi opsi, jangan ubah pengaturan, dan pilih Next (Selanjutnya).

5. Di langkah Atur izin, jangan ubah pengaturan, dan pilih Next (Selanjutnya).

6. Pilih Create bucket (Buat bucket).

7. Di konsol Amazon S3, pilih - ka-app-code<username>bucket, dan pilih Upload.

8. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file aws-kinesis-analytics-java-apps-1.0.jar yang Anda buat di langkah sebelumnya. Pilih Berikutnya.

9. Di langkah Atur izin, jangan ubah pengaturan. Pilih Berikutnya.

10. Di langkah Atur properti, jangan ubah pengaturan. Pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Description (Deskripsi), masukkan My java test app.

   • Untuk Runtime, pilih Apache Flink.

     catatan

     Managed Service untuk Apache Flink menggunakan Apache Flink versi 1.8.2 atau 1.6.2.

   • Ubah versi menu tarik turun ke Apache Flink 1.6.

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-west-2 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Di halaman Ringkasan, pilih Edit policy (Edit kebijakan). Pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti akun sampel IDs (012345678901) dengan ID akun Anda.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan java-getting-started-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

4. Masukkan properti dan nilai aplikasi berikut:

   ID Grup	Kunci	Nilai
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

6. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

7. Pilih Perbarui.

1. Pada MyApplicationhalaman, pilih Jalankan. Konfirmasikan tindakan.

2. Ketika aplikasi berjalan, refresh halaman. Konsol menunjukkan Grafik aplikasi.

Untuk membuat IAM peran

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Dalam panel navigasi, pilih Roles (Peran), Create role (Buat Peran).

3. Di bawah Pilih tipe identitas tepercaya, pilih Layanan AWS . Di bawah Pilih layanan yang akan menggunakan peran ini, pilih Kinesis. Di bawah Pilih kasus penggunaan Anda, pilih Analitik Kinesis.

   Pilih Berikutnya: Izin.

4. Di halaman Lampirkan kebijakan izin, pilih Next: Review (Selanjutnya: Tinjau). Anda melampirkan kebijakan izin setelah Anda membuat peran tersebut.

5. Di halaman Buat peran, masukkan MF-stream-rw-role untuk Role name (Nama peran). Pilih Create role (Buat peran).

   Sekarang Anda telah menciptakan IAM peran baru yang disebutMF-stream-rw-role. Berikutnya, Anda memperbarui kebijakan kepercayaan dan izin untuk peran.

6. Lampirkan kebijakan izin ke peran tersebut.

   catatan

   Untuk latihan ini, Managed Service for Apache Flink mengasumsikan peran ini untuk membaca data dari aliran data Kinesis (sumber) dan menulis output ke aliran data Kinesis lain. Jadi, Anda melampirkan kebijakan yang Anda buat di langkah sebelumnya, Membuat kebijakan izin.

   1. Di halaman Ringkasan, pilih tab Permissions (Izin).

   2. Pilih Attach Policies (Lampirkan Kebijakan).

   3. Di kotak pencarian, masukkan AKReadSourceStreamWriteSinkStream (kebijakan yang Anda buat bagian sebelumnya).

   4. Pilih AKReadSourceStreamWriteSinkStreamkebijakan, lalu pilih Lampirkan kebijakan.

1. Simpan JSON kode berikut ke file bernamacreate_request.json. Ganti peran sampel ARN dengan peran yang Anda buat sebelumnya. ARN Ganti ARN akhiran bucket (username) dengan akhiran yang Anda pilih di bagian sebelumnya. Ganti ID akun sampel (012345678901) di peran eksekusi layanan dengan ID akun Anda.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_6",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "java-getting-started-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Jalankan tindakan CreateApplication dengan permintaan sebelumnya untuk membuat aplikasi:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Untuk memulai aplikasi

1. Simpan JSON kode berikut ke file bernamastart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Jalankan tindakan StartApplication dengan permintaan sebelumnya untuk memulai aplikasi:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Untuk menghentikan aplikasi

1. Simpan JSON kode berikut ke file bernamastop_request.json.

   {
      "ApplicationName": "test"
   }
   

2. Jalankan tindakan StopApplication dengan permintaan berikut untuk menghentikan aplikasi:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Untuk memperbarui properti lingkungan untuk aplikasi

1. Simpan JSON kode berikut ke file bernamaupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Jalankan tindakan UpdateApplication dengan permintaan sebelumnya untuk memperbarui properti lingkungan:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Managed Service for Apache Flink, pilih. MyApplication

3. Pilih Configure (Konfigurasikan).

4. Di bagian Snapshots, pilih Disable (Nonaktifkan), lalu pilih Update (Perbarui).

5. Di halaman aplikasi, pilih Delete (Hapus), lalu konfirmasikan penghapusan.

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Di panel Kinesis Data Streams, pilih. ExampleInputStream

3. Di ExampleInputStreamhalaman, pilih Hapus Stream Kinesis dan kemudian konfirmasikan penghapusan.

4. Di halaman Kinesis streams, pilih, pilih Tindakan ExampleOutputStream, pilih Hapus, lalu konfirmasikan penghapusan.

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih ka-app-code -<username> ember.

3. Pilih Delete (Hapus), lalu masukkan nama bucket untuk mengonfirmasi penghapusan.

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Di bilah navigasi, pilih Policies (Kebijakan).

3. Di kontrol filter, masukkan kinesis.

4. Pilih kebijakan kinesis-analytics-service- MyApplication -us-west-2.

5. Pilih Policy Actions (Tindakan Kebijakan), lalu pilih Delete (Hapus).

6. Di bilah navigasi, pilih Roles (Peran).

7. Pilih peran kinesis-analytics- -us-west-2. MyApplication

8. Pilih Delete role (Hapus peran), lalu konfirmasi penghapusan.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di bilah navigasi, pilih Logs.

3. Pilih grup/aws/kinesis-analytics/MyApplicationlog.

4. Pilih Delete Log Group (Hapus Grup Log), lalu konfirmasi penghapusan.

1. Buat file bernama stock.py dengan konten berikut:

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Jalankan skrip stock.py.

   $ python stock.py

   Biarkan skrip tetap berjalan saat menyelesaikan sisa tutorial.

1. Instal klien Git jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Menginstal Git.

2. Klon repositori jarak jauh dengan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Buka direktori amazon-kinesis-data-analytics-java-examples/TumblingWindow tersebut.

1. Instal Java dan Maven jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Lengkapi prasyarat yang diperlukan di tutorial Tutorial: Mulai menggunakan Layanan Terkelola DataStream API di Apache Flink.

2. Susun aplikasi dengan perintah berikut:

   mvn package -Dflink.version=1.15.3

   catatan

   Kode sumber yang disediakan bergantung pada pustaka dari Java 11.

1. Di konsol Amazon S3, pilih - ka-app-code<username>bucket, dan pilih Upload.

2. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file aws-kinesis-analytics-java-apps-1.0.jar yang Anda buat di langkah sebelumnya.

3. Anda tidak perlu mengubah pengaturan apa pun untuk objek, jadi pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Runtime, pilih Apache Flink.

     catatan

     Managed Service untuk Apache Flink menggunakan Apache Flink versi 1.15.2.

   • Biarkan versi pulldown sebagai Apache Flink versi 1.15.2 (Versi yang disarankan).

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-west-2 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Di halaman Ringkasan, pilih Edit policy (Edit kebijakan). Pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti akun sampel IDs (012345678901) dengan ID akun Anda.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan aws-kinesis-analytics-java-apps-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

4. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

5. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

6. Pilih Perbarui.

1. Pada MyApplicationhalaman, pilih Jalankan. Biarkan opsi Run without snapshot (Jalankan tanpa snapshot) dipilih, dan konfirmasikan tindakan.

2. Ketika aplikasi berjalan, refresh halaman. Konsol menunjukkan Grafik aplikasi.

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. di panel Managed Service for Apache Flink, pilih. MyApplication

3. Di halaman aplikasi, pilih Delete (Hapus), lalu konfirmasikan penghapusan.

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Kinesis Data Streams, pilih. ExampleInputStream

3. Di ExampleInputStreamhalaman, pilih Hapus Stream Kinesis dan kemudian konfirmasikan penghapusan.

4. Di halaman Kinesis streams, pilih, pilih Tindakan ExampleOutputStream, pilih Hapus, lalu konfirmasikan penghapusan.

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih ka-app-code -<username> ember.

3. Pilih Delete (Hapus), lalu masukkan nama bucket untuk mengonfirmasi penghapusan.

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Di bilah navigasi, pilih Policies (Kebijakan).

3. Di kontrol filter, masukkan kinesis.

4. Pilih kebijakan kinesis-analytics-service- MyApplication -us-west-2.

5. Pilih Policy Actions (Tindakan Kebijakan), lalu pilih Delete (Hapus).

6. Di bilah navigasi, pilih Roles (Peran).

7. Pilih peran kinesis-analytics- -us-west-2. MyApplication

8. Pilih Delete role (Hapus peran), lalu konfirmasi penghapusan.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di bilah navigasi, pilih Logs.

3. Pilih grup/aws/kinesis-analytics/MyApplicationlog.

4. Pilih Delete Log Group (Hapus Grup Log), lalu konfirmasi penghapusan.

1. Buat file bernama stock.py dengan konten berikut:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Jalankan skrip stock.py.

   $ python stock.py

   Biarkan skrip tetap berjalan saat menyelesaikan sisa tutorial.

1. Instal klien Git jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Menginstal Git.

2. Klon repositori jarak jauh dengan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Buka direktori amazon-kinesis-data-analytics-java-examples/SlidingWindow tersebut.

1. Instal Java dan Maven jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Lengkapi prasyarat yang diperlukan di tutorial Tutorial: Mulai menggunakan Layanan Terkelola DataStream API di Apache Flink.

2. Susun aplikasi dengan perintah berikut:

   mvn package -Dflink.version=1.15.3

   catatan

   Kode sumber yang disediakan bergantung pada pustaka dari Java 11.

1. Di konsol Amazon S3, pilih - ka-app-code<username>bucket, lalu pilih Upload.

2. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file aws-kinesis-analytics-java-apps-1.0.jar yang Anda buat di langkah sebelumnya.

3. Anda tidak perlu mengubah pengaturan apa pun untuk objek, jadi pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Runtime, pilih Apache Flink.

   • Biarkan versi pulldown sebagai Apache Flink versi 1.15.2 (Versi yang disarankan).

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-west-2 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Di halaman Ringkasan, pilih Edit policy (Edit kebijakan). Pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti akun sampel IDs (012345678901) dengan ID akun Anda.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan aws-kinesis-analytics-java-apps-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

4. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

5. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

6. Pilih Perbarui.

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Di panel Managed Service for Apache Flink, pilih. MyApplication

3. Di halaman aplikasi, pilih Delete (Hapus), lalu konfirmasikan penghapusan.

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Kinesis Data Streams, pilih. ExampleInputStream

3. Di ExampleInputStreamhalaman, pilih Hapus Stream Kinesis dan kemudian konfirmasikan penghapusan.

4. Di halaman Kinesis streams, pilih, pilih Tindakan ExampleOutputStream, pilih Hapus, lalu konfirmasikan penghapusan.

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih ka-app-code -<username> ember.

3. Pilih Delete (Hapus), lalu masukkan nama bucket untuk mengonfirmasi penghapusan.

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Di bilah navigasi, pilih Policies (Kebijakan).

3. Di kontrol filter, masukkan kinesis.

4. Pilih kebijakan kinesis-analytics-service- MyApplication -us-west-2.

5. Pilih Policy Actions (Tindakan Kebijakan), lalu pilih Delete (Hapus).

6. Di bilah navigasi, pilih Roles (Peran).

7. Pilih peran kinesis-analytics- -us-west-2. MyApplication

8. Pilih Delete role (Hapus peran), lalu konfirmasi penghapusan.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di bilah navigasi, pilih Logs.

3. Pilih grup/aws/kinesis-analytics/MyApplicationlog.

4. Pilih Delete Log Group (Hapus Grup Log), lalu konfirmasi penghapusan.

1. Buat file bernama stock.py dengan konten berikut:

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Jalankan skrip stock.py.

   $ python stock.py

   Biarkan skrip tetap berjalan saat menyelesaikan sisa tutorial.

1. Instal klien Git jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Menginstal Git.

2. Klon repositori jarak jauh dengan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Buka direktori amazon-kinesis-data-analytics-java-examples/S3Sink tersebut.

1. Instal Java dan Maven jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Lengkapi prasyarat yang diperlukan di tutorial Tutorial: Mulai menggunakan Layanan Terkelola DataStream API di Apache Flink.

2. Susun aplikasi dengan perintah berikut:

   mvn package -Dflink.version=1.15.3

1. Di konsol Amazon S3, pilih - ka-app-code<username>bucket, navigasikan ke folder kode, dan pilih Unggah.

2. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file aws-kinesis-analytics-java-apps-1.0.jar yang Anda buat di langkah sebelumnya.

3. Anda tidak perlu mengubah pengaturan apa pun untuk objek, jadi pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Runtime, pilih Apache Flink.

   • Biarkan versi pulldown sebagai Apache Flink versi 1.15.2 (Versi yang disarankan).

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

   catatan

   Saat membuat aplikasi Managed Service for Apache Flink menggunakan konsol, Anda memiliki opsi untuk membuat IAM peran dan kebijakan untuk aplikasi Anda. Aplikasi Anda menggunakan peran dan kebijakan ini untuk mengakses sumber daya dependen. IAMSumber daya ini diberi nama menggunakan nama aplikasi dan Wilayah Anda sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Runtime, pilih Apache Flink.

   • Tinggalkan versi sebagai Apache Flink versi 1.15.2 (Versi yang disarankan).

6. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

7. Pilih Create application (Buat aplikasi).

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-west-2 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Di halaman Ringkasan, pilih Edit policy (Edit kebijakan). Pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti akun sampel IDs (012345678901) dengan ID akun Anda. Ganti <username> dengan nama pengguna Anda.

   {
               "Sid": "S3",
               "Effect": "Allow",
               "Action": [
                   "s3:Abort*",
                   "s3:DeleteObject*",
                   "s3:GetObject*",
                   "s3:GetBucket*",
                   "s3:List*",
                   "s3:ListBucket",
                   "s3:PutObject"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-<username>",
                   "arn:aws:s3:::ka-app-code-<username>/*"
               ]
             }, 
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:%LOG_STREAM_PLACEHOLDER%"
               ]
           }
           ,
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           
       ]
   }

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan code/aws-kinesis-analytics-java-apps-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

4. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

5. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

6. Pilih Perbarui.

1. Pada MyApplicationhalaman, pilih Jalankan. Biarkan opsi Run without snapshot (Jalankan tanpa snapshot) dipilih, dan konfirmasikan tindakan.

2. Ketika aplikasi berjalan, refresh halaman. Konsol menunjukkan Grafik aplikasi.

1. Tambahkan pernyataan impor berikut ke bagian depan file S3StreamingSinkJob.java:

   import org.apache.flink.streaming.api.functions.sink.filesystem.rollingpolicies.DefaultRollingPolicy;
   import org.apache.flink.streaming.api.functions.sink.filesystem.bucketassigners.DateTimeBucketAssigner;

2. Perbarui metode createS3SinkFromStaticConfig() dalam kode agar terlihat seperti berikut ini:

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
       final StreamingFileSink<String> sink = StreamingFileSink
           .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
           .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
           .withRollingPolicy(DefaultRollingPolicy.create().build())
           .build();
       return sink;
   }
               

1. Tingkatkan pengaturan CheckpointInterval aplikasi. Input berikut untuk UpdateApplicationtindakan menetapkan interval pos pemeriksaan menjadi 10 menit:

   {
      "ApplicationConfigurationUpdate": {  
         "FlinkApplicationConfigurationUpdate": { 
            "CheckpointConfigurationUpdate": {
               "ConfigurationTypeUpdate" : "CUSTOM", 
               "CheckpointIntervalUpdate": 600000
            }
         }
      },
      "ApplicationName": "MyApplication",
      "CurrentApplicationVersionId": 5
   }

   Untuk menggunakan kode sebelumnya, tentukan versi aplikasi saat ini. Anda dapat mengambil versi aplikasi dengan menggunakan ListApplicationstindakan.

2. Tambahkan pernyataan impor berikut ke bagian depan file S3StreamingSinkJob.java:

   import java.util.concurrent.TimeUnit; 

3. Perbarui metode createS3SinkFromStaticConfig dalam file S3StreamingSinkJob.java agar terlihat seperti berikut ini:

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
           final StreamingFileSink<String> sink = StreamingFileSink
                   .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
                   .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
                   .withRollingPolicy(
                           DefaultRollingPolicy.create()
                               .withRolloverInterval(TimeUnit.MINUTES.toMillis(8))
                               .withInactivityInterval(TimeUnit.MINUTES.toMillis(5))
                               .withMaxPartSize(1024 * 1024 * 1024)
                               .build())
                   .build();
           return sink;
       }

   Contoh kode sebelumnya menetapkan frekuensi tulis ke bucket Amazon S3 ke 8 menit.

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Di panel Managed Service for Apache Flink, pilih. MyApplication

3. Di halaman aplikasi, pilih Delete (Hapus), lalu konfirmasikan penghapusan.

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Kinesis Data Streams, pilih. ExampleInputStream

3. Pada ExampleInputStreamhalaman, pilih Hapus Kinesis Stream dan kemudian konfirmasikan penghapusan.

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih ka-app-code -<username> ember.

3. Pilih Delete (Hapus), lalu masukkan nama bucket untuk mengonfirmasi penghapusan.

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Di bilah navigasi, pilih Policies (Kebijakan).

3. Di kontrol filter, masukkan kinesis.

4. Pilih kebijakan kinesis-analytics-service- MyApplication -us-west-2.

5. Pilih Policy Actions (Tindakan Kebijakan), lalu pilih Delete (Hapus).

6. Di bilah navigasi, pilih Roles (Peran).

7. Pilih peran kinesis-analytics- -us-west-2. MyApplication

8. Pilih Delete role (Hapus peran), lalu konfirmasi penghapusan.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di bilah navigasi, pilih Logs.

3. Pilih grup/aws/kinesis-analytics/MyApplicationlog.

4. Pilih Delete Log Group (Hapus Grup Log), lalu konfirmasi penghapusan.

1. Instal klien Git jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Menginstal Git.

2. Klon repositori jarak jauh dengan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Kode aplikasi terletak di file amazon-kinesis-data-analytics-java-examples/KafkaConnectors/KafkaGettingStartedJob.java. Anda dapat memeriksa kode untuk membiasakan diri dengan struktur Layanan Terkelola untuk kode aplikasi Apache Flink.

4. Gunakan alat Maven baris perintah atau lingkungan pengembangan pilihan Anda untuk membuat file. JAR Untuk mengkompilasi JAR file menggunakan alat Maven baris perintah, masukkan yang berikut ini:

   mvn package -Dflink.version=1.15.3

   Jika berhasil membangun, file berikut dibuat:

   target/KafkaGettingStartedJob-1.0.jar

   catatan

   Kode sumber yang disediakan bergantung pada pustaka dari Java 11. Jika Anda menggunakan lingkungan pengembangan,

1. Di konsol Amazon S3, pilih - ka-app-code<username>bucket, dan pilih Upload.

2. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file KafkaGettingStartedJob-1.0.jar yang Anda buat di langkah sebelumnya.

3. Anda tidak perlu mengubah pengaturan apa pun untuk objek, jadi pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink. https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Runtime, pilih Apache Flink versi 1.15.2.

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan KafkaGettingStartedJob-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

   catatan

   Saat Anda menentukan sumber daya aplikasi menggunakan konsol (seperti CloudWatch Log atau AmazonVPC), konsol akan mengubah peran eksekusi aplikasi Anda untuk memberikan izin untuk mengakses sumber daya tersebut.

4. Di bawah Properties (Properti), pilih Add Group (Tambahkan Grup). Masukkan properti berikut:

   ID Grup	Kunci	Nilai
   KafkaSource	topik	AWS KafkaTutorialTopic
   KafkaSource	bootstrap.servers	The bootstrap server list you saved previously
   KafkaSource	security.protocol	SSL
   KafkaSource	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSource	ssl.truststore.password	changeit

   catatan

   ssl.truststore.password untuk sertifikat default adalah "changeit"; Anda tidak perlu mengubah nilai ini jika Anda menggunakan sertifikat default.

   Pilih Add Group (Tambahkan Grup) lagi. Masukkan properti berikut:

   ID Grup	Kunci	Nilai
   KafkaSink	topik	AWS KafkaTutorialTopicDestination
   KafkaSink	bootstrap.servers	The bootstrap server list you saved previously
   KafkaSink	security.protocol	SSL
   KafkaSink	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSink	ssl.truststore.password	changeit
   KafkaSink	transaction.timeout.ms	1000

   Kode aplikasi membaca properti aplikasi di atas untuk mengonfigurasi sumber dan sink yang digunakan untuk berinteraksi dengan MSK cluster Anda VPC dan Amazon. Untuk informasi selengkapnya tentang penggunaan runtime, lihat Gunakan properti runtime.

5. Di bawah Snapshots, pilih Disable (Nonaktifkan). Tindakan ini akan memudahkan pembaruan aplikasi tanpa memuat data status aplikasi yang tidak valid.

6. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

7. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

8. Di bagian Virtual Private Cloud (VPC), pilih VPC yang akan dikaitkan dengan aplikasi Anda. Pilih subnet dan grup keamanan yang terkait dengan Anda VPC yang ingin digunakan aplikasi untuk mengakses VPC sumber daya.

9. Pilih Perbarui.

1. Buat file bernama stock.py dengan konten berikut:

    
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Jalankan skrip stock.py.

   $ python stock.py

   Biarkan skrip tetap berjalan saat menyelesaikan sisa tutorial.

1. Instal klien Git jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Menginstal Git.

2. Klon repositori jarak jauh dengan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Buka direktori amazon-kinesis-data-analytics-java-examples/EfoConsumer tersebut.

1. Instal Java dan Maven jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Lengkapi prasyarat yang diperlukan di tutorial Tutorial: Mulai menggunakan Layanan Terkelola DataStream API di Apache Flink.

2. Susun aplikasi dengan perintah berikut:

   mvn package -Dflink.version=1.15.3

   catatan

   Kode sumber yang disediakan bergantung pada pustaka dari Java 11.

1. Di konsol Amazon S3, pilih - ka-app-code<username>bucket, dan pilih Upload.

2. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file aws-kinesis-analytics-java-apps-1.0.jar yang Anda buat di langkah sebelumnya.

3. Anda tidak perlu mengubah pengaturan apa pun untuk objek, jadi pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Runtime, pilih Apache Flink.

     catatan

     Managed Service untuk Apache Flink menggunakan Apache Flink versi 1.15.2.

   • Biarkan versi pulldown sebagai Apache Flink versi 1.15.2 (Versi yang disarankan).

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-west-2 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Di halaman Ringkasan, pilih Edit policy (Edit kebijakan). Pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti akun sampel IDs (012345678901) dengan ID akun Anda.

   catatan

   Izin ini memberikan aplikasi kemampuan untuk mengakses EFO konsumen.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "AllStreams",
               "Effect": "Allow",
               "Action": [
                   "kinesis:ListShards",
                   "kinesis:ListStreamConsumers",
                   "kinesis:DescribeStreamSummary"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/*"
           },
           {
               "Sid": "Stream",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStream",
                   "kinesis:RegisterStreamConsumer",
                   "kinesis:DeregisterStreamConsumer"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           },
           {
               "Sid": "Consumer",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStreamConsumer",
                   "kinesis:SubscribeToShard"
               ],
               "Resource": [
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app",
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app:*"
               ]
           }
       ]
   }

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan aws-kinesis-analytics-java-apps-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

4. Di bawah Properties (Properti), pilih Create group (Buat grup).

5. Masukkan properti dan nilai aplikasi berikut:

   ID Grup	Kunci	Nilai
   ConsumerConfigProperties	flink.stream.recordpublisher	EFO
   ConsumerConfigProperties	flink.stream.efo.consumername	basic-efo-flink-app
   ConsumerConfigProperties	INPUT_STREAM	ExampleInputStream
   ConsumerConfigProperties	flink.inputstream.initpos	LATEST
   ConsumerConfigProperties	AWS_REGION	us-west-2

6. Di bawah Properties (Properti), pilih Create group (Buat grup).

7. Masukkan properti dan nilai aplikasi berikut:

   ID Grup	Kunci	Nilai
   ProducerConfigProperties	OUTPUT_STREAM	ExampleOutputStream
   ProducerConfigProperties	AWS_REGION	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

8. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

9. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

10. Pilih Perbarui.

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. di panel Managed Service for Apache Flink, pilih. MyApplication

3. Di halaman aplikasi, pilih Delete (Hapus), lalu konfirmasikan penghapusan.

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Kinesis Data Streams, pilih. ExampleInputStream

3. Di ExampleInputStreamhalaman, pilih Hapus Stream Kinesis dan kemudian konfirmasikan penghapusan.

4. Di halaman Kinesis streams, pilih, pilih Tindakan ExampleOutputStream, pilih Hapus, lalu konfirmasikan penghapusan.

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih ka-app-code -<username> ember.

3. Pilih Delete (Hapus), lalu masukkan nama bucket untuk mengonfirmasi penghapusan.

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Di bilah navigasi, pilih Policies (Kebijakan).

3. Di kontrol filter, masukkan kinesis.

4. Pilih kebijakan kinesis-analytics-service- MyApplication -us-west-2.

5. Pilih Policy Actions (Tindakan Kebijakan), lalu pilih Delete (Hapus).

6. Di bilah navigasi, pilih Roles (Peran).

7. Pilih peran kinesis-analytics- -us-west-2. MyApplication

8. Pilih Delete role (Hapus peran), lalu konfirmasi penghapusan.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di bilah navigasi, pilih Logs.

3. Pilih grup/aws/kinesis-analytics/MyApplicationlog.

4. Pilih Delete Log Group (Hapus Grup Log), lalu konfirmasi penghapusan.

1. Buat file bernama stock.py dengan konten berikut:

    import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Jalankan skrip stock.py.

   $ python stock.py

   Biarkan skrip tetap berjalan saat menyelesaikan sisa tutorial.

1. Klon repositori jarak jauh dengan perintah berikut:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Buka direktori amazon-kinesis-data-analytics-java-examples/FirehoseSink tersebut.

1. Instal Java dan Maven jika Anda belum menginstalnya. Untuk informasi selengkapnya, lihat Lengkapi prasyarat yang diperlukan di tutorial Tutorial: Mulai menggunakan Layanan Terkelola DataStream API di Apache Flink.

2. Untuk menggunakan konektor Kinesis untuk aplikasi berikut, Anda perlu mengunduh, membangun, dan menginstal Apache Maven. Untuk informasi selengkapnya, lihat Menggunakan konektor Apache Flink Kinesis Streams dengan versi Apache Flink sebelumnya.

3. Susun aplikasi dengan perintah berikut:

   mvn package -Dflink.version=1.15.3

   catatan

   Kode sumber yang disediakan bergantung pada pustaka dari Java 11.

Untuk mengunggah kode aplikasi

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Di konsol, pilih ka-app-code -<username>bucket, lalu pilih Upload.

3. Di langkah Pilih file, pilih Add files (Tambahkan berkas). Navigasikan ke file java-getting-started-1.0.jar yang Anda buat di langkah sebelumnya.

4. Anda tidak perlu mengubah pengaturan apa pun untuk objek, jadi pilih Upload (Unggah).

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Pada dashboard Managed Service for Apache Flink, pilih Create Analytics Application.

3. Pada Layanan Terkelola untuk Apache Flink - Buat halaman aplikasi, berikan detail aplikasi sebagai berikut:

   • Untuk Application name (Nama aplikasi), masukkan MyApplication.

   • Untuk Description (Deskripsi), masukkan My java test app.

   • Untuk Runtime, pilih Apache Flink.

     catatan

     Managed Service untuk Apache Flink menggunakan Apache Flink versi 1.15.2.

   • Biarkan versi pulldown sebagai Apache Flink versi 1.15.2 (Versi yang disarankan).

4. Untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

5. Pilih Create application (Buat aplikasi).

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Pilih Policies (Kebijakan). Pilih kebijakan kinesis-analytics-service-MyApplication-us-west-2 yang dibuat konsol untuk Anda di bagian sebelumnya.

3. Di halaman Ringkasan, pilih Edit policy (Edit kebijakan). Pilih JSONtab.

4. Tambahkan bagian yang disorot dari contoh kebijakan berikut ke kebijakan. Ganti semua contoh akun IDs sampel (012345678901) dengan ID akun Anda.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
              ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteDeliveryStream",
               "Effect": "Allow",
               "Action": "firehose:*",
               "Resource": "arn:aws:firehose:us-west-2:012345678901:deliverystream/ExampleDeliveryStream"
           }
       ]
   }

1. Pada MyApplicationhalaman, pilih Konfigurasi.

2. Di halaman Konfigurasikan aplikasi, berikan Code location (Lokasi kode):

   • Untuk Bucket Amazon S3, masukkan ka-app-code-<username>.

   • Untuk Jalur ke objek Amazon S3, masukkan java-getting-started-1.0.jar.

3. Di bawah Akses ke sumber daya aplikasi, untuk izin Akses, pilih Buat/perbarui IAM peran kinesis-analytics-MyApplication-us-west-2.

4. Di bawah Pemantauan, pastikan Memantau tingkat metrik diatur ke Aplikasi.

5. Untuk CloudWatch logging, pilih kotak centang Aktifkan.

6. Pilih Perbarui.

Untuk membuat IAM peran

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Dalam panel navigasi, pilih Roles (Peran), Create role (Buat Peran).

3. Di bawah Pilih tipe identitas tepercaya, pilih Layanan AWS . Di bawah Pilih layanan yang akan menggunakan peran ini, pilih Kinesis. Di bawah Pilih kasus penggunaan Anda, pilih Analitik Kinesis.

   Pilih Berikutnya: Izin.

4. Di halaman Lampirkan kebijakan izin, pilih Next: Review (Selanjutnya: Tinjau). Anda melampirkan kebijakan izin setelah Anda membuat peran tersebut.

5. Di halaman Buat peran, masukkan MF-stream-rw-role untuk Role name (Nama peran). Pilih Create role (Buat peran).

   Sekarang Anda telah menciptakan IAM peran baru yang disebutMF-stream-rw-role. Berikutnya, Anda memperbarui kebijakan kepercayaan dan izin untuk peran.

6. Lampirkan kebijakan izin ke peran tersebut.

   catatan

   Untuk latihan ini, Managed Service for Apache Flink mengasumsikan peran ini untuk membaca data dari aliran data Kinesis (sumber) dan menulis output ke aliran data Kinesis lain. Jadi, Anda melampirkan kebijakan yang Anda buat di langkah sebelumnya, Membuat kebijakan izin.

   1. Di halaman Ringkasan, pilih tab Permissions (Izin).

   2. Pilih Attach Policies (Lampirkan Kebijakan).

   3. Di kotak pencarian, masukkan AKReadSourceStreamWriteSinkStream (kebijakan yang Anda buat bagian sebelumnya).

   4. Pilih AKReadSourceStreamWriteSinkStreamkebijakan, lalu pilih Lampirkan kebijakan.

1. Simpan JSON kode berikut ke file bernamacreate_request.json. Ganti peran sampel ARN dengan peran yang Anda buat sebelumnya. ARN Ganti ARN akhiran bucket dengan akhiran yang Anda pilih di Buat sumber daya yang bergantung bagian (ka-app-code-<username>.) Ganti ID akun sampel (012345678901) dalam peran eksekusi layanan dengan ID akun Anda.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_15",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "java-getting-started-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           }
         }
       }
   }
   
   

2. Jalankan tindakan CreateApplication dengan permintaan sebelumnya untuk membuat aplikasi:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Untuk memulai aplikasi

1. Simpan JSON kode berikut ke file bernamastart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Jalankan tindakan StartApplication dengan permintaan sebelumnya untuk memulai aplikasi:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Untuk menghentikan aplikasi

1. Simpan JSON kode berikut ke file bernamastop_request.json.

   
   {
       "ApplicationName": "test"
   }
   

2. Jalankan tindakan StopApplication dengan permintaan berikut untuk menghentikan aplikasi:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

1. Buka Layanan Terkelola untuk konsol Apache Flink di /flink https://console.aws.amazon.com

2. Di panel Managed Service for Apache Flink, pilih. MyApplication

3. Pilih Configure (Konfigurasikan).

4. Di bagian Snapshots, pilih Disable (Nonaktifkan), lalu pilih Update (Perbarui).

5. Di halaman aplikasi, pilih Delete (Hapus), lalu konfirmasikan penghapusan.

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Kinesis Data Streams, pilih. ExampleInputStream

3. Di ExampleInputStreamhalaman, pilih Hapus Stream Kinesis dan kemudian konfirmasikan penghapusan.

1. Buka konsol Kinesis di /kinesis. https://console.aws.amazon.com

2. Di panel Firehose, pilih. ExampleDeliveryStream

3. Di ExampleDeliveryStreamhalaman, pilih Hapus aliran Firehose dan kemudian konfirmasikan penghapusan.

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih ka-app-code -<username> ember.

3. Pilih Delete (Hapus), lalu masukkan nama bucket untuk mengonfirmasi penghapusan.

4. Jika Anda membuat bucket Amazon S3 untuk tujuan aliran Firehose, hapus juga bucket tersebut.

1. Buka IAM konsol di https://console.aws.amazon.com/iam/.

2. Di bilah navigasi, pilih Policies (Kebijakan).

3. Di kontrol filter, masukkan kinesis.

4. Pilih kebijakan kinesis-analytics-service- MyApplication -us-west-2.

5. Pilih Policy Actions (Tindakan Kebijakan), lalu pilih Delete (Hapus).

6. Jika Anda membuat kebijakan baru untuk aliran Firehose, hapus kebijakan tersebut juga.

7. Di bilah navigasi, pilih Roles (Peran).

8. Pilih peran kinesis-analytics- -us-west-2. MyApplication

9. Pilih Delete role (Hapus peran), lalu konfirmasi penghapusan.

10. Jika Anda membuat peran baru untuk aliran Firehose, hapus peran itu juga.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di bilah navigasi, pilih Logs.

3. Pilih grup/aws/kinesis-analytics/MyApplicationlog.

4. Pilih Delete Log Group (Hapus Grup Log), lalu konfirmasi penghapusan.