Tutorial: Menyebarkan notebook Studio sebagai Layanan Terkelola untuk aplikasi Apache Flink dengan status tahan lama - Layanan Terkelola untuk Apache Flink
Prasyarat lengkapDeploy aplikasi dengan status tahan lama menggunakan AWS Management ConsoleDeploy aplikasi dengan status tahan lama menggunakan AWS CLI

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tutorial: Menyebarkan notebook Studio sebagai Layanan Terkelola untuk aplikasi Apache Flink dengan status tahan lama

Tutorial berikut menunjukkan cara menyebarkan notebook Studio sebagai Layanan Terkelola untuk aplikasi Apache Flink dengan status tahan lama.

Prasyarat lengkap

Buat buku catatan Studio baru dengan mengikutiTutorial: Membuat notebook Studio di Managed Service untuk Apache Flink, menggunakan Kinesis Data Streams MSK atau Amazon. Beri nama notebook Studio ExampleTestDeploy.

Deploy aplikasi dengan status tahan lama menggunakan AWS Management Console

  1. Tambahkan lokasi bucket S3 tempat Anda ingin kode yang dikemas disimpan di bawah Lokasi kode aplikasi - opsional di konsol. Ini mengaktifkan langkah-langkah untuk men-deploy dan menjalankan aplikasi Anda langsung dari notebook.

  2. Tambahkan izin yang diperlukan ke peran aplikasi untuk mengaktifkan peran yang Anda gunakan untuk membaca dan menulis ke bucket Amazon S3, dan untuk meluncurkan Layanan Terkelola untuk aplikasi Apache Flink:

  3. Gunakan kode sampel berikut:

    %flink.ssql(type=update) 
CREATE TABLE exampleoutput (
  'ticket' VARCHAR,
  'price' DOUBLE
)
WITH (
  'connector' = 'kinesis',
  'stream' = 'ExampleOutputStream',
  'aws.region' = 'us-east-1',
  'scan.stream.initpos' = 'LATEST',
  'format' = 'json'
);

INSERT INTO exampleoutput SELECT ticker, price FROM exampleinputstream

  4. Dengan peluncuran fitur ini, Anda akan melihat menu menurun baru di sudut kanan atas setiap catatan di notebook Anda dengan nama notebook. Anda dapat melakukan tindakan berikut:

    • Lihat pengaturan notebook Studio di AWS Management Console.

    • Bangun Zeppelin Note dan ekspor ke Amazon S3. Di titik ini, beri nama aplikasi Anda dan pilih Build and Export (Bangun dan Ekspor). Anda akan mendapatkan notifikasi saat ekspor selesai.

    • Jika perlu, Anda dapat melihat dan menjalankan tes tambahan pada executable di Amazon S3.

    • Setelah selesai dibangun, Anda akan dapat men-deploy kode Anda sebagai aplikasi streaming Kinesis dengan status tahan lama dan penskalaan otomatis.

    • Gunakan menu menurun dan pilih Deploy Zeppelin Note as Kinesis streaming application (Deploy Zeppelin Note sebagai aplikasi streaming Kinesis). Tinjau nama aplikasi dan pilih Deploy via AWS Console.

    • Ini akan membawa Anda ke AWS Management Console halaman untuk membuat Layanan Terkelola untuk aplikasi Apache Flink. Perhatikan bahwa nama aplikasi, paralelisme, lokasi kode, Glue DB default, VPC (jika ada) dan IAM peran telah diisi sebelumnya. Validasi bahwa IAM peran memiliki izin yang diperlukan untuk sumber dan tujuan Anda. Snapshot diaktifkan secara default untuk manajemen state aplikasi yang tahan lama.

    • Pilih create application (buat aplikasi).

    • Anda dapat memilih configure (konfigurasikan) dan mengubah pengaturan apa pun, lalu memilih Run (Jalankan) untuk memulai aplikasi streaming Anda.

Deploy aplikasi dengan status tahan lama menggunakan AWS CLI

Untuk menyebarkan aplikasi menggunakan AWS CLI, Anda harus memperbarui AWS CLI untuk menggunakan model layanan yang disediakan dengan informasi Beta 2 Anda. Untuk informasi tentang cara menggunakan model layanan yang diperbarui, lihat Lengkapi prasyarat.

Kode contoh berikut membuat notebook Studio baru:

aws kinesisanalyticsv2 create-application \
     --application-name <app-name> \
     --runtime-environment ZEPPELIN-FLINK-3_0 \
     --application-mode INTERACTIVE \
     --service-execution-role <iam-role>
     --application-configuration '{ 
       "ZeppelinApplicationConfiguration": { 
         "CatalogConfiguration": { 
           "GlueDataCatalogConfiguration": { 
             "DatabaseARN": "arn:aws:glue:us-east-1:<account>:database/<glue-database-name>" 
           } 
         } 
       },
       "FlinkApplicationConfiguration": {
         "ParallelismConfiguration": {
           "ConfigurationType": "CUSTOM",
           "Parallelism": 4,
           "ParallelismPerKPU": 4
         }
       },
       "DeployAsApplicationConfiguration": {
            "S3ContentLocation": { 
               "BucketARN": "arn:aws:s3:::<s3bucket>",
               "BasePath": "/something/"
            }
        },
       "VpcConfigurations": [
         {
           "SecurityGroupIds": [
             "<security-group>"
           ],
           "SubnetIds": [
             "<subnet-1>",
             "<subnet-2>"
           ]
         }
       ]
     }' \
     --region us-east-1

Contoh kode berikut memulai notebook Studio baru:

aws kinesisanalyticsv2 start-application \
    --application-name <app-name> \
    --region us-east-1 \
    --no-verify-ssl

Kode berikut mengembalikan halaman notebook URL Apache Zeppelin aplikasi:

aws kinesisanalyticsv2 create-application-presigned-url \
    --application-name <app-name> \
    --url-type ZEPPELIN_UI_URL \

    --region us-east-1 \
    --no-verify-ssl