Pilih preferensi cookie Anda

Kami menggunakan cookie penting serta alat serupa yang diperlukan untuk menyediakan situs dan layanan. Kami menggunakan cookie performa untuk mengumpulkan statistik anonim sehingga kami dapat memahami cara pelanggan menggunakan situs dan melakukan perbaikan. Cookie penting tidak dapat dinonaktifkan, tetapi Anda dapat mengklik “Kustom” atau “Tolak” untuk menolak cookie performa.

Jika Anda setuju, AWS dan pihak ketiga yang disetujui juga akan menggunakan cookie untuk menyediakan fitur situs yang berguna, mengingat preferensi Anda, dan menampilkan konten yang relevan, termasuk iklan yang relevan. Untuk menerima atau menolak semua cookie yang tidak penting, klik “Terima” atau “Tolak”. Untuk membuat pilihan yang lebih detail, klik “Kustomisasi”.

Preferensi
Hubungi Kami
Umpan Balik
AWS Documentation
Buat Akun AWS

Jalankan aplikasi Flink

PDF
Mode fokus
Jalankan aplikasi Flink - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Dengan Amazon EMR 6.13.0 dan yang lebih tinggi, Anda dapat menjalankan aplikasi Flink dengan operator Flink Kubernetes dalam mode Aplikasi di Amazon EMR di EKS. Dengan Amazon EMR 6.15.0 dan yang lebih tinggi, Anda juga dapat menjalankan aplikasi Flink dalam mode Sesi. Halaman ini menjelaskan kedua metode yang dapat Anda gunakan untuk menjalankan aplikasi Flink dengan Amazon EMR di EKS.

Topik
    catatan

    Anda harus memiliki bucket Amazon S3 yang dibuat untuk menyimpan metadata ketersediaan tinggi saat mengirimkan pekerjaan Flink Anda. Jika Anda tidak ingin menggunakan fitur ini, Anda dapat menonaktifkannya. Ini diaktifkan secara default.

    Prasyarat — Sebelum Anda dapat menjalankan aplikasi Flink dengan operator Flink Kubernetes, selesaikan langkah-langkah di dan. Menyiapkan operator Flink Kubernetes untuk Amazon EMR di EKS Instal operator Kubernetes

    Application mode

    Dengan Amazon EMR 6.13.0 dan yang lebih tinggi, Anda dapat menjalankan aplikasi Flink dengan operator Flink Kubernetes dalam mode Aplikasi di Amazon EMR di EKS.

    1. Buat file FlinkDeployment definisi basic-example-app-cluster.yaml seperti pada contoh berikut. Jika Anda mengaktifkan dan menggunakan salah satu opt-in Wilayah AWS, pastikan Anda membatalkan komentar dan mengonfigurasi konfigurasi. fs.s3a.endpoint.region

      apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: basic-example-app-cluster
spec:
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "2"
    #fs.s3a.endpoint.region: OPT_IN_AWS_REGION_NAME
    state.checkpoints.dir: CHECKPOINT_S3_STORAGE_PATH
    state.savepoints.dir: SAVEPOINT_S3_STORAGE_PATH 
  flinkVersion: v1_17
  executionRoleArn: JOB_EXECUTION_ROLE_ARN
  emrReleaseLabel: "emr-6.13.0-flink-latest" # 6.13 or higher
  jobManager:
    storageDir: HIGH_AVAILABILITY_STORAGE_PATH
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "2048m"
      cpu: 1
  job:
    # if you have your job jar in S3 bucket you can use that path as well
    jarURI: local:///opt/flink/examples/streaming/StateMachineExample.jar
    parallelism: 2
    upgradeMode: savepoint
    savepointTriggerNonce: 0
  monitoringConfiguration:    
    cloudWatchMonitoringConfiguration:
       logGroupName: LOG_GROUP_NAME

    2. Kirim penyebaran Flink dengan perintah berikut. Ini juga akan membuat FlinkDeployment objek bernamabasic-example-app-cluster.

      kubectl create -f basic-example-app-cluster.yaml -n <NAMESPACE>

    3. Akses UI Flink.

      kubectl port-forward deployments/basic-example-app-cluster 8081 -n NAMESPACE

    4. Buka localhost:8081 untuk melihat pekerjaan Flink Anda secara lokal.

    5. Bersihkan pekerjaan. Ingatlah untuk membersihkan artefak S3 yang dibuat untuk pekerjaan ini, seperti checkpointing, ketersediaan tinggi, metadata savepointing, dan log. CloudWatch

    Untuk informasi selengkapnya tentang mengirimkan aplikasi ke Flink melalui operator Flink Kubernetes, lihat contoh operator Flink Kubernetes di folder di. apache/flink-kubernetes-operator GitHub

    Session mode

    Dengan Amazon EMR 6.15.0 dan yang lebih tinggi, Anda dapat menjalankan aplikasi Flink dengan operator Flink Kubernetes dalam mode Session di Amazon EMR di EKS.

    1. Buat file FlinkDeployment definisi bernama basic-example-app-cluster.yaml seperti pada contoh berikut. Jika Anda mengaktifkan dan menggunakan salah satu opt-in Wilayah AWS, pastikan Anda membatalkan komentar dan mengonfigurasi konfigurasi. fs.s3a.endpoint.region

      apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: basic-example-session-cluster
spec:
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "2"
    #fs.s3a.endpoint.region: OPT_IN_AWS_REGION_NAME
    state.checkpoints.dir: CHECKPOINT_S3_STORAGE_PATH
    state.savepoints.dir: SAVEPOINT_S3_STORAGE_PATH
  flinkVersion: v1_17
  executionRoleArn: JOB_EXECUTION_ROLE_ARN
  emrReleaseLabel: "emr-6.15.0-flink-latest"
  jobManager:
    storageDir: HIGH_AVAILABILITY_S3_STORAGE_PATH
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "2048m"
      cpu: 1
  monitoringConfiguration:    
    s3MonitoringConfiguration:
       logUri: 
    cloudWatchMonitoringConfiguration:
       logGroupName: LOG_GROUP_NAME

    2. Kirim penyebaran Flink dengan perintah berikut. Ini juga akan membuat FlinkDeployment objek bernamabasic-example-session-cluster.

      kubectl create -f basic-example-app-cluster.yaml -n NAMESPACE

    3. Gunakan perintah berikut untuk mengonfirmasi bahwa cluster sesi LIFECYCLE adalahSTABLE:

      kubectl get flinkdeployments.flink.apache.org basic-example-session-cluster -n NAMESPACE

      Outputnya harus mirip dengan contoh berikut:

      NAME                              JOB STATUS   LIFECYCLE STATE
basic-example-session-cluster                          STABLE

    4. Buat file sumber daya definisi FlinkSessionJob khusus basic-session-job.yaml dengan contoh konten berikut:

      apiVersion: flink.apache.org/v1beta1
kind: FlinkSessionJob
metadata:
  name: basic-session-job
spec:
  deploymentName: basic-session-deployment
  job:
    # If you have your job jar in an S3 bucket you can use that path.
    # To use jar in S3 bucket, set 
    # OPERATOR_EXECUTION_ROLE_ARN (--set emrContainers.operatorExecutionRoleArn=$OPERATOR_EXECUTION_ROLE_ARN)
    # when you install Spark operator
    jarURI: https://repo1.maven.org/maven2/org/apache/flink/flink-examples-streaming_2.12/1.16.1/flink-examples-streaming_2.12-1.16.1-TopSpeedWindowing.jar
    parallelism: 2
    upgradeMode: stateless

    5. Kirim pekerjaan sesi Flink dengan perintah berikut. Ini akan membuat FlinkSessionJob objekbasic-session-job.

      kubectl apply -f basic-session-job.yaml -n $NAMESPACE

    6. Gunakan perintah berikut untuk mengonfirmasi bahwa cluster sesi LIFECYCLE adalahSTABLE, dan JOB STATUS adalahRUNNING:

      kubectl get flinkdeployments.flink.apache.org basic-example-session-cluster -n NAMESPACE

      Outputnya harus mirip dengan contoh berikut:

      NAME                              JOB STATUS   LIFECYCLE STATE
basic-example-session-cluster     RUNNING      STABLE

    7. Akses UI Flink.

      kubectl port-forward deployments/basic-example-session-cluster 8081 -n NAMESPACE

    8. Buka localhost:8081 untuk melihat pekerjaan Flink Anda secara lokal.

    9. Bersihkan pekerjaan. Ingatlah untuk membersihkan artefak S3 yang dibuat untuk pekerjaan ini, seperti checkpointing, ketersediaan tinggi, metadata savepointing, dan log. CloudWatch

    anchoranchor

    Dengan Amazon EMR 6.13.0 dan yang lebih tinggi, Anda dapat menjalankan aplikasi Flink dengan operator Flink Kubernetes dalam mode Aplikasi di Amazon EMR di EKS.

    1. Buat file FlinkDeployment definisi basic-example-app-cluster.yaml seperti pada contoh berikut. Jika Anda mengaktifkan dan menggunakan salah satu opt-in Wilayah AWS, pastikan Anda membatalkan komentar dan mengonfigurasi konfigurasi. fs.s3a.endpoint.region

      apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: basic-example-app-cluster
spec:
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "2"
    #fs.s3a.endpoint.region: OPT_IN_AWS_REGION_NAME
    state.checkpoints.dir: CHECKPOINT_S3_STORAGE_PATH
    state.savepoints.dir: SAVEPOINT_S3_STORAGE_PATH 
  flinkVersion: v1_17
  executionRoleArn: JOB_EXECUTION_ROLE_ARN
  emrReleaseLabel: "emr-6.13.0-flink-latest" # 6.13 or higher
  jobManager:
    storageDir: HIGH_AVAILABILITY_STORAGE_PATH
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "2048m"
      cpu: 1
  job:
    # if you have your job jar in S3 bucket you can use that path as well
    jarURI: local:///opt/flink/examples/streaming/StateMachineExample.jar
    parallelism: 2
    upgradeMode: savepoint
    savepointTriggerNonce: 0
  monitoringConfiguration:    
    cloudWatchMonitoringConfiguration:
       logGroupName: LOG_GROUP_NAME

    2. Kirim penyebaran Flink dengan perintah berikut. Ini juga akan membuat FlinkDeployment objek bernamabasic-example-app-cluster.

      kubectl create -f basic-example-app-cluster.yaml -n <NAMESPACE>

    3. Akses UI Flink.

      kubectl port-forward deployments/basic-example-app-cluster 8081 -n NAMESPACE

    4. Buka localhost:8081 untuk melihat pekerjaan Flink Anda secara lokal.

    5. Bersihkan pekerjaan. Ingatlah untuk membersihkan artefak S3 yang dibuat untuk pekerjaan ini, seperti checkpointing, ketersediaan tinggi, metadata savepointing, dan log. CloudWatch

    Untuk informasi selengkapnya tentang mengirimkan aplikasi ke Flink melalui operator Flink Kubernetes, lihat contoh operator Flink Kubernetes di folder di. apache/flink-kubernetes-operator GitHub

    PrivasiSyarat situsPreferensi cookie
    © 2025, Amazon Web Services, Inc. atau afiliasinya. Semua hak dilindungi undang-undang.