Menggunakan PyFlink - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan PyFlink

Amazon EMR di EKS merilis 6.15.0 dan dukungan yang lebih tinggi. PyFlink Jika Anda sudah memiliki PyFlink skrip, Anda dapat melakukan salah satu hal berikut:

  • Buat gambar kustom dengan PyFlink skrip Anda disertakan.

  • Unggah skrip Anda ke lokasi Amazon S3

Jika Anda belum memiliki skrip, Anda dapat menggunakan contoh berikut untuk meluncurkan PyFlink pekerjaan. Contoh ini mengambil skrip dari S3. Jika Anda menggunakan gambar kustom dengan skrip yang sudah disertakan dalam gambar, Anda harus memperbarui jalur skrip ke lokasi tempat Anda menyimpan skrip Anda. Jika skrip berada di lokasi S3, Amazon EMR di EKS akan mengambil skrip dan menempatkannya di bawah /opt/flink/usrlib/ direktori dalam wadah Flink.

apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: python-example
spec:
  flinkVersion: v1_17
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "1"
  executionRoleArn: job-execution-role
  emrReleaseLabel: "emr-6.15.0-flink-latest"
  jobManager:
    highAvailabilityEnabled: false
    replicas: 1
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "2048m"
      cpu: 1
  job:
    jarURI: s3://S3 bucket with your script/pyflink-script.py
    entryClass: "org.apache.flink.client.python.PythonDriver"
    args: ["-py", "/opt/flink/usrlib/pyflink-script.py"] 
    parallelism: 1
    upgradeMode: stateless