PyFlink の使用 - Amazon EMR

PyFlink の使用

Amazon EMR on EKS リリース 6.15.0 以降では、Flink がサポートされています。既に PyFlink スクリプトを保有されている場合は、次のいずれかを実行できます。

  • PyFlink スクリプトを配置したカスタムイメージを作成します。

  • スクリプトを Amazon S3 の場所にアップロードする

スクリプトをまだ保有されていない場合は、次の例を使用して PyFlink ジョブを起動できます。この例では、S3 からスクリプトを取得します。スクリプトでイメージに既に含まれているカスタムイメージを使用している場合は、スクリプトパスをスクリプトを保存した場所に更新する必要があります。スクリプトが S3 の場所にある場合、Amazon EMR on EKS はスクリプトを取得し、Flink コンテナの /opt/flink/usrlib/ ディレクトリに配置します。

apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: python-example
spec:
  flinkVersion: v1_17
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "1"
  executionRoleArn: job-execution-role
  emrReleaseLabel: "emr-6.15.0-flink-latest"
  jobManager:
    highAvailabilityEnabled: false
    replicas: 1
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "2048m"
      cpu: 1
  job:
    jarURI: s3://S3 bucket with your script/pyflink-script.py
    entryClass: "org.apache.flink.client.python.PythonDriver"
    args: ["-py", "/opt/flink/usrlib/pyflink-script.py"] 
    parallelism: 1
    upgradeMode: stateless