PyFlink 사용

Amazon EMR on EKS 릴리스 6.15.0 이상에서는 PyFlink를 지원합니다. 이미 PyFlink 스크립트가 있는 경우 다음 중 하나를 수행할 수 있습니다.

스크립트가 아직 없는 경우 다음 예제를 사용하여 PyFlink 작업을 시작할 수 있습니다. 이 예제에서는 S3에서 스크립트를 검색합니다. 이미지에 이미 포함된 스크립트와 함께 사용자 지정 이미지를 사용하는 경우 스크립트를 저장한 위치로 스크립트 경로를 업데이트해야 합니다. 스크립트가 S3 위치에 있는 경우 Amazon EMR on EKS에서 스크립트를 검색하여 Flink 컨테이너의 /opt/flink/usrlib/ 디렉터리 아래에 배치합니다.

apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: python-example
spec:
  flinkVersion: v1_17
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "1"
  executionRoleArn: job-execution-role
  emrReleaseLabel: "emr-6.15.0-flink-latest"
  jobManager:
    highAvailabilityEnabled: false
    replicas: 1
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "2048m"
      cpu: 1
  job:
    jarURI: s3://S3 bucket with your script/pyflink-script.py
    entryClass: "org.apache.flink.client.python.PythonDriver"
    args: ["-py", "/opt/flink/usrlib/pyflink-script.py"] 
    parallelism: 1
    upgradeMode: stateless