Uso de PyFlink - Amazon EMR

Uso de PyFlink

Las versiones 6.15.0 y posteriores de Amazon EMR en EKS admiten PyFlink. Si ya dispone de un script de PyFlink, puede elegir una de las siguientes opciones:

  • Cree una imagen personalizada con su script de PyFlink incluido.

  • Cargue su script en una ubicación de Amazon S3

Si aún no dispone de un script, puede utilizar el siguiente ejemplo para lanzar un trabajo de PyFlink. En este ejemplo se recupera el script de S3. Si utiliza una imagen personalizada con el script ya incluido en la imagen, debe actualizar la ruta del script a la ubicación donde guardó dicho script. Si el script está en una ubicación S3, Amazon EMR en EKS recuperará el script y lo colocará en el directorio /opt/flink/usrlib/ del contenedor Flink.

apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: python-example
spec:
  flinkVersion: v1_17
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "1"
  executionRoleArn: job-execution-role
  emrReleaseLabel: "emr-6.15.0-flink-latest"
  jobManager:
    highAvailabilityEnabled: false
    replicas: 1
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "2048m"
      cpu: 1
  job:
    jarURI: s3://S3 bucket with your script/pyflink-script.py
    entryClass: "org.apache.flink.client.python.PythonDriver"
    args: ["-py", "/opt/flink/usrlib/pyflink-script.py"] 
    parallelism: 1
    upgradeMode: stateless