Usando PyFlink - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usando PyFlink

Amazon EMR su EKS supporta le versioni 6.15.0 e successive. PyFlink Se disponi già di uno PyFlink script, puoi eseguire una delle seguenti operazioni:

  • Crea un'immagine personalizzata con lo PyFlink script incluso.

  • Carica lo script in una posizione Amazon S3

Se non disponi già di uno script, puoi utilizzare il seguente esempio per avviare un PyFlink lavoro. Questo esempio recupera lo script da S3. Se utilizzi un'immagine personalizzata con lo script già incluso nell'immagine, devi aggiornare il percorso dello script nella posizione in cui lo hai archiviato. Se lo script si trova in una posizione S3, Amazon EMR su EKS recupererà lo script e lo posizionerà nella directory /opt/flink/usrlib/ del contenitore Flink.

apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: python-example
spec:
  flinkVersion: v1_17
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "1"
  executionRoleArn: job-execution-role
  emrReleaseLabel: "emr-6.15.0-flink-latest"
  jobManager:
    highAvailabilityEnabled: false
    replicas: 1
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "2048m"
      cpu: 1
  job:
    jarURI: s3://S3 bucket with your script/pyflink-script.py
    entryClass: "org.apache.flink.client.python.PythonDriver"
    args: ["-py", "/opt/flink/usrlib/pyflink-script.py"] 
    parallelism: 1
    upgradeMode: stateless