Introducción a trabajos de streaming - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Introducción a trabajos de streaming

Consulte las siguientes instrucciones para obtener información sobre cómo empezar a realizar trabajos de streaming.

  1. Siga con al Introducción a Amazon EMR sin servidor para crear una aplicación. Tenga en cuenta que su aplicación debe ejecutar Amazon EMR con la versión 7.1.0 o superior.

  2. Cuando la aplicación esté lista, defina el mode parámetro para enviar un trabajo de streaming, similar STREAMING al ejemplo siguiente. AWS CLI 

    aws emr-serverless start-job-run \
--application-id <APPPLICATION_ID> \
--execution-role-arn <JOB_EXECUTION_ROLE> \
--mode 'STREAMING' \
--job-driver '{
    "sparkSubmit": {
        "entryPoint": "s3://<streaming script>",
        "entryPointArguments": ["s3://<DOC-EXAMPLE-BUCKET-OUTPUT>/output"],
        "sparkSubmitParameters": "--conf spark.executor.cores=4
            --conf spark.executor.memory=16g 
            --conf spark.driver.cores=4
            --conf spark.driver.memory=16g 
            --conf spark.executor.instances=3"
    }
}'