Conceitos básicos de trabalhos de streaming - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Conceitos básicos de trabalhos de streaming

Confira as instruções a seguir para saber como começar a usar trabalhos de streaming.

  1. Leia Getting started with Amazon EMR Serverless to create an application. Observe que a aplicação deve executar o Amazon EMR versão 7.1.0 ou superior.

  2. Quando seu aplicativo estiver pronto, defina o mode parâmetro STREAMING para enviar um trabalho de streaming, semelhante ao AWS CLI exemplo a seguir.

    aws emr-serverless start-job-run \
--application-id <APPPLICATION_ID> \
--execution-role-arn <JOB_EXECUTION_ROLE> \
--mode 'STREAMING' \
--job-driver '{
    "sparkSubmit": {
        "entryPoint": "s3://<streaming script>",
        "entryPointArguments": ["s3://<DOC-EXAMPLE-BUCKET-OUTPUT>/output"],
        "sparkSubmitParameters": "--conf spark.executor.cores=4
            --conf spark.executor.memory=16g 
            --conf spark.driver.cores=4
            --conf spark.driver.memory=16g 
            --conf spark.executor.instances=3"
    }
}'