开始使用流处理作业
请参阅以下说明,了解如何开始使用流处理作业。
-
要创建应用程序,请参阅开始使用 Amazon EMR Serverless。请注意,您的应用程序必须运行 Amazon EMR 7.1.0 或更高版本。
-
应用程序准备就绪后,将
mode
参数设置为STREAMING
以提交流处理作业,类似于下面的 AWS CLI 示例。aws emr-serverless start-job-run \ --application-id
<APPPLICATION_ID>
\ --execution-role-arn<JOB_EXECUTION_ROLE>
\ --mode 'STREAMING' \ --job-driver '{ "sparkSubmit": { "entryPoint": "s3://<streaming script>
", "entryPointArguments": ["s3://<DOC-EXAMPLE-BUCKET-OUTPUT>
/output"], "sparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=16g --conf spark.driver.cores=4 --conf spark.driver.memory=16g --conf spark.executor.instances=3" } }'