开始使用流处理作业 - Amazon EMR

开始使用流处理作业

请参阅以下说明,了解如何开始使用流处理作业。

  1. 要创建应用程序,请参阅开始使用 Amazon EMR Serverless。请注意,您的应用程序必须运行 Amazon EMR 7.1.0 或更高版本

  2. 应用程序准备就绪后,将 mode 参数设置为 STREAMING 以提交流处理作业,类似于下面的 AWS CLI 示例。

    aws emr-serverless start-job-run \ --application-id <APPPLICATION_ID> \ --execution-role-arn <JOB_EXECUTION_ROLE> \ --mode 'STREAMING' \ --job-driver '{ "sparkSubmit": { "entryPoint": "s3://<streaming script>", "entryPointArguments": ["s3://<DOC-EXAMPLE-BUCKET-OUTPUT>/output"], "sparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=16g --conf spark.driver.cores=4 --conf spark.driver.memory=16g --conf spark.executor.instances=3" } }'