ストリーミングジョブの使用開始 - Amazon EMR

ストリーミングジョブの使用開始

ストリーミングジョブを使用開始する方法については、以下の手順を参照してください。

  1. 「Amazon EMR Serverless の使用を開始する」に従ってアプリケーションを作成します。アプリケーションは Amazon EMR リリース 7.1.0 以降を実行する必要があります。

  2. アプリケーションの準備ができたら、次の AWS CLI 例のように、ストリーミングジョブを送信するように mode パラメータを STREAMING に設定します。

    aws emr-serverless start-job-run \
--application-id <APPPLICATION_ID> \
--execution-role-arn <JOB_EXECUTION_ROLE> \
--mode 'STREAMING' \
--job-driver '{
    "sparkSubmit": {
        "entryPoint": "s3://<streaming script>",
        "entryPointArguments": ["s3://<DOC-EXAMPLE-BUCKET-OUTPUT>/output"],
        "sparkSubmitParameters": "--conf spark.executor.cores=4
            --conf spark.executor.memory=16g 
            --conf spark.driver.cores=4
            --conf spark.driver.memory=16g 
            --conf spark.executor.instances=3"
    }
}'