스트리밍 작업 시작하기 - Amazon EMR

스트리밍 작업 시작하기

스트리밍 작업을 시작하는 방법을 알아보려면 다음 지침을 참조하세요.

  1. Amazon EMR Serverless 시작하기를 수행하여 애플리케이션을 생성합니다. 애플리케이션이 Amazon EMR 릴리스 7.1.0 이상을 실행해야 합니다.

  2. 애플리케이션이 준비되면 다음 AWS CLI 예제와 마찬가지로 mode 파라미터를 STREAMING으로 설정하여 스트리밍 작업을 제출합니다.

    aws emr-serverless start-job-run \
--application-id <APPPLICATION_ID> \
--execution-role-arn <JOB_EXECUTION_ROLE> \
--mode 'STREAMING' \
--job-driver '{
    "sparkSubmit": {
        "entryPoint": "s3://<streaming script>",
        "entryPointArguments": ["s3://<DOC-EXAMPLE-BUCKET-OUTPUT>/output"],
        "sparkSubmitParameters": "--conf spark.executor.cores=4
            --conf spark.executor.memory=16g 
            --conf spark.driver.cores=4
            --conf spark.driver.memory=16g 
            --conf spark.executor.instances=3"
    }
}'