EMR Serverless 작업을 실행하는 경우 Hive 구성 사용

type 파라미터가 HIVE로 설정된 애플리케이션에서 Hive 작업을 실행할 수 있습니다. 작업은 Amazon EMR 릴리스 버전과 호환되는 Hive 버전과 호환되어야 합니다. 예를 들어 Amazon EMR 릴리스 6.6.0을 사용하여 애플리케이션에서 작업을 실행할 때 작업은 Apache Hive 3.1.2와 호환되어야 합니다. 각 릴리스의 애플리케이션 버전에 대한 자세한 내용은 Amazon EMR Serverless 릴리스 버전 섹션을 참조하세요.

Hive 작업 파라미터

StartJobRun API를 사용하여 Hive 작업을 실행하는 경우 다음 파라미터를 지정해야 합니다.

Hive 작업 런타임 역할

executionRoleArn을 사용하여 애플리케이션이 Hive 작업을 실행하는 데 사용하는 IAM 역할에 대한 ARN을 지정합니다. 이 역할에는 다음 권한이 있어야 합니다.

Hive 작업이 다른 데이터 소스에서 데이터를 읽거나 쓰는 경우 이 IAM 역할에서 적절한 권한을 지정합니다. IAM 역할에 이러한 권한을 제공하지 않으면 작업이 실패할 수 있습니다. 자세한 내용은 Amazon EMR Serverless에 대한 작업 런타임 역할 단원을 참조하십시오.

Hive 작업 드라이버 파라미터

jobDriver를 사용하여 작업에 대한 입력을 제공합니다. 작업 드라이버 파라미터는 실행하려는 작업 유형에 대해 하나의 값만 허용합니다. 작업 유형으로 hive를 지정하면 EMR Serverless는 Hive 쿼리를 jobDriver 파라미터에 전달합니다. Hive 자산에는 다음 파라미터가 있습니다.

Hive 구성 재정의 파라미터

모니터링 수준 및 애플리케이션 수준 구성 속성을 재정의하려면 configurationOverrides를 사용합니다. 이 파라미터는 다음 두 필드를 포함하는 JSON 객체를 수락합니다.

애플리케이션 재정의 및 Hive 파라미터에서 동일한 구성을 전달하는 경우 Hive 파라미터가 우선합니다. 다음 목록은 가장 높은 우선순위에서 가장 낮은 우선순위로 구성의 우선순위를 나열합니다.

애플리케이션 수준에서 구성을 선언하고 작업 실행 중에 구성을 재정의하는 방법에 대한 자세한 내용은 EMR Serverless에 대한 기본 애플리케이션 구성 섹션을 참조하세요.

Hive 작업 속성

다음 표에는 Hive 작업을 제출하는 경우 구성해야 하는 필수 속성이 나와 있습니다.

다음 표에는 선택적 Hive 속성과 Hive 작업을 제출하는 경우 재정의할 수 있는 기본값이 나와 있습니다.

Hive 작업 예제

다음 코드 예제에서는 StartJobRun API를 사용하여 Hive 쿼리를 실행하는 방법을 보여줍니다.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
            "query": "s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql",
            "parameters": "--hiveconf hive.log.explain.output=false"
        }
    }' \
    --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "hive-site",
            "properties": {
                "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                "hive.driver.cores": "2",
                "hive.driver.memory": "4g",
                "hive.tez.container.size": "4096",
                "hive.tez.cpu.vcores": "1"
            }
        }]
    }'

EMR Serverless Samples GitHub 리포지토리에서 Hive 작업을 실행하는 방법에 대한 추가 예제를 찾을 수 있습니다.