기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Hive 작업

type 파라미터가 로 설정된 애플리케이션에서 Hive 작업을 실행할 수 있습니다HIVE. 작업은 Amazon EMR 릴리스 버전과 호환되는 Hive 버전과 호환되어야 합니다. 예를 들어 Amazon EMR 릴리스 6.6.0을 사용하는 애플리케이션에서 작업을 실행할 때 작업은 Apache Hive 3.1.2와 호환되어야 합니다. 각 릴리스의 애플리케이션 버전에 대한 자세한 내용은 섹션을 참조하세요Amazon EMR Serverless 릴리스 버전.

Hive 작업 파라미터

StartJobRun API 를 사용하여 Hive 작업을 실행할 때 다음 파라미터를 지정해야 합니다.

Hive 작업 런타임 역할

executionRoleArn 를 사용하여 애플리케이션이 Hive 작업을 실행하는 데 사용하는 IAM 역할에 ARN 대한 를 지정합니다. 이 역할에는 다음 권한이 포함되어야 합니다.

Hive 작업이 다른 데이터 소스에서 데이터를 읽거나 쓰는 경우 이 IAM 역할에서 적절한 권한을 지정합니다. IAM 역할에 이러한 권한을 제공하지 않으면 작업이 실패할 수 있습니다. 자세한 내용은 Amazon EMR Serverless의 작업 런타임 역할 단원을 참조하십시오.

Hive 작업 드라이버 파라미터

jobDriver 를 사용하여 작업에 대한 입력을 제공합니다. 작업 드라이버 파라미터는 실행하려는 작업 유형에 대해 하나의 값만 허용합니다. 작업 유형hive으로 를 지정하면 EMR Serverless는 Hive 쿼리를 jobDriver 파라미터에 전달합니다. Hive 작업의 파라미터는 다음과 같습니다.

Hive 구성 재정의 파라미터

모니터링 수준 및 애플리케이션 수준 구성 속성을 재정의configurationOverrides하는 데 사용합니다. 이 파라미터는 다음 두 필드가 있는 JSON 객체를 허용합니다.

애플리케이션 재정의 및 Hive 파라미터에서 동일한 구성을 전달하면 Hive 파라미터가 우선합니다. 다음 목록은 구성을 가장 높은 우선 순위에서 가장 낮은 우선 순위로 순위를 매깁니다.

애플리케이션 수준에서 구성을 선언하고 작업 실행 중에 구성을 재정의하는 방법에 대한 자세한 내용은 섹션을 참조하세요EMR Serverless에 대한 기본 애플리케이션 구성.

Hive 작업 속성

다음 표에는 Hive 작업을 제출할 때 구성해야 하는 필수 속성이 나열되어 있습니다.

다음 표에는 선택적 Hive 속성과 Hive 작업을 제출할 때 재정의할 수 있는 기본값이 나와 있습니다.

Hive 작업 예제

다음 코드 예제는 StartJobRun 를 사용하여 Hive 쿼리를 실행하는 방법을 보여줍니다API.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
            "query": "s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql",
            "parameters": "--hiveconf hive.log.explain.output=false"
        }
    }' \
    --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "hive-site",
            "properties": {
                "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                "hive.driver.cores": "2",
                "hive.driver.memory": "4g",
                "hive.tez.container.size": "4096",
                "hive.tez.cpu.vcores": "1"
            }
        }]
    }'

EMR Serverless 샘플 GitHub 리포지토리에서 Hive 작업을 실행하는 방법에 대한 추가 예제를 찾을 수 있습니다.