기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS Glue 데이터 카탈로그에서 Presto 사용

Amazon EMR 릴리스 버전 5.10.0 이상을 사용하여 AWS Glue 데이터 카탈로그를 Presto의 기본 Hive 메타스토어로 지정할 수 있습니다. 영구 메타스토어가 필요하거나 여러 클러스터, 서비스, 애플리케이션 또는 AWS 계정에서 메타스토어를 공유해야 하는 경우에 이 구성을 사용하는 것이 좋습니다.

AWS Glue는 데이터를 분류하고, 정리하고, 보강하고, 다양한 데이터 스토어 간에 안정적으로 이동할 수 있는 완전관리형 ETL(추출, 변환 및 로드) 서비스입니다. Glue 데이터 카탈로그는 Amazon EMR뿐만 아니라 Amazon RDS, Amazon Redshift, Redshift Spectrum, Athena 및 Apache Hive AWS 메타스토어와 호환되는 모든 애플리케이션과 통합되는 다양한 데이터 소스 및 데이터 형식에 걸쳐 통합된 메타데이터 리포지토리를 제공합니다. AWS Glue 크롤러는 Amazon S3의 소스 데이터에서 스키마를 자동으로 추론하고 관련 메타데이터를 데이터 카탈로그에 저장할 수 있습니다. 데이터 카탈로그에 대한 자세한 내용은 AWS Glue 개발자 안내서의 Glue 데이터 카탈로그 채우기를 참조하세요. AWS

AWS Glue에는 별도의 요금이 적용됩니다. 데이터 카탈로그에 메타데이터를 저장하고 액세스하는 데는 월별 요금이 부과되고, Glue ETL 작업 및 AWS 크롤러 런타임에 대해 분당 청구되는 시간당 요금이 부과되며, 프로비저닝된 각 개발 엔드포인트에 대해 분당 청구되는 시간당 요금이 부과됩니다. 데이터 카탈로그에는 최대 100만 개의 객체를 무료로 저장할 수 있습니다. 100만 개 이상의 객체를 저장하는 경우, 100만 이상의 객체 100,000개마다 1USD가 부과됩니다. 데이터 카탈로그의 객체로는 테이블, 파티션 또는 데이터베이스가 있습니다. 자세한 내용은 Glue 요금을 참조하십시오.

Glue 데이터 카탈로그를 AWS 메타스토어로 지정

AWS Management Console AWS CLI또는 Amazon EMR API를 사용하여 AWS Glue 데이터 카탈로그를 메타스토어로 지정할 수 있습니다. CLI 또는 API를 사용할 때 Presto에 대한 구성 분류를 사용하여 데이터 카탈로그를 지정합니다. 또한 Amazon EMR 5.16.0 이상에서는 구성 분류를 사용하여 다른에서 데이터 카탈로그를 지정할 수 있습니다 AWS 계정. 콘솔을 사용할 때 고급 옵션 또는 빠른 옵션을 사용하여 데이터 카탈로그를 지정할 수 있습니다.

Console

새 콘솔을 사용하여 AWS Glue 데이터 카탈로그를 Hive 메타스토어로 지정하려면

1. 에 로그인 AWS Management Console하고 https://console.aws.amazon.com/emr://https://https://https://://https://https://https://https://https://https://https://https://https://https://https://

2. 왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 클러스터 생성을 선택합니다.

3. 애플리케이션 번들에서 Presto를 선택합니다.

4. AWS Glue 데이터 카탈로그 설정에서 Presto 테이블 메타데이터에 사용 확인란을 선택합니다.

5. 클러스터에 적용할 다른 옵션을 선택합니다.

6. 클러스터를 시작하려면 클러스터 생성을 선택합니다.

CLI

를 사용하여 AWS Glue 데이터 카탈로그를 기본 Hive 메타스토어로 지정하려면 AWS CLI

클러스터를 생성할 때 다음 구성 분류를 지정하는 방법에 대한 예제는 애플리케이션 구성 섹션을 참조하세요.

Amazon EMR 5.16.0 이상

• 아래 JSON 예제에서와 같이 hive.metastore 속성을 glue으로 설정합니다.

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore": "glue"
      }
    }
  ]

  다른에서 데이터 카탈로그를 지정하려면 다음 JSON 예제와 같이 hive.metastore.glue.catalogid 속성을 AWS 계정추가합니다. acct-id를 데이터 카탈로그의 AWS 계정으로 바꿉니다. 다른 AWS 계정 에서 데이터 카탈로그를 사용하면 Amazon EMR 버전 5.15.0 및 이전 버전을 사용할 수 없습니다.

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore": "glue",
        "hive.metastore.glue.catalogid": "acct-id"
      }
    }
  ]

  Amazon EMR 5.10.0부터 5.15.0까지

  아래 JSON 예제에서와 같이 hive.metastore.glue.datacatalog.enabled 속성을 true로 설정합니다.

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore.glue.datacatalog.enabled": "true"
      }
    }
  ]

  PrestoSQL(Trino)을 사용하는 Amazon EMR 6.1.0 이상

  EMR 버전 6.1.0부터 PrestoSQL도 Glue를 기본 Hive 메타스토어로 지원합니다. 다음 JSON 예제와 같이 prestosql-connector-hive 구성 분류를 사용하여 hive.metastore 속성을 glue로 설정합니다.

  Amazon EMR 버전 6.4.0 이상에서는 PrestoSQL 대신 Trino라는 새 이름을 사용합니다. Trino를 사용하는 경우 다음 구성 분류에서 prestosql-connector-hive를 trino-connector-hive로 바꿉니다.

  [
    {
      "Classification": "prestosql-connector-hive",
      "Properties": {
        "hive.metastore": "glue"
      }
    }
  ]

장기 실행 중인 클러스터에서 메타스토어를 전환하려면, 마스터 노드를 연결하고 /etc/presto/conf/catalog/hive.properties 파일의 속성 값을 직접 편집하고 Presto 서버(sudo restart presto-server)를 재시작하여, 해당 값을 릴리스 버전에 적합하도록 수동 설정할 수 있습니다. Amazon EMR 5.15.0 이하 버전에서 이 메서드를 사용하는 경우, hive.table-statistics-enabled가 false로 설정되어 있는지 확인합니다. 5.16.0 이상 릴리스 버전을 사용하는 경우 이러한 설정이 필요하지 않습니다. 그러나 나중에 테이블 및 파티션 통계는 지원되지 않습니다.

anchoranchor

• Console
• CLI

새 콘솔을 사용하여 AWS Glue 데이터 카탈로그를 Hive 메타스토어로 지정하려면

1. 에 로그인 AWS Management Console하고 https://console.aws.amazon.com/emr://https://https://https://://https://https://https://https://https://https://https://https://https://https://https://

2. 왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 클러스터 생성을 선택합니다.

3. 애플리케이션 번들에서 Presto를 선택합니다.

4. AWS Glue 데이터 카탈로그 설정에서 Presto 테이블 메타데이터에 사용 확인란을 선택합니다.

5. 클러스터에 적용할 다른 옵션을 선택합니다.

6. 클러스터를 시작하려면 클러스터 생성을 선택합니다.

IAM 권한

클러스터의 EC2 인스턴스 프로파일에는 AWS Glue 작업에 대한 IAM 권한이 있어야 합니다. 또한 AWS Glue Data Catalog 객체에 대한 암호화를 활성화하는 경우, 암호화에 AWS KMS key 사용되는를 암호화, 복호화 및 생성할 수 있는 역할도 허용되어야 합니다.

AWS Glue 작업에 대한 권한

Amazon EMR에 대한 기본 EC2 인스턴스 프로파일을 사용할 경우 어떤 작업도 필요하지 않습니다. 에 연결된 AmazonElasticMapReduceforEC2Role 관리형 정책은 필요한 모든 AWS Glue 작업을 EMR_EC2_DefaultRole 허용합니다. 그러나 사용자 지정 EC2 인스턴스 프로파일 및 권한을 지정하는 경우 적절한 AWS Glue 작업을 구성해야 합니다. AmazonElasticMapReduceforEC2Role 관리형 정책을 시작점으로 사용합니다. 자세한 내용은 Amazon EMR 관리 안내서에서 클러스터 EC2 인스턴스의 서비스 역할(EC2 인스턴스 프로파일)을 참조하세요.

AWS Glue 데이터 카탈로그 암호화 및 복호화 권한

인스턴스 프로파일에 키를 사용하여 데이터를 암호화하고 복호화할 수 있는 권한이 필요합니다. 다음 두 설명이 모두 적용되는 경우에는 이러한 권한을 구성할 필요가 없습니다.

그렇지 않으면 EC2 인스턴스 프로파일에 연결된 권한 정책에 다음 명령을 추가해야 합니다.

[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

Glue 데이터 카탈로그 암호화에 대한 자세한 내용은 AWS AWS Glue 개발자 안내서의 데이터 카탈로그 암호화를 참조하세요.

리소스 기반 권한

Amazon EMR에서 AWS Glue를 Hive, Spark 또는 Presto와 함께 사용하는 경우 AWS Glue는 리소스 기반 정책을 지원하여 데이터 카탈로그 리소스에 대한 액세스를 제어합니다. 이러한 리소스에는 데이터베이스, 테이블, 연결 및 사용자 정의 기능이 포함됩니다. 자세한 내용은 AWS Glue 개발자 안내서에서 AWS Glue 리소스 정책을 참조하세요.

리소스 기반 정책을 사용하여 Amazon EMR 내에서 AWS Glue에 대한 액세스를 제한하는 경우 권한 정책에서 지정하는 보안 주체는 클러스터 생성 시 지정된 EC2 인스턴스 프로파일과 연결된 역할 ARN이어야 합니다. 예를 들어, 카탈로그에 연결된 리소스 기반 정책의 경우 다음 예에 표시된 형식을 사용하여 클러스터 EC2 인스턴스에 대한 기본 서비스 역할의 ARN(EMR_EC2_DefaultRole)을 Principal로 지정할 수 있습니다.

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

acct-id는 AWS Glue 계정 ID와 다를 수 있습니다. 그러면 다른 계정의 EMR 클러스터에서 액세스할 수 있습니다. 각각 다른 계정에서 여러 보안 주체를 지정할 수 있습니다.

AWS Glue 데이터 카탈로그 사용 시 고려 사항

Presto에서 AWS Glue 데이터 카탈로그를 메타스토어로 사용할 때는 다음 항목을 고려하세요.