翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Glue データカタログでの Presto AWS の使用

Amazon EMR リリースバージョン 5.10.0 以降を使用して、 AWS Glue データカタログを Presto のデフォルトの Hive メタストアとして指定できます。永続的なメタストア、またはさまざまなクラスター、サービス、アプリケーション、あるいは AWS アカウントで共有されるメタストアが必要である場合は、この設定をお勧めします。

AWS Glue は、データの分類、クリーンアップ、強化、さまざまなデータストア間の信頼性の高い移動をシンプルかつ費用対効果の高い方法で実現する、フルマネージド型の抽出、変換、ロード (ETL) サービスです。 AWS Glue Data Catalog は、Amazon EMR、Amazon RDS、Amazon Redshift、Redshift Spectrum、Athena、および Apache Hive メタストアと互換性のある任意のアプリケーションと統合して、さまざまなデータソースとデータ形式にわたって統合されたメタデータリポジトリを提供します。 AWS Glue クローラはAmazon S3のソースデータからスキーマを自動的に推測し、関連するメタデータをデータカタログに保存できます。データカタログの詳細については、AWS 「 Glue デベロッパーガイド」の「 Glue データカタログの入力」を参照してください。 AWS

Glue AWS には個別の料金が適用されます。データカタログにメタデータを保存してアクセスするための月額料金、Glue ETL ジョブとクローラランタイムに対して 1 AWS 分あたりに課金される時間料金、プロビジョニングされた開発エンドポイントごとに 1 分あたりに課金される時間料金があります。Data Catalog では、最大 100 万個までのオブジェクトを無料で保存できます。100 万を超えるオブジェクトを保存した場合は、100,000 オブジェクトごとに 1 USD が課金されます。Data Catalog 内のオブジェクトは、テーブル、パーティション、またはデータベースです。詳細については、「Glue 料金表」を参照してください。

AWS Glue データカタログをメタストアとして指定する

、、または Amazon EMR API を使用して AWS Management Console AWS CLI、 AWS Glue データカタログをメタストアとして指定できます。CLI または API を使用する場合は、Presto の設定分類を使用してデータカタログを指定します。さらに、Amazon EMR 5.16.0 以降では、設定分類を使用して別の でデータカタログを指定できます AWS アカウント。コンソールを使用する場合は、[Advanced Options] (詳細オプション) または [Quick Options] (クイックオプション) を使用して、Data Catalog を指定できます。

Console

新しいコンソールで AWS Glue データカタログを Hive メタストアとして指定するには

1. にサインインし AWS Management Console、Amazon EMR コンソールを https://console.aws.amazon.com/emr://https://https://https://https://https://https://https://https://https://https://https://https://

2. 左側のナビゲーションペインの [EMR on EC2] で、[クラスター] を選択し、[クラスターの作成] を選択します

3. [アプリケーションバンドル] で [Presto] を選択します。

4. [AWS Glue Data Catalog 設定] で [Presto テーブルメタデータに使用] チェックボックスをオンにします。

5. クラスターに適用するその他のオプションを選択します。

6. クラスターを起動するには、[クラスターの作成] を選択します。

CLI

を使用して AWS Glue データカタログをデフォルトの Hive メタストアとして指定するには AWS CLI

クラスターの作成時に以下の設定分類を指定する方法の例については、「アプリケーションの設定」を参照してください。

Amazon EMR 5.16.0 以降

• 以下の JSON の例に示すように、hive.metastore プロパティを glue に設定します。

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore": "glue"
      }
    }
  ]

  別の でデータカタログを指定するには AWS アカウント、次の JSON の例に示すように hive.metastore.glue.catalogidプロパティを追加します。acct-id は、データカタログの AWS アカウントに置き換えます。Amazon EMR バージョン 5.15.0 以前では、別の AWS アカウント のデータカタログは使用できません。

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore": "glue",
        "hive.metastore.glue.catalogid": "acct-id"
      }
    }
  ]

  Amazon EMR 5.10.0 ～ 5.15.0

  以下の JSON の例に示すように、hive.metastore.glue.datacatalog.enabled プロパティを true に設定します。

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore.glue.datacatalog.enabled": "true"
      }
    }
  ]

  Amazon EMR 6.1.0 以降で PrestoSQL (Trino) を使用

  EMR バージョン 6.1.0 以降、PrestoSQL は Glue もデフォルトの Hive メタストアとしてサポートしています。以下の JSON の例に示されているように、prestosql-connector-hive 設定分類を使用し、hive.metastore プロパティを glue に設定します。

  Amazon EMR バージョン 6.4.0 以降では、PrestoSQL ではなく、新しい名称の Trino を使用します。Trino を使用する場合、以下の設定分類で prestosql-connector-hive を trino-connector-hive に置き換えてください。

  [
    {
      "Classification": "prestosql-connector-hive",
      "Properties": {
        "hive.metastore": "glue"
      }
    }
  ]

長時間稼働クラスターでメタストアを切り替えるには、マスターノードに接続して /etc/presto/conf/catalog/hive.properties ファイルのプロパティ値を直接編集し、Presto サーバー (sudo restart presto-server) を再起動することにより、リリースバージョンに最適な値を手動で設定できます。この方法を Amazon EMR 5.15.0 以前のバージョンで使用する場合は、hive.table-statistics-enabled が false に設定されていることを確認します。リリースバージョン 5.16.0 以降を使用する場合、この設定は必要ありません。ただし、テーブルとパーティションの統計はサポートされません。

anchoranchor

• Console
• CLI

新しいコンソールで AWS Glue データカタログを Hive メタストアとして指定するには

1. にサインインし AWS Management Console、Amazon EMR コンソールを https://console.aws.amazon.com/emr://https://https://https://https://https://https://https://https://https://https://https://https://

2. 左側のナビゲーションペインの [EMR on EC2] で、[クラスター] を選択し、[クラスターの作成] を選択します

3. [アプリケーションバンドル] で [Presto] を選択します。

4. [AWS Glue Data Catalog 設定] で [Presto テーブルメタデータに使用] チェックボックスをオンにします。

5. クラスターに適用するその他のオプションを選択します。

6. クラスターを起動するには、[クラスターの作成] を選択します。

IAM 許可

クラスターの EC2 インスタンスプロファイルには、 Glue アクションの AWS IAM アクセス許可が必要です。さらに、 AWS Glue Data Catalog オブジェクトの暗号化を有効にする場合、ロールは暗号化 AWS KMS key に使用される の暗号化、復号、生成も許可されている必要があります。

Glue AWS アクションのアクセス許可

Amazon EMR の デフォルトの EC2 インスタンスプロファイルを使用する場合、アクションは必要ありません。にアタッチされている AmazonElasticMapReduceforEC2Roleマネージドポリシーは、必要なすべての Glue AWS アクションEMR_EC2_DefaultRoleを許可します。ただし、カスタム EC2 インスタンスプロファイルとアクセス許可を指定する場合は、適切な Glue AWS アクションを設定する必要があります。開始点として AmazonElasticMapReduceforEC2Role 管理ポリシーを使用します。詳細については、「Amazon EMR 管理ガイド」の「クラスター EC2 インスタンスのサービスロール (EC2 インスタンスプロファイル)」を参照してください。

Glue Data Catalog AWS の暗号化と復号のためのアクセス許可

インスタンスプロファイルには、キーを使用してデータを暗号化および復号するためのアクセス許可が必要です。以下のステートメントが両方とも適用される場合、これらのアクセス許可を設定する必要はありません。

それ以外の場合は、EC2 インスタンスプロファイルにアタッチされたアクセス許可ポリシーに次のステートメントを追加する必要があります。

[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

AWS Glue データカタログの暗号化の詳細については、 AWS Glue デベロッパーガイドの「データカタログの暗号化」を参照してください。

リソースベースのアクセス許可

Amazon EMR で AWS Glue を Hive、Spark、または Presto と組み合わせて使用する場合、 AWS Glue は Data Catalog リソースへのアクセスを制御するためのリソースベースのポリシーをサポートします。これらのリソースには、データベース、テーブル、接続、ユーザー定義関数が含まれます。詳細については、「AWS Glue デベロッパーガイド」の「AWS Glue リソースポリシー」を参照してください。

リソースベースのポリシーを使用して Amazon EMR 内から AWS Glue へのアクセスを制限する場合、アクセス許可ポリシーで指定するプリンシパルは、クラスターの作成時に指定する EC2 インスタンスプロファイルに関連付けられたロール ARN である必要があります。例えば、カタログにアタッチされたリソースベースのポリシーの場合、以下の例に示されている形式を使用して、クラスター EC2 インスタンスのデフォルトサービスロールのロール ARN である EMR_EC2_DefaultRole を Principal として指定できます。

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

acct-id は Glue アカウント ID AWS とは異なる場合があります。これにより、さまざまなアカウントで EMR クラスターからアクセスできます。異なるアカウントから、複数のプリンシパルを指定できます。

AWS Glue Data Catalog を使用する場合の考慮事項

Presto でメタストアとして AWS Glue データカタログを使用する場合は、次の項目を考慮してください。