OpenSearch Service での Amazon S3 データソース統合の作成

OpenSearch Service 用の新しい Amazon S3 ダイレクトクエリデータソースは、 AWS Management Console または API を使用して作成できます。新しいデータソースはそれぞれ、 AWS Glue Data Catalog を使用して Amazon S3 バケットを表すテーブルを管理します。

前提条件

開始する前に、次のドキュメントを確認してください。

データソースを作成する前に、 に次のリソースが必要です AWS アカウント。

手順

AWS Management Console または OpenSearch Service API を使用して、ドメインにダイレクトクエリデータソースを設定できます。

POST https://es.region.amazonaws.com/2021-01-01/opensearch/domain/domain-name/dataSource

{
   "DataSourceType": {
        "S3GlueDataCatalog": {
            "RoleArn": "arn:aws:iam::account-id:role/role-name"
        }
    }
   "Description": "data-source-description",
   "Name": "my-data-source"
}

POST https://es.region.amazonaws.com/2021-01-01/opensearch/domain/domain-name/dataSource

{
   "DataSourceType": {
        "S3GlueDataCatalog": {
            "RoleArn": "arn:aws:iam::account-id:role/role-name"
        }
    }
   "Description": "data-source-description",
   "Name": "my-data-source"
}

次のステップ

OpenSearch Dashboards にアクセスする

データソースを作成すると、OpenSearch Service は OpenSearch Dashboards リンクを提供します。これを使用して、アクセスコントロールの設定、テーブルの定義、out-of-the-box統合のインストール、データのクエリを行うことができます。

詳細については、「OpenSearch Dashboards での S3 データソースの設定とクエリ」を参照してください。

AWS Glue Data Catalog ロールをマッピングする

データソースの作成後にきめ細かなアクセスコントロールを有効にしている場合は、直接クエリを実行するために、管理者以外のユーザーを AWS Glue Data Catalog アクセス権を持つ IAM ロールにマッピングする必要があります。IAM glue_accessロールにマッピングできるバックエンドロールを手動で作成するには、次の手順を実行します。

ロールのマッピングの詳細については、「ユーザーへのロールのマッピング」を参照してください。

追加リソース

手動で作成された IAM ロールに必要なアクセス許可

ドメインのデータソースを作成するときは、データへのアクセスを管理する IAM ロールを選択します。これには 2 つのオプションがあります。

手動で作成したロールを使用する場合は、ロールに正しいアクセス許可をアタッチする必要があります。アクセス許可は、特定のデータソースへのアクセスを許可し、OpenSearch Service がロールを引き受けることを許可する必要があります。これは、OpenSearch Service がデータに安全にアクセスしてやり取りできるようにするために必要です。

次のサンプルポリシーは、データソースの作成と管理に必要な最小特権の許可を示しています。s3:* または AdminstratorAccess ポリシーなどのより広範な許可を持っている場合、これらの許可にはサンプルポリシーの最小特権が含まれます。

次のサンプルポリシーでは、プレースホルダーテキストをユーザー自身の情報に置き換えます。

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Sid":"HttpActionsForOpenSearchDomain",
         "Effect":"Allow",
         "Action":"es:ESHttp*",
         "Resource":"arn:aws:es:region:account:domain/<domain_name>/*"
      },
      {
         "Sid":"AmazonOpenSearchS3GlueDirectQueryReadAllS3Buckets",
         "Effect":"Allow",
         "Action":[
            "s3:GetObject",
            "s3:GetObjectVersion",
            "s3:ListBucket"
         ],
         "Condition":{
            "StringEquals":{
               "aws:ResourceAccount":"account"
            }
         },
         "Resource":"*"
      },
      {
         "Sid":"AmazonOpenSearchDirectQueryGlueCreateAccess",
         "Effect":"Allow",
         "Action":[
            "glue:CreateDatabase",
            "glue:CreatePartition",
            "glue:CreateTable",
            "glue:BatchCreatePartition"
         ],
         "Resource":"*"
      },
      {
         "Sid":"AmazonOpenSearchS3GlueDirectQueryModifyAllGlueResources",
         "Effect":"Allow",
         "Action":[
            "glue:DeleteDatabase",
            "glue:DeletePartition",
            "glue:DeleteTable",
            "glue:GetDatabase",
            "glue:GetDatabases",
            "glue:GetPartition",
            "glue:GetPartitions",
            "glue:GetTable",
            "glue:GetTableVersions",
            "glue:GetTables",
            "glue:UpdateDatabase",
            "glue:UpdatePartition",
            "glue:UpdateTable",
            "glue:BatchGetPartition",
            "glue:BatchDeletePartition",
            "glue:BatchDeleteTable"
         ],
         "Resource":[
            "arn:aws:glue:us-east-1:account:table/*",
            "arn:aws:glue:us-east-1:account:database/*",
            "arn:aws:glue:us-east-1:account:catalog",
            "arn:aws:es:region:account:domain/domain_name"
         ],
         "Condition":{
            "StringEquals":{
               "aws:ResourceAccount":"account"
            }
         }
      },
      {
         "Sid":"ReadAndWriteActionsForS3CheckpointBucket",
         "Effect":"Allow",
         "Action":[
            "s3:ListMultipartUploadParts",
            "s3:DeleteObject",
            "s3:GetObject",
            "s3:PutObject",
            "s3:GetBucketLocation",
            "s3:ListBucket"
         ],
         "Condition":{
            "StringEquals":{
               "aws:ResourceAccount":"account"
            }
         },
         "Resource":[
            "arn:aws:s3:::amzn-s3-demo-bucket",
            "arn:aws:s3:::amzn-s3-demo-bucket/*"
         ]
      }
   ]
}

異なるアカウントで Amazon S3 バケットをサポートするには、Amazon S3 ポリシーに条件を含め、適切なアカウントを追加する必要があります。

次のサンプル条件では、プレースホルダーテキストを独自の情報に置き換えます。

"Condition": {
                "StringEquals": {
                    "aws:ResourceAccount": "{{accountId}}"
                }

また、ロールには、ターゲット ID を指定する次の信頼ポリシーが必要です。

{
    "Version":"2012-10-17",
    "Statement":[
       {
          "Effect":"Allow",
          "Principal":{
             "Service": "directquery.opensearchservice.amazonaws.com"
          },
          "Action":"sts:AssumeRole"
       }
     ]
}

ロールを作成する手順については、「カスタム信頼ポリシーを使用したロールの作成」を参照してください。

OpenSearch Service できめ細かなアクセスコントロールが有効になっている場合、データソースに対して新しい OpenSearch のきめ細かなアクセスコントロールロールが自動的に作成されます。新しいきめ細かなアクセスコントロールロールの名前は AWS OpenSearchDirectQuery <name of data source> になります。

デフォルトでは、ロールは直接クエリデータソースインデックスにのみアクセスできます。データソースへのアクセスを制限または許可するようにロールを設定できますが、このロールのアクセスは調整しないことをお勧めします。データソースを削除すると、このロールは削除されます。これにより、他のユーザーがロールにマッピングされている場合、そのユーザーのアクセスは削除されます。