チュートリアル: Amazon OpenSearch Ingestion を使用してデータをコレクションに取り込む

パイプラインロールを作成するには

1. https://console.aws.amazon.com/iamv2/ で AWS Identity and Access Management コンソールを開きます。

2. [ポリシー] を選択してから、[ポリシーを作成] を選択します。

3. [JSON] を選択し、次のポリシーをエディタに貼り付けます。それに応じてコレクション ARN と名前を変更します。

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:us-east-1:your-account-id:collection/collection-id"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "collection-name"
           }
         }
       }
     ]
   }

4. [次へ]、[次へ] の順にクリックし、ポリシーに collection-pipeline-policy という名前を付けます。

5. [Create policy] を選択します。

6. 次に、ポリシーを作成してロールにアタッチします。[ロール]、[ロールの作成] の順に選択します。

7. [カスタム信頼ポリシー] をクリックし、次のポリシーをエディタに貼り付けます。

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. [Next] を選択します。その後、collection-pipeline-policy (先ほど作成したもの) を検索して選択します。

9. [次へ] をクリックし、ロールに [PipelineRole] という名前を付けます。

10. [ロールの作成] を選択します。

1. Amazon OpenSearch Service コンソール (https://console.aws.amazon.com/aos/home) に移動します。

2. 左側のナビゲーションペインで [コレクション] をクリックし、次に [コレクションを作成] をクリックします。

3. コレクションに [ingestion-collection] という名前を付けます。

4. [セキュリティ]で、[標準作成] を選択します。

5. [ネットワークアクセスの設定] で、アクセスタイプを [パブリック] に変更します。

6. 他のすべての設定をデフォルトのままにして、[Next] (次へ) を選択します。

7. 次に、コレクション用のデータアクセスポリシーを設定します。[定義方法] で [JSON] をクリックし、エディタに以下のポリシーを貼り付けます。このポリシーは次の 2 つを実行します。

   • パイプラインロールがコレクションに書き込むことを許可します。

   • コレクションから読み取ることを許可します。そして、いくつかのサンプルデータをパイプラインに取り込んだ後、コレクションにクエリを実行し、データが正常に取り込まれてインデックスに書き込まれたことを確認します。

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::your-account-id:role/PipelineRole",
           "arn:aws:iam::your-account-id:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

8. Principal エレメントを置き換えます。最初のプリンシパルでは、作成したパイプラインロールを指定する必要があります。2 つ目のプリンシパルでは、後でコレクションをクエリするために使用できるユーザーまたはロールを指定する必要があります。

9. [Next] を選択します。アクセスポリシーに [pipeline-domain-access] という名前を付け、再度 [次へ] を選択します。

10. コレクション設定を確認してから、[Submit] (送信) を選択します。

パイプラインを作成するには

1. Amazon OpenSearch Service コンソールで、左側のナビゲーションペインから [パイプライン] をクリックします。

2. パイプラインの作成 を選択します。

3. 空のパイプラインを選択し、[ブループリントを選択] を選択します。

4. パイプラインに serverless-ingestion という名前を付け、キャパシティ設定はデフォルトのままにします。

5. このチュートリアルでは、log-pipeline というシンプルなサブパイプラインを作成し、HTTP ソースプラグインを使用します。プラグインは、JSON 配列形式のログデータを受け入れます。1 つの OpenSearch Serverless コレクションをシンクとして指定し、すべてのデータを my_logs インデックスに取り込みます。

   [パイプライン設定] で、次の YAML 設定をエディタに貼り付けます。

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://collection-id.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::your-account-id:role/PipelineRole"
             region: "us-east-1"
             serverless: true

6. hosts URL を、前のセクションで作成したコレクションのエンドポイントに置き換えます。sts_role_arn パラメータを PipelineRole の ARN に置き換えます。必要に応じて region を変更します。

7. [パイプラインを検証] をクリックし、検証が成功したことを確認します。

8. このチュートリアルでは、わかりやすいようにパイプラインにパブリックアクセスを設定します。[ネットワーク] で [パブリックアクセス] を選択します。

   VPC アクセスの設定の詳細については、「Amazon OpenSearch Ingestion パイプラインの VPC アクセスの設定」を参照してください。

9. このチュートリアルを完了する間に問題が発生した場合に備えて、ログ発行を有効にしておきます。詳細については、「パイプラインのログのモニタリング」を参照してください。

   ロググループ名を次のように指定します: /aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

10. [Next] を選択します。パイプライン設定を確認し、[パイプラインの作成] をクリックします。パイプラインがアクティブになるまでに 5～10 分かかります。