チュートリアル: Amazon Ingestion OpenSearch を使用してコレクションにデータを取り込む

パイプラインロールを作成するには

1. https://console.aws.amazon.com/iamv2/ で AWS Identity and Access Managementコンソールを開きます。

2. [ポリシー] を選択してから、[ポリシーを作成] を選択します。

3. [JSON] を選択し、次のポリシーをエディタに貼り付けます。

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:{region}:{your-account-id}:collection/{collection-id}"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "{collection-name}"
           }
         }
       }
     ]
   }

4. 次へを選択し、次へを選択し、ポリシーに という名前を付けますcollection-pipeline-policy。

5. [ポリシーの作成] を選択します。

6. 次に、ポリシーを作成してロールにアタッチします。[ロール]、[ロールの作成] の順に選択します。

7. [カスタム信頼ポリシー] をクリックし、次のポリシーをエディタに貼り付けます。

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. [次へ] をクリックします。次にcollection-pipeline-policy、 (先ほど作成したもの) を検索して選択します。

9. Next を選択し、ロールに という名前を付けますPipelineRole。

10. [ロールの作成] を選択します。

1. https://console.aws.amazon.com/aos/home で Amazon OpenSearch Service コンソールに移動します。

2. 左側のナビゲーションペインで [コレクション] をクリックし、次に [コレクションを作成] をクリックします。

3. コレクションに [ingestion-collection] という名前を付けます。

4. [ネットワークアクセスの設定] で、アクセスタイプを [パブリック] に変更します。

5. 他のすべての設定をデフォルトのままにして、[Next] (次へ) を選択します。

6. [定義方法] で [JSON] をクリックし、エディタに以下のポリシーを貼り付けます。このポリシーは次の 2 つを実行します。

   • パイプラインロールがコレクションに書き込むことを許可します。

   • コレクションから読み取ることを許可します。そして、いくつかのサンプルデータをパイプラインに取り込んだ後、コレクションにクエリを実行し、データが正常に取り込まれてインデックスに書き込まれたことを確認します。

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::{your-account-id}:role/PipelineRole",
           "arn:aws:iam::{your-account-id}:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

7. Principal エレメントを置き換えます。最初のプリンシパルでは、作成したパイプラインロールを指定する必要があります。2 つ目のプリンシパルでは、後でコレクションをクエリするために使用できるユーザーまたはロールを指定する必要があります。

8. [次へ] をクリックします。アクセスポリシーに名前を付けpipeline-domain-access、もう一度次へを選択します。

9. コレクション設定を確認してから、[Submit] (送信) を選択します。

パイプラインを作成するには

1. Amazon OpenSearch Service コンソールで、左側のナビゲーションペインからパイプラインを選択します。

2. パイプラインの作成 を選択します。

3. パイプラインに serverless-ingestion という名前を付け、キャパシティ設定はデフォルトのままにします。

4. このチュートリアルでは、log-pipeline というシンプルなサブパイプラインを作成し、HTTP ソースプラグインを使用します。プラグインは、JSON 配列形式のログデータを受け入れます。1 つの OpenSearch Serverless コレクションをシンクとして指定し、すべてのデータをmy_logsインデックスに取り込みます。

   [パイプライン設定] で、次の YAML 設定をエディタに貼り付けます。

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://{collection-id}.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::{your-account-id}:role/PipelineRole"
             region: "us-east-1"
             serverless: true

5. hosts URL を、前のセクションで作成したコレクションのエンドポイントに置き換えます。sts_role_arn パラメータを PipelineRole の ARN に置き換えます。必要に応じて region を変更します。

6. [パイプラインを検証] をクリックし、検証が成功したことを確認します。

7. このチュートリアルでは、わかりやすいようにパイプラインにパブリックアクセスを設定します。[ネットワーク] で [パブリックアクセス] を選択します。

   VPC アクセスの設定の詳細については、「Amazon Ingestion OpenSearch パイプラインの VPC アクセスの設定」を参照してください。

8. このチュートリアルを完了する間に問題が発生した場合に備えて、ログ発行を有効にしておきます。詳細については、「パイプラインのログのモニタリング」を参照してください。

   ロググループ名を次のように指定します: /aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

9. [次へ] をクリックします。パイプライン設定を確認し、[パイプラインの作成] をクリックします。パイプラインがアクティブになるまでに 5～10 分かかります。