教學課程：使用 Amazon OpenSearch 擷取將資料擷取到集合

若要建立管線角色

1. 在開啟 AWS Identity and Access Management 主控台https://console.aws.amazon.com/iamv2/。

2. 選擇 [原則]，然後選擇 [建立原則]。

3. 選取下列原則JSON並貼到編輯器中。相應地修改集合ARN和名稱。

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:us-east-1:your-account-id:collection/collection-id"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "collection-name"
           }
         }
       }
     ]
   }

4. 選擇 [下一步]，選擇 [下一步]，然後命名原則collection-pipeline-policy。

5. 選擇 建立政策。

6. 接下來，建立角色並將原則附加至該角色。選擇 Roles (角色)，然後選擇 Create role (建立角色)。

7. 選擇 [自訂信任原則]，然後將下列原則貼到編輯器中：

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. 選擇 Next (下一步)。然後搜索並選擇 collection-pipeline-policy（您剛剛創建的）。

9. 選擇 [下一步] 並命名角色PipelineRole。

10. 選擇建立角色。

1. 導航到https://console.aws.amazon.com/aos/家中的 Amazon OpenSearch 服務控制台。

2. 從左側導覽列中選擇「商品系列」，然後選擇「建立

3. 為集合擷取集合命名。

4. 在「安全性」中選擇「標準建立」

5. 在 [網路存取設定] 下，將存取類型變更為 [公用]。

6. 將其他所有設定保留為預設值，然後選擇 Next (下一步)。

7. 現在，設定集合的資料存取政策。對於定義方法，請選擇下列原則JSON並貼到編輯器中。這項政策做了兩件事：

   • 允許管線角色寫入集合。

   • 可讓您從集合中讀取。稍後，在您將一些範例資料導入管線之後，您將查詢集合，以確保資料已成功擷取並寫入索引。

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::your-account-id:role/PipelineRole",
           "arn:aws:iam::your-account-id:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

8. 取代Principal元素。第一個主體應該指定您建立的管線角色。第二個應該指定一個用戶或角色，以便稍後用於查詢集合。

9. 選擇 Next (下一步)。命名存取原則 pipeline-domain-access，然後再次選擇 [下一步]。

10. 檢閱集合組態，然後選擇 Submit (提交)。

建立管道

1. 在 Amazon OpenSearch 服務主控台內，從左側導覽窗格中選擇管道。

2. 選擇 Create pipeline (建立管道)。

3. 選取空白管線，然後選擇選取藍圖。

4. 命名管線無伺服器擷取，並將容量設定保留為其預設值。

5. 在本教程中，我們將創建一個簡單的子管道，稱log-pipeline為使用HTTP源插件。該插件接受數JSON組格式的日誌數據。我們將指定單一 OpenSearch 無伺服器集合做為接收器，並將所有資料擷取到索引中my_logs。

   在「管線組態」下，將下列YAML組態貼到編輯器中：

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://collection-id.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::your-account-id:role/PipelineRole"
             region: "us-east-1"
             serverless: true

6. 將其取hostsURL代為您在上一節中建立的集合的端點。將sts_role_arn參數取代為ARN的PipelineRole。(可選) 修改region.

7. 選擇驗證管線，並確定驗證成功。

8. 為了簡化本教學課程，我們將設定管線的公用存取權限。在 Network (網路) 中，選擇 Public access (公有存取)。

   如需有關配置VPC存取權的資訊，請參閱為 Amazon OpenSearch 擷取管道設定 VPC 存取。

9. 保持日誌發佈啟用狀態，以防您在完成本教學課程時遇到任何問題。如需詳細資訊，請參閱監控管道日誌。

   指定下列記錄群組名稱：/aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

10. 選擇 Next (下一步)。檢閱管線組態，然後選擇「建立管線」。管道需要 5-10 分鐘才能成為活動狀態。