教學課程：使用 Amazon OpenSearch 擷取將資料擷取到集合

若要建立管線角色

1. 請在以下位置開啟AWS Identity and Access Management主控台。 https://console.aws.amazon.com/iamv2/

2. 選擇 [原則]，然後選擇 [建立原則]。

3. 選擇 JSON 並將以下策略粘貼到編輯器中。

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:{region}:{your-account-id}:collection/{collection-id}"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "{collection-name}"
           }
         }
       }
     ]
   }

4. 選擇 [下一步]，選擇 [下一步]，然後命名原則collection-pipeline-policy。

5. 選擇建立政策。

6. 接下來，建立角色並將原則附加至該角色。選擇 Roles (角色)，然後選擇 Create role (建立角色)。

7. 選擇 [自訂信任原則]，然後將下列原則貼到編輯器中：

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. 選擇下一步。然後搜索並選擇 collection-pipeline-policy（您剛剛創建的）。

9. 選擇 [下一步] 並命名角色PipelineRole。

10. 選擇建立角色。

1. 導航到 Amazon OpenSearch 服務控制台 https://console.aws.amazon.com/aos/home.

2. 從左側導覽列中選擇「商品系列」，然後選擇「建立

3. 為集合擷取集合命名。

4. 在 [網路存取設定] 下，將存取類型變更為 [公用]。

5. 將其他所有設定保留為預設值，然後選擇 Next (下一步)。

6. 在 [定義方法] 中，選擇 [JSON]，然後將下列原則貼到編輯器中。這項政策做了兩件事：

   • 允許管線角色寫入集合。

   • 可讓您從集合中讀取。稍後，在您將一些範例資料導入管線之後，您將查詢集合，以確保資料已成功擷取並寫入索引。

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::{your-account-id}:role/PipelineRole",
           "arn:aws:iam::{your-account-id}:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

7. 取代Principal元素。第一個主體應該指定您建立的管線角色。第二個應該指定一個用戶或角色，以便稍後用於查詢集合。

8. 選擇下一步。命名存取原則 pipeline-domain-access，然後再次選擇 [下一步]。

9. 檢閱集合組態，然後選擇 Submit (提交)。

建立管道

1. 在 Amazon OpenSearch 服務主控台內，從左側導覽窗格中選擇管道。

2. 選擇 Create pipeline (建立管道)。

3. 命名管線無伺服器擷取，並將容量設定保留為其預設值。

4. 在本教程中，我們將創建一個簡單的子管道log-pipeline，稱為使用 HTTP 源插件。該插件接受 JSON 數組格式的日誌數據。我們將指定單一 OpenSearch 無伺服器集合做為接收器，並將所有資料擷取到索引中my_logs。

   在管線組態下，將下列 YAML 組態貼到編輯器中：

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://{collection-id}.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::{your-account-id}:role/PipelineRole"
             region: "us-east-1"
             serverless: true

5. 將 hosts URL 取代為您在上一節中建立的集合的端點。將sts_role_arn參數取代為的 ARN。PipelineRole或者，修改region.

6. 選擇驗證管線，並確定驗證成功。

7. 為了簡化本教學課程，我們將設定管線的公用存取權限。在 Network (網路) 中，選擇 Public access (公有存取)。

   如需有關設定 VPC 存取權的資訊，請參閱為 Amazon OpenSearch 擷取管道設定 VPC 存取。

8. 保持日誌發佈啟用狀態，以防您在完成本教學課程時遇到任何問題。如需詳細資訊，請參閱 監控管道日誌。

   指定下列記錄群組名稱：/aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

9. 選擇下一步。檢閱管線組態，然後選擇「建立管線」。管道需要 5-10 分鐘才能成為活動狀態。