本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

教學課程：使用 Amazon OpenSearch Ingestion 將資料擷取至網域

本教學課程說明如何使用 Amazon OpenSearch Ingestion 設定簡單的管道，並將資料擷取至 Amazon OpenSearch Service 網域。管道是 OpenSearch Ingestion 佈建和管理的資源。您可以使用管道來篩選、擴充、轉換、標準化和彙總資料，以在 OpenSearch Service 中進行下游分析和視覺化。

本教學課程會逐步引導您快速啟動和執行管道的基本步驟。如需更完整的說明，請參閱 建立管道。

在本教學課程中，您會完成下列步驟：

在教學課程中，您將建立下列資源：

所需的許可

若要完成本教學課程，您的使用者或角色必須具有具有下列最低許可的連接身分型政策。這些許可可讓您建立管道角色 (iam:Create)、建立或修改網域 (es:*)，以及使用管道 ()osis:*。iam:PassRole 許可可讓您將管道角色許可傳遞至管道，讓管道可以將資料寫入網域。

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:PassRole"
         ]
      }
   ]
}

步驟 1：建立管道角色

首先，建立管道將擔任的角色，以存取 OpenSearch Service 網域接收。您將在本教學稍後的管道組態中包含此角色。

記住角色的 Amazon Resource Name (ARN) （例如 arn:aws:iam::your-account-id:role/PipelineRole)。建立管道時，您需要它。

步驟 2：建立網域

接著，建立名為 的網域，ingestion-domain以擷取資料。

導覽至 Amazon OpenSearch Service 主控台，網址為 https://console.aws.amazon.com/aos/home：//：

網域必須具有 存取政策，將許可授予您在上一個步驟中建立PipelineRole的 。管道將擔任此角色 （管道組態中的名為 sts_role_arn)，以便將資料傳送至 OpenSearch Service 網域接收。

請確定網域具有下列網域層級的存取政策，這會授予網域的PipelineRole存取權。將區域和帳戶 ID 取代為您自己的 ID：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::your-account-id:role/PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:your-account-id:domain/ingestion-domain/*"
    }
  ]
}

如需建立網域層級存取政策的詳細資訊，請參閱資源型存取政策。

如果您已建立網域，請修改其現有的存取政策，以提供上述許可給 PipelineRole。

步驟 3：建立管道

現在您已擁有具有適當存取權限的網域和角色，您可以建立管道。

步驟 4：擷取一些範例資料

當管道狀態為 時Active，您可以開始擷取資料。您必須使用 Signature 第 4 版簽署管道的所有 HTTP 請求。使用 Postman 或 awscurl 等 HTTP 工具，將一些資料傳送至管道。如同將資料直接索引到網域一樣，將資料擷取到管道時，一律需要 IAM 角色或 IAM 存取金鑰和私密金鑰。

首先，從管道設定頁面取得擷取 URL：

然後，擷取一些範例資料。下列請求使用 awscurl 將單一日誌檔案傳送至application_logs索引：

awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/log-pipeline/test_ingestion_path

您應該會看到200 OK回應。如果您收到身分驗證錯誤，可能是因為您從獨立帳戶擷取資料，而不是管道所在的資料。請參閱 修正許可問題。

現在，請查詢application_logs索引，以確保您的日誌項目已成功擷取：

awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

回應範例：

{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

修正許可問題

如果您遵循教學課程中的步驟，並且在嘗試擷取資料時仍看到身分驗證錯誤，可能是因為寫入管道的角色與管道本身 AWS 帳戶 不同。在這種情況下，您需要建立並擔任特定角色，讓您能夠擷取資料。如需說明，請參閱 提供跨帳戶擷取存取權。

相關資源

本教學課程提供透過 HTTP 擷取單一文件的簡單使用案例。在生產案例中，您將設定用戶端應用程式 （例如 Fluent Bit、Kubernetes 或 OpenTelemetry Collector)，以將資料傳送至一或多個管道。您的管道可能比本教學課程中的簡單範例更複雜。

若要開始設定用戶端和擷取資料，請參閱下列資源：