本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

教學課程：使用 Amazon OpenSearch 擷取將資料導入網域

本教學說明如何使用 Amazon OpenSearch 擷取設定簡單管道，並將資料擷取至 Amazon OpenSearch 服務網域。管線是 OpenSearch 擷取佈建和管理的資源。您可以使用管道來篩選、豐富、轉換、標準化和彙總資料，以便在 OpenSearch Service 中進行下游分析和視覺化。

本教程將引導您完成基本步驟，以快速啟動和運行管道。如需詳細資訊，請參閱建立管道。

在本教學課程中，您會完成下列步驟：

在教學課程中，您將建立下列資源：

所需的許可

若要完成本教學課程，您必須擁有正確的IAM權限。您的使用者或角色必須具有以下最低權限的附加以身分識別為基礎的原則。這些權限可讓您建立管線角色 (iam:Create)、建立或修改網域 (es:*)，以及使用管線 (osis:*)。

此外，管線角色資源需要iam:PassRole權限。此權限可讓您將管線角色傳遞給 OpenSearch 擷取，以便將資料寫入網域。

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:PassRole"
         ]
      }
   ]
}

步驟 1：建立管線角色

首先，建立管線為了存取 OpenSearch 服務網域接收器而假設的角色。您將在本教學課程稍後的管線設定中包含此角色。

請記住角色的 Amazon 資源名稱 (ARN) (例如，arn:aws:iam::your-account-id:role/PipelineRole)。當您建立管道時，您將需要它。

步驟 2：建立網域

接下來，建立一個名為將資料擷取ingestion-domain到的網域。

導覽至https://console.aws.amazon.com/aos/家中的 Amazon OpenSearch 服務主控台，並建立符合下列需求的網域：

網域必須具有授與權限的存取原則PipelineRole，這是您在上一個步驟中建立的權限。管線將扮演此角色 (在管線組態中名為 sts_role_arn)，以便將資料傳送至服務網域接收器。 OpenSearch

請確定網域具有下列網域層級存取原則，這些原則會授與網域的PipelineRole存取權。使用您自己的地區和帳戶 ID 取代：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::your-account-id:role/PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:your-account-id:domain/ingestion-domain/*"
    }
  ]
}

如需建立網域層級存取原則的詳細資訊，請參閱以資源為基礎的存取原則。

如果您已經建立了網域，請修改其現有存取原則，將上述權限提供給PipelineRole。

步驟 3：建立管道

現在您擁有具有適當存取權限的網域和角色，您可以建立管道。

步驟 4：擷取一些範例資料

當管道狀態為時Active，您就可以開始將資料擷取到其中。您必須使用簽名版本 4 將所有HTTP請求簽署到管道。使用郵遞員或 awscurl 等HTTP工具將一些數據發送到管道。就像將資料直接索引到網域一樣，將資料導入管道一律需要IAM角色或IAM存取金鑰和秘密金鑰。

首先，URL從「管道設定」 頁面取得擷取：

然後，擷取一些範例資料。下列要求會使用 awscurl 將單一記錄檔傳送至索引application_logs：

awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/log-pipeline/test_ingestion_path

您應該會看到200 OK回應。如果您收到驗證錯誤，可能是因為您從不同的帳戶擷取資料，而不是管道所在。請參閱 修正權限問題。

現在，查詢索application_logs引以確保您的日誌項目已成功導入：

awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

範例回應：

{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

修正權限問題

如果您遵循教學課程中的步驟，但在嘗試擷取資料時仍然看到驗證錯誤，可能是因為寫入管線的角色與管線本身 AWS 帳戶 不同。在這種情況下，您需要建立並擔任特別可讓您擷取資料的角色。如需說明，請參閱 提供跨帳戶擷取存取。

相關資源

本教學課程介紹了擷取單一文件的簡單使用案例。HTTP在生產環境中，您將設定用戶端應用程式 (例如 Fluent Bit、Kubernetes 或 OpenTelemetry 收集器)，以便將資料傳送至一或多個管線。您的管道可能會比本教學課程中的簡單範例更複雜。

若要開始設定用戶端和擷取資料，請參閱下列資源：