Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Tutorial: Daten mithilfe von Amazon OpenSearch Ingestion in eine Domain aufnehmen

Dieses Tutorial zeigt Ihnen, wie Sie Amazon OpenSearch Ingestion verwenden, um eine einfache Pipeline zu konfigurieren und Daten in eine Amazon OpenSearch Service-Domain aufzunehmen. Eine Pipeline ist eine Ressource, die OpenSearch Ingestion bereitstellt und verwaltet. Sie können eine Pipeline verwenden, um Daten für nachgelagerte Analysen und Visualisierungen in OpenSearch Service zu filtern, anzureichern, zu transformieren, zu normalisieren und zu aggregieren.

Dieses Tutorial führt Sie durch die grundlegenden Schritte, um eine Pipeline schnell zum Laufen zu bringen. Detailliertere Informationen erhalten Sie unter Pipelines erstellen.

In diesem Tutorial führen Sie die folgenden Schritte durch:

Im Rahmen des Tutorials erstellen Sie die folgenden Ressourcen:

Erforderliche Berechtigungen

Um dieses Tutorial abschließen zu können, müssen Sie über die richtigen IAM Berechtigungen verfügen. Ihrem Benutzer oder Ihrer Rolle muss eine identitätsbasierte Richtlinie mit den folgenden Mindestberechtigungen angehängt sein. Mit diesen Berechtigungen können Sie eine Pipeline-Rolle (iam:Create) erstellen, eine Domäne erstellen oder ändern (es:*) und mit Pipelines () arbeiten. osis:*

Darüber hinaus ist die iam:PassRole Berechtigung für die Pipeline-Rollenressource erforderlich. Mit dieser Berechtigung können Sie die Pipeline-Rolle an OpenSearch Ingestion übergeben, sodass Ingestion Daten in die Domäne schreiben kann.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:PassRole"
         ]
      }
   ]
}

Schritt 1: Erstellen Sie die Pipeline-Rolle

Erstellen Sie zunächst eine Rolle, die die Pipeline für den Zugriff auf die OpenSearch Service-Domänensenke übernimmt. Sie werden diese Rolle später in diesem Tutorial in die Pipeline-Konfiguration aufnehmen.

Merken Sie sich den Amazon-Ressourcennamen (ARN) der Rolle (z. B.arn:aws:iam::your-account-id:role/PipelineRole). Sie benötigen ihn, wenn Sie Ihre Pipeline erstellen.

Schritt 2: Erstellen Sie eine Domain

Erstellen Sie als Nächstes eine Domain mit dem Nameningestion-domain, in die Daten aufgenommen werden sollen.

Navigieren Sie zu https://console.aws.amazon.com/aos/Hause zur Amazon OpenSearch Service-Konsole und erstellen Sie eine Domain, die die folgenden Anforderungen erfüllt:

Die Domäne muss über eine Zugriffsrichtlinie verfügen, die Berechtigungen gewährtPipelineRole, die Sie im vorherigen Schritt erstellt haben. Die Pipeline übernimmt diese Rolle (in der Pipeline-Konfiguration mit dem Namen sts_role_arn bezeichnet), um Daten an die Service-Domänensenke zu senden. OpenSearch

Stellen Sie sicher, dass für die Domäne die folgende Zugriffsrichtlinie auf Domänenebene gilt, die den Zugriff auf die Domäne gewährt. PipelineRole Ersetzen Sie die Region und die Konto-ID durch Ihre eigene:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::your-account-id:role/PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:your-account-id:domain/ingestion-domain/*"
    }
  ]
}

Weitere Informationen zum Erstellen von Zugriffsrichtlinien auf Domänenebene finden Sie unter Ressourcenbasierte Zugriffsrichtlinien.

Wenn Sie bereits eine Domäne erstellt haben, ändern Sie deren bestehende Zugriffsrichtlinie, um die oben genannten Berechtigungen für bereitzustellen. PipelineRole

Schritt 3: Erstellen Sie eine Pipeline

Nachdem Sie nun über eine Domäne und eine Rolle mit den entsprechenden Zugriffsrechten verfügen, können Sie eine Pipeline erstellen.

Schritt 4: Nehmen Sie einige Beispieldaten auf

Wenn der Pipeline-Status lautetActive, können Sie damit beginnen, Daten in die Pipeline aufzunehmen. Sie müssen alle HTTP Anfragen an die Pipeline mit Signature Version 4 signieren. Verwenden Sie ein HTTP Tool wie Postman oder awscurl, um einige Daten an die Pipeline zu senden. Wie bei der direkten Indizierung von Daten in einer Domain erfordert die Aufnahme von Daten in eine Pipeline immer entweder eine IAM Rolle oder einen IAMZugriffsschlüssel und einen geheimen Schlüssel.

Rufen Sie zunächst die Aufnahme URL von der Seite mit den Pipeline-Einstellungen ab:

Nehmen Sie dann einige Beispieldaten auf. Die folgende Anfrage verwendet awscurl, um eine einzelne Protokolldatei an den Index zu senden: application_logs

awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/log-pipeline/test_ingestion_path

Sie sollten eine 200 OK Antwort sehen. Wenn Sie einen Authentifizierungsfehler erhalten, liegt das möglicherweise daran, dass Sie Daten von einem anderen Konto als dem der Pipeline aufnehmen. Siehe Behebung von Problemen mit Berechtigungen.

Fragen Sie nun den application_logs Index ab, um sicherzustellen, dass Ihr Protokolleintrag erfolgreich aufgenommen wurde:

awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

Beispielantwort:

{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

Behebung von Problemen mit Berechtigungen

Wenn Sie die Schritte im Tutorial befolgt haben und immer noch Authentifizierungsfehler auftreten, wenn Sie versuchen, Daten aufzunehmen, liegt das möglicherweise daran, dass sich die Rolle, die in eine Pipeline schreibt, in einer anderen Rolle befindet AWS-Konto als die Pipeline selbst. In diesem Fall müssen Sie eine Rolle erstellen und übernehmen, die Ihnen speziell das Ingestieren von Daten ermöglicht. Detaillierte Anweisungen finden Sie unter Bereitstellung von kontenübergreifendem Zugriff auf Datenerfassung.

Zugehörige Ressourcen

In diesem Tutorial wurde ein einfacher Anwendungsfall für die Aufnahme eines einzelnen Dokuments vorgestellt. HTTP In Produktionsszenarien konfigurieren Sie Ihre Client-Anwendungen (wie Fluent Bit, Kubernetes oder OpenTelemetry Collector) so, dass Daten an eine oder mehrere Pipelines gesendet werden. Ihre Pipelines werden wahrscheinlich komplexer sein als das einfache Beispiel in diesem Tutorial.

Informationen zu den ersten Schritten zur Konfiguration Ihrer Clients und zur Datenaufnahme finden Sie in den folgenden Ressourcen: