Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Tutorial: Daten mit Amazon OpenSearch Ingestion in eine Sammlung aufnehmen Dieses Tutorial zeigt Ihnen, wie Sie Amazon OpenSearch Ingestion verwenden, um eine einfache Pipeline zu konfigurieren und Daten in eine Amazon OpenSearch Serverless-Sammlung aufzunehmen. Eine *Pipeline* ist eine Ressource, die OpenSearch Ingestion bereitstellt und verwaltet. Sie können eine Pipeline verwenden, um Daten für nachgelagerte Analysen und Visualisierungen in OpenSearch Service zu filtern, anzureichern, zu transformieren, zu normalisieren und zu aggregieren. Ein Tutorial, das zeigt, wie Daten in eine bereitgestellte OpenSearch *Dienstdomäne* aufgenommen werden, finden Sie unter. [Tutorial: Daten mithilfe von Amazon OpenSearch Ingestion in eine Domain aufnehmen](osis-get-started.md) In diesem Tutorial werden Sie die folgenden Schritte ausführen:. 1. [Erstellen Sie eine Sammlung](#osis-serverless-get-started-access). 1. [Erstellen Sie eine Pipeline](#osis-serverless-get-started-pipeline). 1. [Nehmen Sie einige Beispieldaten](#osis-serverless-get-started-ingest) auf. Im Rahmen des Tutorials erstellen Sie die folgenden Ressourcen: + Eine Sammlung mit dem Namen`ingestion-collection`, in die die Pipeline schreiben wird + Eine Pipeline mit dem Namen `ingestion-pipeline-serverless` ## Erforderliche Berechtigungen Um dieses Tutorial abschließen zu können, muss Ihrem Benutzer oder Ihrer Rolle eine [identitätsbasierte Richtlinie](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/security-iam-serverless.html#security-iam-serverless-id-based-policies) mit den folgenden Mindestberechtigungen angehängt sein. Mit diesen Berechtigungen können Sie eine Pipeline-Rolle erstellen und eine Richtlinie (`iam:Create*`und`iam:Attach*`) anhängen, eine Sammlung erstellen oder ändern (`aoss:*`) und mit Pipelines arbeiten (). `osis:*` Darüber hinaus sind mehrere IAM-Berechtigungen erforderlich, um die Pipeline-Rolle automatisch zu erstellen und an OpenSearch Ingestion zu übergeben, damit sie Daten in die Sammlung schreiben kann. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Resource":"*", "Action":[ "osis:*", "iam:Create*", "iam:Attach*", "aoss:*" ] }, { "Resource":[ "arn:aws:iam::111122223333:role/OpenSearchIngestion-PipelineRole" ], "Effect":"Allow", "Action":[ "iam:CreateRole", "iam:AttachRolePolicy", "iam:PassRole" ] } ] } ``` ------ ## Schritt 1: Erstellen Sie eine Sammlung Erstellen Sie zunächst eine Sammlung, in die Daten aufgenommen werden sollen. Wir geben der Sammlung `ingestion-collection` einen Namen. 1. Navigieren Sie zu [https://console.aws.amazon.com/aos/Hause](https://console.aws.amazon.com/aos/home) zur Amazon OpenSearch Service-Konsole. 1. Wählen Sie in der linken Navigationsleiste **Sammlungen** und dann **Sammlung erstellen** aus. 1. Nennen Sie die Sammlung **ingestion-collection**. 1. **Wählen Sie unter **Sicherheit die** Option Standard create aus.** 1. Ändern Sie unter **Netzwerkzugriffseinstellungen** den Zugriffstyp auf **Öffentlich**. 1. Behalten Sie alle anderen Einstellungen als Standardwerte bei und wählen Sie **Next** (Weiter) aus. 1. Konfigurieren Sie jetzt eine Datenzugriffsrichtlinie für die Sammlung. Deaktivieren Sie die Option **Zugriffsrichtlinien-Einstellungen automatisch anpassen**. 1. Wählen Sie **unter Definitionsmethode** die Option **JSON** aus und fügen Sie die folgende Richtlinie in den Editor ein. Diese Richtlinie bewirkt zwei Dinge: + Ermöglicht der Pipeline-Rolle, in die Sammlung zu schreiben. + Ermöglicht es Ihnen, aus der Sammlung zu *lesen*. Später, nachdem Sie einige Beispieldaten in die Pipeline aufgenommen haben, fragen Sie die Sammlung ab, um sicherzustellen, dass die Daten erfolgreich aufgenommen und in den Index geschrieben wurden. ``` [ { "Rules": [ { "Resource": [ "index/ingestion-collection/*" ], "Permission": [ "aoss:CreateIndex", "aoss:UpdateIndex", "aoss:DescribeIndex", "aoss:ReadDocument", "aoss:WriteDocument" ], "ResourceType": "index" } ], "Principal": [ "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole", "arn:aws:iam::your-account-id:role/Admin" ], "Description": "Rule 1" } ] ``` 1. Ändern Sie die `Principal` Elemente so, dass sie Ihre AWS-Konto ID enthalten. Geben Sie für den zweiten Prinzipal einen Benutzer oder eine Rolle an, mit der Sie die Sammlung später abfragen können. 1. Wählen Sie **Weiter** aus. Geben Sie der Zugriffsrichtlinie einen Namen **pipeline-collection-access**und klicken Sie erneut auf **Weiter**. 1. Überprüfen Sie Ihre Sammlungskonfiguration und wählen Sie **Submit** (Senden) aus. ## Schritt 2: Erstellen Sie eine Pipeline Jetzt, wo Sie eine Sammlung haben, können Sie eine Pipeline erstellen. **So erstellen Sie eine Pipeline** 1. Wählen Sie in der Amazon OpenSearch Service-Konsole im linken Navigationsbereich **Pipelines** aus. 1. Wählen Sie **Create pipeline (Pipeline erstellen)** aus. 1. Wählen Sie die **Leere** Pipeline und dann **Blueprint auswählen aus**. 1. In diesem Tutorial erstellen wir eine einfache Pipeline, die das [HTTP-Quell-Plugin](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) verwendet. Das Plugin akzeptiert Protokolldaten in einem JSON-Array-Format. Wir geben eine einzelne OpenSearch serverlose Sammlung als Datenspeicher an und nehmen alle Daten in den `my_logs` Index auf. **Wählen Sie im Menü **Quelle** die Option HTTP aus.** Geben Sie für den **Pfad** **/logs** ein. 1. Der Einfachheit halber konfigurieren wir in diesem Tutorial den öffentlichen Zugriff für die Pipeline. Wählen Sie für **Quellnetzwerkoptionen** die Option **Öffentlicher Zugriff** aus. Informationen zur Konfiguration des VPC-Zugriffs finden Sie unter[Konfiguration des VPC-Zugriffs für Amazon OpenSearch Ingestion-Pipelines](pipeline-security.md). 1. Wählen Sie **Weiter** aus. 1. Geben Sie als **Prozessor** **Datum** ein und wählen Sie **Hinzufügen** aus. 1. Aktivieren Sie „**Ab dem Zeitpunkt des Eingangs**“. Behalten Sie für alle anderen Einstellungen die Standardwerte bei. 1. Wählen Sie **Weiter** aus. 1. Konfigurieren Sie die Senkendetails. Wählen Sie als **OpenSearch Ressourcentyp** **Collection (Serverless)** aus. Wählen Sie dann die OpenSearch Servicesammlung aus, die Sie im vorherigen Abschnitt erstellt haben. Behalten Sie den Namen der Netzwerkrichtlinie als Standard bei. Geben Sie als **Indexname** **my\$1logs** ein. OpenSearch Ingestion erstellt diesen Index automatisch in der Sammlung, falls er noch nicht vorhanden ist. 1. Wählen Sie **Weiter** aus. 1. Benennen Sie die Pipeline. **ingestion-pipeline-serverless** Behalten Sie die Standardwerte für die Kapazitätseinstellungen bei. 1. Wählen Sie für **Pipeline-Rolle** die Option **Neue Servicerolle erstellen und verwenden** aus. Die Pipeline-Rolle stellt die erforderlichen Berechtigungen für eine Pipeline bereit, um in die Sammelsenke zu schreiben und aus Pull-basierten Quellen zu lesen. Wenn Sie diese Option auswählen, ermöglichen Sie OpenSearch Ingestion, die Rolle für Sie zu erstellen, anstatt sie manuell in IAM zu erstellen. Weitere Informationen finden Sie unter [Rollen und Benutzer in Amazon OpenSearch Ingestion einrichten](pipeline-security-overview.md). 1. Geben Sie als **Suffix für den Namen der Servicerolle** den Wert ein. **PipelineRole** In IAM wird die Rolle das Format haben. `arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole` 1. Wählen Sie **Weiter** aus. Überprüfen Sie Ihre Pipeline-Konfiguration und wählen Sie **Pipeline erstellen** aus. Es dauert 5—10 Minuten, bis die Pipeline aktiv wird. ## Schritt 3: Nehmen Sie einige Beispieldaten auf Wenn der Pipeline-Status lautet`Active`, können Sie damit beginnen, Daten in die Pipeline aufzunehmen. Sie müssen alle HTTP-Anfragen an die Pipeline mit [Signature Version 4](https://docs.aws.amazon.com/general/latest/gr/signature-version-4.html) signieren. Verwenden Sie ein HTTP-Tool wie [Postman](https://www.getpostman.com/) oder [awscurl](https://github.com/okigan/awscurl), um einige Daten an die Pipeline zu senden. [Wie bei der direkten Indizierung von Daten für eine Sammlung ist auch für die Aufnahme von Daten in eine Pipeline immer entweder eine IAM-Rolle oder ein IAM-Zugriffsschlüssel und ein geheimer Schlüssel erforderlich.](https://docs.aws.amazon.com/powershell/latest/userguide/pstools-appendix-sign-up.html) **Anmerkung** Der Principal, der die Anfrage signiert, muss über die IAM-Berechtigung verfügen. `osis:Ingest` Rufen Sie zunächst die Aufnahme-URL von der Seite mit den **Pipeline-Einstellungen** ab: ![\[Pipeline settings page showing ingestion URL and other configuration details.\]](http://docs.aws.amazon.com/de_de/opensearch-service/latest/developerguide/images/pipeline-endpoint.png) Senden Sie dann einige Beispieldaten an den Aufnahmepfad. Die folgende Beispielanforderung verwendet [awscurl](https://github.com/okigan/awscurl), um eine einzelne Protokolldatei an die Pipeline zu senden: ``` awscurl --service osis --region us-east-1 \ -X POST \ -H "Content-Type: application/json" \ -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \ https://pipeline-endpoint.us-east-1.osis.amazonaws.com/logs ``` Sie sollten eine `200 OK` Antwort sehen. Fragen Sie nun den `my_logs` Index ab, um sicherzustellen, dass der Protokolleintrag erfolgreich aufgenommen wurde: ``` awscurl --service aoss --region us-east-1 \ -X GET \ https://collection-id.us-east-1.aoss.amazonaws.com/my_logs/_search | json_pp ``` **Beispielantwort**: ``` { "took":348, "timed_out":false, "_shards":{ "total":0, "successful":0, "skipped":0, "failed":0 }, "hits":{ "total":{ "value":1, "relation":"eq" }, "max_score":1.0, "hits":[ { "_index":"my_logs", "_id":"1%3A0%3ARJgDvIcBTy5m12xrKE-y", "_score":1.0, "_source":{ "time":"2014-08-11T11:40:13+00:00", "remote_addr":"122.226.223.69", "status":"404", "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1", "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)", "@timestamp":"2023-04-26T05:22:16.204Z" } } ] } } ``` ## Zugehörige Ressourcen In diesem Tutorial wurde ein einfacher Anwendungsfall für die Aufnahme eines einzelnen Dokuments über HTTP vorgestellt. In Produktionsszenarien konfigurieren Sie Ihre Client-Anwendungen (wie Fluent Bit, Kubernetes oder OpenTelemetry Collector) so, dass Daten an eine oder mehrere Pipelines gesendet werden. Ihre Pipelines werden wahrscheinlich komplexer sein als das einfache Beispiel in diesem Tutorial. Informationen zu den ersten Schritten zur Konfiguration Ihrer Clients und zur Datenaufnahme finden Sie in den folgenden Ressourcen: + [Pipelines erstellen und verwalten](creating-pipeline.md#create-pipeline) + [Konfiguration Ihrer Clients für das Senden von Daten an Ingestion OpenSearch ](configure-client.md) + [Data Prepper-Dokumentation](https://opensearch.org/docs/latest/clients/data-prepper/index/)