Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Erste Schritte mit Amazon OpenSearch Ingestion Amazon OpenSearch Ingestion unterstützt die Aufnahme von Daten in verwaltete OpenSearch Service-Domains und OpenSearch serverlose Sammlungen. Die folgenden Tutorials führen Sie durch die grundlegenden Schritte, um eine Pipeline zum Laufen zu bringen. Das erste Tutorial zeigt Ihnen, wie Sie Amazon OpenSearch Ingestion verwenden, um eine einfache Pipeline zu konfigurieren und Daten in eine Amazon OpenSearch Service-Domain aufzunehmen. Das zweite Tutorial zeigt Ihnen, wie Sie Amazon OpenSearch Ingestion verwenden, um eine einfache Pipeline zu konfigurieren und Daten in eine Amazon OpenSearch Serverless-Sammlung aufzunehmen. **Anmerkung** Die Pipeline-Erstellung schlägt fehl, wenn Sie nicht die richtigen Berechtigungen einrichten. [Rollen und Benutzer in Amazon OpenSearch Ingestion einrichten](pipeline-security-overview.md)Weitere Informationen zu den erforderlichen Rollen finden Sie unter, bevor Sie eine Pipeline erstellen. **Topics** + [Tutorial: Daten mithilfe von Amazon OpenSearch Ingestion in eine Domain aufnehmen](osis-get-started.md) + [Tutorial: Daten mit Amazon OpenSearch Ingestion in eine Sammlung aufnehmen](osis-serverless-get-started.md) # Tutorial: Daten mithilfe von Amazon OpenSearch Ingestion in eine Domain aufnehmen Dieses Tutorial zeigt Ihnen, wie Sie Amazon OpenSearch Ingestion verwenden, um eine einfache Pipeline zu konfigurieren und Daten in eine Amazon OpenSearch Service-Domain aufzunehmen. Eine *Pipeline* ist eine Ressource, die OpenSearch Ingestion bereitstellt und verwaltet. Sie können eine Pipeline verwenden, um Daten für nachgelagerte Analysen und Visualisierungen in OpenSearch Service zu filtern, anzureichern, zu transformieren, zu normalisieren und zu aggregieren. Dieses Tutorial führt Sie durch die grundlegenden Schritte, um eine Pipeline schnell zum Laufen zu bringen. Umfassendere Anweisungen finden Sie unter[Pipelines erstellen](creating-pipeline.md#create-pipeline). In diesem Tutorial führen Sie die folgenden Schritte durch: 1. [Erstellen Sie eine Domain](#osis-get-started-access). 1. [Erstellen Sie eine Pipeline](#osis-get-started-pipeline). 1. [Nehmen Sie einige Beispieldaten](#osis-get-started-ingest) auf. Im Rahmen des Tutorials erstellen Sie die folgenden Ressourcen: + Eine Domäne mit dem Namen`ingestion-domain`, in die die Pipeline schreibt + Eine Pipeline mit dem Namen `ingestion-pipeline` ## Erforderliche Berechtigungen Um dieses Tutorial abschließen zu können, muss Ihrem Benutzer oder Ihrer Rolle eine [identitätsbasierte Richtlinie](security-iam-serverless.md#security-iam-serverless-id-based-policies) mit den folgenden Mindestberechtigungen angehängt sein. Diese Berechtigungen ermöglichen es Ihnen, eine Pipeline-Rolle zu erstellen und eine Richtlinie anzuhängen (`iam:Create*`und`iam:Attach*`), eine Domäne (`es:*`) zu erstellen oder zu ändern und mit Pipelines zu arbeiten (). `osis:*` ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Resource":"*", "Action":[ "osis:*", "iam:Create*", "iam:Attach*", "es:*" ] }, { "Resource":[ "arn:aws:iam::111122223333:role/OpenSearchIngestion-PipelineRole" ], "Effect":"Allow", "Action":[ "iam:CreateRole", "iam:AttachRolePolicy", "iam:PassRole" ] } ] } ``` ------ ## Schritt 1: Erstellen Sie die Pipeline-Rolle Erstellen Sie zunächst eine Rolle, die die Pipeline für den Zugriff auf die OpenSearch Service-Domänensenke übernimmt. Sie werden diese Rolle später in diesem Tutorial in die Pipeline-Konfiguration aufnehmen. **Um die Pipeline-Rolle zu erstellen** 1. Öffnen Sie die AWS Identity and Access Management Konsole unter [https://console.aws.amazon.com/iamv2/](https://console.aws.amazon.com/iamv2/ ). 1. Wählen Sie **Richtlinien** und dann **Richtlinie erstellen** aus. 1. In diesem Tutorial werden Sie Daten in eine Domain mit dem Namen aufnehmen`ingestion-domain`, die Sie im nächsten Schritt erstellen werden. Wählen Sie **JSON** aus und fügen Sie die folgende Richtlinie in den Editor ein. `your-account-id`Ersetzen Sie es durch Ihre Konto-ID und ändern Sie gegebenenfalls die Region. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "es:DescribeDomain", "Resource": "arn:aws:es:us-east-1:111122223333:domain/ingestion-domain" }, { "Effect": "Allow", "Action": "es:ESHttp*", "Resource": "arn:aws:es:us-east-1:111122223333:domain/ingestion-domain/*" } ] } ``` ------ Wenn Sie Daten in eine *bestehende* Domain schreiben möchten, `ingestion-domain` ersetzen Sie sie durch den Namen Ihrer Domain. **Anmerkung** Der Einfachheit halber verwenden wir in diesem Tutorial eine umfassende Zugriffsrichtlinie. In Produktionsumgebungen empfehlen wir jedoch, dass Sie eine restriktivere Zugriffsrichtlinie auf Ihre Pipeline-Rolle anwenden. Ein Beispiel für eine Richtlinie, die die erforderlichen Mindestberechtigungen bereitstellt, finden Sie unter[Amazon OpenSearch Ingestion-Pipelines Zugriff auf Domains gewähren](pipeline-domain-access.md). 1. Wählen Sie **Weiter, dann** **Weiter** und geben Sie Ihrer Richtlinie einen Namen für **Pipeline-Policy**. 1. Wählen Sie **Richtlinie erstellen** aus. 1. Erstellen Sie als Nächstes eine Rolle und fügen Sie ihr die Richtlinie hinzu. Wählen Sie **Roles (Rollen)** und anschließend **Create role (Rolle erstellen)**. 1. Wählen Sie **Benutzerdefinierte Vertrauensrichtlinie** und fügen Sie die folgende Richtlinie in den Editor ein: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Principal":{ "Service":"osis-pipelines.amazonaws.com" }, "Action":"sts:AssumeRole" } ] } ``` ------ 1. Wählen Sie **Weiter** aus. Suchen Sie dann nach der **Pipeline-Richtlinie** (die Sie gerade erstellt haben) und wählen Sie sie aus. 1. Wählen Sie **Weiter und geben** Sie der Rolle einen Namen. **PipelineRole** 1. Wählen Sie **Rolle erstellen** aus. Merken Sie sich den Amazon-Ressourcennamen (ARN) der Rolle (z. B.`arn:aws:iam::your-account-id:role/PipelineRole`). Sie benötigen ihn, wenn Sie Ihre Pipeline erstellen. ## Schritt 2: Erstellen Sie eine Domain Erstellen Sie zunächst eine Domain mit dem Namen`ingestion-domain`, in die Daten aufgenommen werden sollen. Navigieren Sie zu [https://console.aws.amazon.com/aos/Hause](https://console.aws.amazon.com/aos/home) zur Amazon OpenSearch Service-Konsole und [erstellen Sie eine Domain](createupdatedomains.md), die die folgenden Anforderungen erfüllt: + Läuft OpenSearch 1.0 oder höher oder Elasticsearch 7.4 oder höher + Verwendet öffentlichen Zugriff + Verwendet keine differenzierte Zugriffskontrolle **Anmerkung** Diese Anforderungen sollen die Einfachheit dieses Tutorials gewährleisten. In Produktionsumgebungen können Sie eine Domain mit VPC-Zugriff and/or mithilfe einer fein abgestuften Zugriffskontrolle konfigurieren. [Informationen zur Verwendung einer differenzierten Zugriffskontrolle finden Sie unter Zuordnen der Pipeline-Rolle.](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-domain-access.html#pipeline-access-domain) Die Domäne muss über eine Zugriffsrichtlinie verfügen, die Berechtigungen für die `OpenSearchIngestion-PipelineRole` IAM-Rolle gewährt. Diese wird vom OpenSearch Dienst im nächsten Schritt für Sie erstellt. Die Pipeline übernimmt diese Rolle, um Daten an die Domänensenke zu senden. Stellen Sie sicher, dass die Domäne über die folgende Zugriffsrichtlinie auf Domänenebene verfügt, die der Pipeline-Rolle Zugriff auf die Domäne gewährt. Ersetzen Sie die Region und die Konto-ID durch Ihre eigene: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::111122223333:role/OpenSearchIngestion-PipelineRole" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:111122223333:domain/ingestion-domain/*" } ] } ``` ------ Weitere Informationen zum Erstellen von Zugriffsrichtlinien auf Domänenebene finden Sie unter. [Ressourcenbasierte Richtlinien](ac.md#ac-types-resource) Wenn Sie bereits eine Domäne erstellt haben, ändern Sie deren bestehende Zugriffsrichtlinie, um die oben genannten Berechtigungen für bereitzustellen. `OpenSearchIngestion-PipelineRole` ## Schritt 3: Erstellen Sie eine Pipeline Jetzt, da Sie eine Domain haben, können Sie eine Pipeline erstellen. **So erstellen Sie eine Pipeline** 1. Wählen Sie in der Amazon OpenSearch Service-Konsole im linken Navigationsbereich **Pipelines** aus. 1. Wählen Sie **Create pipeline (Pipeline erstellen)** aus. 1. Wählen Sie die **Leere** Pipeline und dann **Blueprint auswählen aus**. 1. In diesem Tutorial erstellen wir eine einfache Pipeline, die das [HTTP-Quell-Plugin](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) verwendet. Das Plugin akzeptiert Protokolldaten in einem JSON-Array-Format. Wir geben eine einzelne OpenSearch Service-Domain als Senke an und nehmen alle Daten in den `application_logs` Index auf. Wählen Sie im Menü **Quelle** die Option **HTTP** aus. Geben Sie für den **Pfad** **/logs** ein. 1. Der Einfachheit halber konfigurieren wir in diesem Tutorial den öffentlichen Zugriff für die Pipeline. Wählen Sie für **Quellnetzwerkoptionen** die Option **Öffentlicher Zugriff** aus. Informationen zur Konfiguration des VPC-Zugriffs finden Sie unter[Konfiguration des VPC-Zugriffs für Amazon OpenSearch Ingestion-Pipelines](pipeline-security.md). 1. Wählen Sie **Weiter** aus. 1. Geben Sie als **Prozessor** **Datum** ein und wählen Sie **Hinzufügen** aus. 1. Aktivieren Sie „**Ab dem Zeitpunkt des Eingangs**“. Behalten Sie für alle anderen Einstellungen die Standardwerte bei. 1. Wählen Sie **Weiter** aus. 1. Konfigurieren Sie die Senkendetails. Wählen Sie als **OpenSearch Ressourcentyp** **Managed Cluster** aus. Wählen Sie dann die OpenSearch Dienstdomäne aus, die Sie im vorherigen Abschnitt erstellt haben. Geben Sie als **Indexname** **application\$1logs** ein. OpenSearch Ingestion erstellt diesen Index automatisch in der Domain, falls er noch nicht existiert. 1. Wählen Sie **Weiter** aus. 1. **Geben Sie der Pipeline den Namen Ingestion-Pipeline.** Behalten Sie die Standardeinstellungen für die Kapazitätseinstellungen bei. 1. Wählen Sie für **Pipeline-Rolle** die Option **Neue Servicerolle erstellen und verwenden** aus. Die Pipeline-Rolle stellt die erforderlichen Berechtigungen für eine Pipeline bereit, um in die Domänensenke zu schreiben und aus Pull-basierten Quellen zu lesen. Wenn Sie diese Option auswählen, ermöglichen Sie OpenSearch Ingestion, die Rolle für Sie zu erstellen, anstatt sie manuell in IAM zu erstellen. Weitere Informationen finden Sie unter [Rollen und Benutzer in Amazon OpenSearch Ingestion einrichten](pipeline-security-overview.md). 1. Geben Sie als **Suffix für den Namen der Servicerolle** den Wert ein. **PipelineRole** In IAM wird die Rolle das Format haben. `arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole` 1. Wählen Sie **Weiter** aus. Überprüfen Sie Ihre Pipeline-Konfiguration und wählen Sie **Pipeline erstellen** aus. Es dauert 5—10 Minuten, bis die Pipeline aktiv wird. ## Schritt 4: Nehmen Sie einige Beispieldaten auf Wenn der Pipeline-Status lautet`Active`, können Sie damit beginnen, Daten in die Pipeline aufzunehmen. Sie müssen alle HTTP-Anfragen an die Pipeline mit [Signature Version 4](https://docs.aws.amazon.com/general/latest/gr/signature-version-4.html) signieren. Verwenden Sie ein HTTP-Tool wie [Postman](https://www.getpostman.com/) oder [awscurl](https://github.com/okigan/awscurl), um einige Daten an die Pipeline zu senden. [Wie bei der direkten Indizierung von Daten in einer Domain erfordert die Aufnahme von Daten in eine Pipeline immer entweder eine IAM-Rolle oder einen IAM-Zugriffsschlüssel und einen geheimen Schlüssel.](https://docs.aws.amazon.com/powershell/latest/userguide/pstools-appendix-sign-up.html) **Anmerkung** Der Principal, der die Anfrage signiert, muss über die IAM-Berechtigung verfügen. `osis:Ingest` Rufen Sie zunächst die Aufnahme-URL von der Seite mit den **Pipeline-Einstellungen** ab: ![\[Pipeline settings page showing ingestion URL and other configuration details.\]](http://docs.aws.amazon.com/de_de/opensearch-service/latest/developerguide/images/pipeline-endpoint.png) Nehmen Sie dann einige Beispieldaten auf. Die folgende Anfrage verwendet [awscurl](https://github.com/okigan/awscurl), um eine einzelne Protokolldatei an die Pipeline zu senden: ``` awscurl --service osis --region us-east-1 \ -X POST \ -H "Content-Type: application/json" \ -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \ https://pipeline-endpoint.us-east-1.osis.amazonaws.com/logs ``` Sie sollten eine `200 OK` Antwort sehen. Wenn Sie einen Authentifizierungsfehler erhalten, liegt das möglicherweise daran, dass Sie Daten von einem anderen Konto als dem der Pipeline aufnehmen. Siehe [Behebung von Problemen mit Berechtigungen](#osis-get-started-troubleshoot). Fragen Sie nun den `application_logs` Index ab, um sicherzustellen, dass Ihr Protokolleintrag erfolgreich aufgenommen wurde: ``` awscurl --service es --region us-east-1 \ -X GET \ https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp ``` **Beispielantwort**: ``` { "took":984, "timed_out":false, "_shards":{ "total":1, "successful":5, "skipped":0, "failed":0 }, "hits":{ "total":{ "value":1, "relation":"eq" }, "max_score":1.0, "hits":[ { "_index":"application_logs", "_type":"_doc", "_id":"z6VY_IMBRpceX-DU6V4O", "_score":1.0, "_source":{ "time":"2014-08-11T11:40:13+00:00", "remote_addr":"122.226.223.69", "status":"404", "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1", "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)", "@timestamp":"2022-10-21T21:00:25.502Z" } } ] } } ``` ## Behebung von Problemen mit Berechtigungen Wenn Sie die Schritte im Tutorial befolgt haben und immer noch Authentifizierungsfehler auftreten, wenn Sie versuchen, Daten aufzunehmen, liegt das möglicherweise daran, dass sich die Rolle, die in eine Pipeline schreibt, in einer anderen Rolle befindet AWS-Konto als die Pipeline selbst. In diesem Fall müssen Sie [eine Rolle erstellen und übernehmen](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_use.html), die Ihnen speziell das Ingestieren von Daten ermöglicht. Detaillierte Anweisungen finden Sie unter [Bereitstellung von kontenübergreifendem Zugriff auf Datenerfassung](configure-client.md#configure-client-cross-account). ## Zugehörige Ressourcen In diesem Tutorial wurde ein einfacher Anwendungsfall für die Aufnahme eines einzelnen Dokuments über HTTP vorgestellt. In Produktionsszenarien konfigurieren Sie Ihre Client-Anwendungen (wie Fluent Bit, Kubernetes oder OpenTelemetry Collector) so, dass Daten an eine oder mehrere Pipelines gesendet werden. Ihre Pipelines werden wahrscheinlich komplexer sein als das einfache Beispiel in diesem Tutorial. Informationen zu den ersten Schritten zur Konfiguration Ihrer Clients und zur Datenaufnahme finden Sie in den folgenden Ressourcen: + [Pipelines erstellen und verwalten](creating-pipeline.md#create-pipeline) + [Konfiguration Ihrer Clients für das Senden von Daten an Ingestion OpenSearch ](configure-client.md) + [Data Prepper-Dokumentation](https://opensearch.org/docs/latest/clients/data-prepper/index/) # Tutorial: Daten mit Amazon OpenSearch Ingestion in eine Sammlung aufnehmen Dieses Tutorial zeigt Ihnen, wie Sie Amazon OpenSearch Ingestion verwenden, um eine einfache Pipeline zu konfigurieren und Daten in eine Amazon OpenSearch Serverless-Sammlung aufzunehmen. Eine *Pipeline* ist eine Ressource, die OpenSearch Ingestion bereitstellt und verwaltet. Sie können eine Pipeline verwenden, um Daten für nachgelagerte Analysen und Visualisierungen in OpenSearch Service zu filtern, anzureichern, zu transformieren, zu normalisieren und zu aggregieren. Ein Tutorial, das zeigt, wie Daten in eine bereitgestellte OpenSearch *Dienstdomäne* aufgenommen werden, finden Sie unter. [Tutorial: Daten mithilfe von Amazon OpenSearch Ingestion in eine Domain aufnehmen](osis-get-started.md) In diesem Tutorial werden Sie die folgenden Schritte ausführen:. 1. [Erstellen Sie eine Sammlung](#osis-serverless-get-started-access). 1. [Erstellen Sie eine Pipeline](#osis-serverless-get-started-pipeline). 1. [Nehmen Sie einige Beispieldaten](#osis-serverless-get-started-ingest) auf. Im Rahmen des Tutorials erstellen Sie die folgenden Ressourcen: + Eine Sammlung mit dem Namen`ingestion-collection`, in die die Pipeline schreiben wird + Eine Pipeline mit dem Namen `ingestion-pipeline-serverless` ## Erforderliche Berechtigungen Um dieses Tutorial abschließen zu können, muss Ihrem Benutzer oder Ihrer Rolle eine [identitätsbasierte Richtlinie](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/security-iam-serverless.html#security-iam-serverless-id-based-policies) mit den folgenden Mindestberechtigungen angehängt sein. Mit diesen Berechtigungen können Sie eine Pipeline-Rolle erstellen und eine Richtlinie (`iam:Create*`und`iam:Attach*`) anhängen, eine Sammlung erstellen oder ändern (`aoss:*`) und mit Pipelines arbeiten (). `osis:*` Darüber hinaus sind mehrere IAM-Berechtigungen erforderlich, um die Pipeline-Rolle automatisch zu erstellen und an OpenSearch Ingestion zu übergeben, damit sie Daten in die Sammlung schreiben kann. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Resource":"*", "Action":[ "osis:*", "iam:Create*", "iam:Attach*", "aoss:*" ] }, { "Resource":[ "arn:aws:iam::111122223333:role/OpenSearchIngestion-PipelineRole" ], "Effect":"Allow", "Action":[ "iam:CreateRole", "iam:AttachRolePolicy", "iam:PassRole" ] } ] } ``` ------ ## Schritt 1: Erstellen Sie eine Sammlung Erstellen Sie zunächst eine Sammlung, in die Daten aufgenommen werden sollen. Wir geben der Sammlung `ingestion-collection` einen Namen. 1. Navigieren Sie zu [https://console.aws.amazon.com/aos/Hause](https://console.aws.amazon.com/aos/home) zur Amazon OpenSearch Service-Konsole. 1. Wählen Sie in der linken Navigationsleiste **Sammlungen** und dann **Sammlung erstellen** aus. 1. Nennen Sie die Sammlung **ingestion-collection**. 1. **Wählen Sie unter **Sicherheit die** Option Standard create aus.** 1. Ändern Sie unter **Netzwerkzugriffseinstellungen** den Zugriffstyp auf **Öffentlich**. 1. Behalten Sie alle anderen Einstellungen als Standardwerte bei und wählen Sie **Next** (Weiter) aus. 1. Konfigurieren Sie jetzt eine Datenzugriffsrichtlinie für die Sammlung. Deaktivieren Sie die Option **Zugriffsrichtlinien-Einstellungen automatisch anpassen**. 1. Wählen Sie **unter Definitionsmethode** die Option **JSON** aus und fügen Sie die folgende Richtlinie in den Editor ein. Diese Richtlinie bewirkt zwei Dinge: + Ermöglicht der Pipeline-Rolle, in die Sammlung zu schreiben. + Ermöglicht es Ihnen, aus der Sammlung zu *lesen*. Später, nachdem Sie einige Beispieldaten in die Pipeline aufgenommen haben, fragen Sie die Sammlung ab, um sicherzustellen, dass die Daten erfolgreich aufgenommen und in den Index geschrieben wurden. ``` [ { "Rules": [ { "Resource": [ "index/ingestion-collection/*" ], "Permission": [ "aoss:CreateIndex", "aoss:UpdateIndex", "aoss:DescribeIndex", "aoss:ReadDocument", "aoss:WriteDocument" ], "ResourceType": "index" } ], "Principal": [ "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole", "arn:aws:iam::your-account-id:role/Admin" ], "Description": "Rule 1" } ] ``` 1. Ändern Sie die `Principal` Elemente so, dass sie Ihre AWS-Konto ID enthalten. Geben Sie für den zweiten Prinzipal einen Benutzer oder eine Rolle an, mit der Sie die Sammlung später abfragen können. 1. Wählen Sie **Weiter** aus. Geben Sie der Zugriffsrichtlinie einen Namen **pipeline-collection-access**und klicken Sie erneut auf **Weiter**. 1. Überprüfen Sie Ihre Sammlungskonfiguration und wählen Sie **Submit** (Senden) aus. ## Schritt 2: Erstellen Sie eine Pipeline Jetzt, wo Sie eine Sammlung haben, können Sie eine Pipeline erstellen. **So erstellen Sie eine Pipeline** 1. Wählen Sie in der Amazon OpenSearch Service-Konsole im linken Navigationsbereich **Pipelines** aus. 1. Wählen Sie **Create pipeline (Pipeline erstellen)** aus. 1. Wählen Sie die **Leere** Pipeline und dann **Blueprint auswählen aus**. 1. In diesem Tutorial erstellen wir eine einfache Pipeline, die das [HTTP-Quell-Plugin](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) verwendet. Das Plugin akzeptiert Protokolldaten in einem JSON-Array-Format. Wir geben eine einzelne OpenSearch serverlose Sammlung als Datenspeicher an und nehmen alle Daten in den `my_logs` Index auf. **Wählen Sie im Menü **Quelle** die Option HTTP aus.** Geben Sie für den **Pfad** **/logs** ein. 1. Der Einfachheit halber konfigurieren wir in diesem Tutorial den öffentlichen Zugriff für die Pipeline. Wählen Sie für **Quellnetzwerkoptionen** die Option **Öffentlicher Zugriff** aus. Informationen zur Konfiguration des VPC-Zugriffs finden Sie unter[Konfiguration des VPC-Zugriffs für Amazon OpenSearch Ingestion-Pipelines](pipeline-security.md). 1. Wählen Sie **Weiter** aus. 1. Geben Sie als **Prozessor** **Datum** ein und wählen Sie **Hinzufügen** aus. 1. Aktivieren Sie „**Ab dem Zeitpunkt des Eingangs**“. Behalten Sie für alle anderen Einstellungen die Standardwerte bei. 1. Wählen Sie **Weiter** aus. 1. Konfigurieren Sie die Senkendetails. Wählen Sie als **OpenSearch Ressourcentyp** **Collection (Serverless)** aus. Wählen Sie dann die OpenSearch Servicesammlung aus, die Sie im vorherigen Abschnitt erstellt haben. Behalten Sie den Namen der Netzwerkrichtlinie als Standard bei. Geben Sie als **Indexname** **my\$1logs** ein. OpenSearch Ingestion erstellt diesen Index automatisch in der Sammlung, falls er noch nicht vorhanden ist. 1. Wählen Sie **Weiter** aus. 1. Benennen Sie die Pipeline. **ingestion-pipeline-serverless** Behalten Sie die Standardwerte für die Kapazitätseinstellungen bei. 1. Wählen Sie für **Pipeline-Rolle** die Option **Neue Servicerolle erstellen und verwenden** aus. Die Pipeline-Rolle stellt die erforderlichen Berechtigungen für eine Pipeline bereit, um in die Sammelsenke zu schreiben und aus Pull-basierten Quellen zu lesen. Wenn Sie diese Option auswählen, ermöglichen Sie OpenSearch Ingestion, die Rolle für Sie zu erstellen, anstatt sie manuell in IAM zu erstellen. Weitere Informationen finden Sie unter [Rollen und Benutzer in Amazon OpenSearch Ingestion einrichten](pipeline-security-overview.md). 1. Geben Sie als **Suffix für den Namen der Servicerolle** den Wert ein. **PipelineRole** In IAM wird die Rolle das Format haben. `arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole` 1. Wählen Sie **Weiter** aus. Überprüfen Sie Ihre Pipeline-Konfiguration und wählen Sie **Pipeline erstellen** aus. Es dauert 5—10 Minuten, bis die Pipeline aktiv wird. ## Schritt 3: Nehmen Sie einige Beispieldaten auf Wenn der Pipeline-Status lautet`Active`, können Sie damit beginnen, Daten in die Pipeline aufzunehmen. Sie müssen alle HTTP-Anfragen an die Pipeline mit [Signature Version 4](https://docs.aws.amazon.com/general/latest/gr/signature-version-4.html) signieren. Verwenden Sie ein HTTP-Tool wie [Postman](https://www.getpostman.com/) oder [awscurl](https://github.com/okigan/awscurl), um einige Daten an die Pipeline zu senden. [Wie bei der direkten Indizierung von Daten für eine Sammlung ist auch für die Aufnahme von Daten in eine Pipeline immer entweder eine IAM-Rolle oder ein IAM-Zugriffsschlüssel und ein geheimer Schlüssel erforderlich.](https://docs.aws.amazon.com/powershell/latest/userguide/pstools-appendix-sign-up.html) **Anmerkung** Der Principal, der die Anfrage signiert, muss über die IAM-Berechtigung verfügen. `osis:Ingest` Rufen Sie zunächst die Aufnahme-URL von der Seite mit den **Pipeline-Einstellungen** ab: ![\[Pipeline settings page showing ingestion URL and other configuration details.\]](http://docs.aws.amazon.com/de_de/opensearch-service/latest/developerguide/images/pipeline-endpoint.png) Senden Sie dann einige Beispieldaten an den Aufnahmepfad. Die folgende Beispielanforderung verwendet [awscurl](https://github.com/okigan/awscurl), um eine einzelne Protokolldatei an die Pipeline zu senden: ``` awscurl --service osis --region us-east-1 \ -X POST \ -H "Content-Type: application/json" \ -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \ https://pipeline-endpoint.us-east-1.osis.amazonaws.com/logs ``` Sie sollten eine `200 OK` Antwort sehen. Fragen Sie nun den `my_logs` Index ab, um sicherzustellen, dass der Protokolleintrag erfolgreich aufgenommen wurde: ``` awscurl --service aoss --region us-east-1 \ -X GET \ https://collection-id.us-east-1.aoss.amazonaws.com/my_logs/_search | json_pp ``` **Beispielantwort**: ``` { "took":348, "timed_out":false, "_shards":{ "total":0, "successful":0, "skipped":0, "failed":0 }, "hits":{ "total":{ "value":1, "relation":"eq" }, "max_score":1.0, "hits":[ { "_index":"my_logs", "_id":"1%3A0%3ARJgDvIcBTy5m12xrKE-y", "_score":1.0, "_source":{ "time":"2014-08-11T11:40:13+00:00", "remote_addr":"122.226.223.69", "status":"404", "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1", "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)", "@timestamp":"2023-04-26T05:22:16.204Z" } } ] } } ``` ## Zugehörige Ressourcen In diesem Tutorial wurde ein einfacher Anwendungsfall für die Aufnahme eines einzelnen Dokuments über HTTP vorgestellt. In Produktionsszenarien konfigurieren Sie Ihre Client-Anwendungen (wie Fluent Bit, Kubernetes oder OpenTelemetry Collector) so, dass Daten an eine oder mehrere Pipelines gesendet werden. Ihre Pipelines werden wahrscheinlich komplexer sein als das einfache Beispiel in diesem Tutorial. Informationen zu den ersten Schritten zur Konfiguration Ihrer Clients und zur Datenaufnahme finden Sie in den folgenden Ressourcen: + [Pipelines erstellen und verwalten](creating-pipeline.md#create-pipeline) + [Konfiguration Ihrer Clients für das Senden von Daten an Ingestion OpenSearch ](configure-client.md) + [Data Prepper-Dokumentation](https://opensearch.org/docs/latest/clients/data-prepper/index/)