Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon OpenSearch Ingestion-Pipelines Zugriff auf Sammlungen gewähren

Eine Amazon OpenSearch Ingestion-Pipeline kann in eine OpenSearch serverlose öffentliche Sammlung oder Sammlung schreiben. VPC Um Zugriff auf die Sammlung zu gewähren, konfigurieren Sie eine Pipeline-Rolle AWS Identity and Access Management (IAM) mit einer Berechtigungsrichtlinie, die Zugriff auf die Sammlung gewährt. Bevor Sie die Rolle in Ihrer Pipeline-Konfiguration angeben, müssen Sie sie mit einer entsprechenden Vertrauensstellung konfigurieren und ihr dann Datenzugriffsberechtigungen über eine Datenzugriffsrichtlinie gewähren.

Während der Pipelineerstellung stellt OpenSearch Ingestion eine AWS PrivateLink Verbindung zwischen der Pipeline und der OpenSearch Serverless-Sammlung her. Der gesamte Datenverkehr von der Pipeline durchläuft diesen VPC Endpunkt und wird an die Sammlung weitergeleitet. Um die Sammlung zu erreichen, muss dem Endpunkt über eine Netzwerkzugriffsrichtlinie Zugriff auf die Sammlung gewährt werden.

Bereitstellung des Netzwerkzugriffs auf Pipelines

Jeder Sammlung, die Sie in OpenSearch Serverless erstellen, ist mindestens eine Netzwerkzugriffsrichtlinie zugeordnet. Netzwerkzugriffsrichtlinien bestimmen, ob auf die Sammlung über das Internet von öffentlichen Netzwerken aus zugegriffen werden kann oder ob privat darauf zugegriffen werden muss. Weitere Informationen zu Netzwerkrichtlinien finden Sie unterNetzwerkzugriff für Amazon OpenSearch Serverless.

In einer Netzwerkzugriffsrichtlinie können Sie nur serverlos verwaltete OpenSearch Endpunkte angeben. VPC Weitere Informationen finden Sie unter Greifen Sie über einen Schnittstellenendpunkt auf Amazon OpenSearch Serverless zu ()AWS PrivateLink. Damit die Pipeline jedoch in die Sammlung schreiben kann, muss die Richtlinie auch Zugriff auf den VPC Endpunkt gewähren, den OpenSearch Ingestion automatisch zwischen der Pipeline und der Sammlung erstellt. Wenn Sie also eine Pipeline mit einer OpenSearch serverlosen Sammelsenke erstellen, müssen Sie mithilfe der Option den Namen der zugehörigen Netzwerkrichtlinie angeben. network_policy_name

Beispielsweise:

...
sink:
   - opensearch:
       hosts: [ "https://collection-id.region.aoss.amazonaws.com" ]
       index: "my-index"
        aws:
          serverless: true
          serverless_options:
            network_policy_name: "network-policy-name"

Bei der Erstellung der Pipeline überprüft OpenSearch Ingestion, ob die angegebene Netzwerkrichtlinie vorhanden ist. Wenn sie nicht existiert, wird sie von OpenSearch Ingestion erstellt. Falls sie existiert, aktualisiert OpenSearch Ingestion sie, indem ihr eine neue Regel hinzugefügt wird. Die Regel gewährt Zugriff auf den VPC Endpunkt, der die Pipeline und die Sammlung verbindet.

Beispielsweise:

{
   "Rules":[
      {
         "Resource":[
            "collection/my-collection"
         ],
         "ResourceType":"collection"
      }
   ],
   "SourceVPCEs":[
      "vpce-0c510712627e27269" # The ID of the VPC endpoint that OpenSearch Ingestion creates between the pipeline and collection
   ],
   "Description":"Created by Data Prepper"
}

In der Konsole erhalten alle Regeln, die OpenSearch Ingestion Ihren Netzwerkrichtlinien hinzufügt, den Namen Erstellt von Data Prepper:

Wenn Sie die Pipeline beenden oder löschen, löscht OpenSearch Ingestion den VPC Endpunkt zwischen der Pipeline und der Sammlung. Außerdem wird die Netzwerkrichtlinie geändert, um den VPC Endpunkt aus der Liste der zulässigen Endpunkte zu entfernen. Wenn Sie die Pipeline neu starten, erstellt sie den VPC Endpunkt neu und aktualisiert die Netzwerkrichtlinie erneut mit der Endpunkt-ID.

Schritt 1: Erstellen Sie eine Pipeline-Rolle

Für die Rolle, die Sie im Parameter sts_role_arn einer Pipeline-Konfiguration angeben, muss eine Berechtigungsrichtlinie angehängt sein, die es ihr ermöglicht, Daten an die Sammlungssenke zu senden. Außerdem muss sie über eine Vertrauensstellung verfügen, die es OpenSearch Ingestion ermöglicht, die Rolle zu übernehmen. Anweisungen zum Anhängen einer Richtlinie an eine Rolle finden Sie unter Hinzufügen von IAM Identitätsberechtigungen im IAMBenutzerhandbuch.

Die folgende Beispielrichtlinie zeigt die geringste Berechtigung, die Sie in der Rolle sts_role_arn einer Pipeline-Konfiguration für das Schreiben in Sammlungen bereitstellen können:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Statement1",
            "Effect": "Allow",
            "Action": [
                "aoss:APIAccessAll",
                "aoss:BatchGetCollection",
                "aoss:CreateSecurityPolicy",
                "aoss:GetSecurityPolicy",
                "aoss:UpdateSecurityPolicy"
            ],
            "Resource": "*"
        }
    ]
}  

Die Rolle muss über die folgende Vertrauensstellung verfügen, damit Ingestion sie übernehmen kann OpenSearch :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "osis-pipelines.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Schritt 2: Erstellen einer Sammlung

Erstellen Sie eine OpenSearch serverlose Sammlung mit den folgenden Einstellungen. Anweisungen zum Erstellen einer Sammlung finden Sie unterErstellen von Sammlungen.

Richtlinie für den Datenzugriff

Erstellen Sie eine Datenzugriffsrichtlinie für die Sammlung, die der Pipeline-Rolle die erforderlichen Berechtigungen gewährt. Beispielsweise:

[
  {
    "Rules": [
      {
        "Resource": [
          "index/collection-name/*"
        ],
        "Permission": [
          "aoss:CreateIndex",
          "aoss:UpdateIndex",
          "aoss:DescribeIndex",
          "aoss:WriteDocument"
        ],
        "ResourceType": "index"
      }
    ],
    "Principal": [
      "arn:aws:iam::account-id:role/pipeline-role"
    ],
    "Description": "Pipeline role access"
  }
]

Richtlinie für den Netzwerkzugriff

Erstellen Sie eine Netzwerkzugriffsrichtlinie für die Sammlung. Sie können Daten in eine öffentliche Sammlung oder eine VPC Sammlung aufnehmen. Die folgende Richtlinie ermöglicht beispielsweise den Zugriff auf einen einzelnen OpenSearch VPC serverlos verwalteten Endpunkt:

[
   {
      "Description":"Rule 1",
      "Rules":[
         {
            "ResourceType":"collection",
            "Resource":[
               "collection/collection-name"
            ]
         }
      ],
      "AllowFromPublic": false,
      "SourceVPCEs":[
         "vpce-050f79086ee71ac05"
      ]
   }
]

Schritt 3: Erstellen Sie eine Pipeline

Erstellen Sie abschließend eine Pipeline, in der Sie die Pipeline-Rolle und die Sammlungsdetails angeben. Die Pipeline übernimmt diese Rolle, um Anfragen an die OpenSearch Serverless Collection Sink zu signieren.

Stellen Sie Folgendes sicher:

version: "2"
log-pipeline:
  source:
    http:
        path: "/log/ingest"
  processor:
    - date:
        from_time_received: true
        destination: "@timestamp"
  sink:
    - opensearch:
        hosts: [ "https://collection-id.region.aoss.amazonaws.com" ]
        index: "my-index"
        aws:
          serverless: true
          serverless_options:
            network_policy_name: "network-policy-name" # If the policy doesn't exist, a new policy is created.
          region: "us-east-1"
          sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"

Eine vollständige Referenz der erforderlichen und nicht unterstützten Parameter finden Sie unter. Unterstützte Plugins und Optionen für Amazon OpenSearch Ingestion-Pipelines