Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Laden von Daten in Amazon OpenSearch Service mit

Die Open-Source-Version von Logstash (Logstash OSS) bietet eine bequeme Möglichkeit, die Massen-API zum Hochladen von Daten in Ihre OpenSearch Amazon--Service-Domäne zu verwenden. Der Service unterstützt alle Standard-Logstash-Eingabe-Plug-Ins, einschließlich des Amazon-S3-Eingabe-Plug-Ins. OpenSearch Der Dienst unterstützt das logstash-output-opensearchAusgabe-Plugin, das sowohl die grundlegende Authentifizierung als auch IAM-Anmeldeinformationen unterstützt. Das Plugin arbeitet mit Version 8.1 und niedriger von Logstash OSS.

Konfiguration

Die Logstash-Konfiguration variiert je nach Art der Authentifizierung, die Ihre Domäne verwendet.

Unabhängig davon, welche Authentifizierungsmethode Sie verwenden, müssen Sie im Abschnitt output der Konfigurationsdatei ecs_compatibility auf disabled festlegen. Logstash 8.0 führte eine bahnbrechende Änderung ein, bei der alle Plugins standardmäßig im ECS-Kompatibilitätsmodus ausgeführt werden. Sie müssen den Standard überschreiben, um das Legacy-Verhalten beizubehalten.

Differenzierte Zugriffskontrolle

Wenn Ihre OpenSearch Dienstdomäne eine differenzierte Zugriffskontrolle mit HTTP-Standardauthentifizierung verwendet, ähnelt die Konfiguration jedem anderen OpenSearch Cluster. Diese Beispielkonfigurationsdatei übernimmt ihre Eingabe aus der Open-Source-Version von Filebeat (Filebeat OSS):

input {
  beats  {
    port => 5044
  }
}

output {
  opensearch {
    hosts       => "https://domain-endpoint:443"
    user        => "my-username"
    password    => "my-password"
    index       => "logstash-logs-%{+YYYY.MM.dd}"
    ecs_compatibility => disabled
    ssl_certificate_verification => false
  }
}

Die Konfiguration variiert je nach Beats-Anwendung und Anwendungsfall, aber Ihre Filebeat-OSS-Konfiguration könnte folgendermaßen aussehen:

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /path/to/logs/dir/*.log
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.ilm.enabled: false
setup.ilm.check_exists: false
setup.template.settings:
  index.number_of_shards: 1
output.logstash:
  hosts: ["logstash-host:5044"]

IAM-Konfiguration

Wenn Ihre Domäne eine IAM-basierte Domänenzugriffsrichtlinie oder eine differenzierte Zugriffskontrolle mit einem Haupt-Benutzer verwendet, müssen Sie alle Anforderungen an den OpenSearch Service mit IAM-Anmeldeinformationen signieren. Die folgende identitätsbasierte Richtlinie gewährt alle HTTP-Anforderungen an die Unterressourcen Ihrer Domäne.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "es:ESHttp*"
      ],
      "Resource": "arn:aws:es:region:aws-account-id:domain/domain-name/*"
    }
  ]
}

Um Ihre Logstash-Konfiguration zu ändern, ändern Sie Ihre Konfigurationsdatei, um das Plug-In für seine Ausgabe zu verwenden. Diese Beispielkonfigurationsdatei übernimmt ihre Eingabe von Dateien in einem S3-Bucket:

input {
  s3 {
    bucket => "my-s3-bucket"
    region => "us-east-1"
  }
}

output {        
  opensearch {     
    hosts => ["domain-endpoint:443"]             
    auth_type => {    
      type => 'aws_iam'     
      aws_access_key_id => 'your-access-key'     
      aws_secret_access_key => 'your-secret-key'     
      region => 'us-east-1'         
      }         
      index  => "logstash-logs-%{+YYYY.MM.dd}"  
      ecs_compatibility => disabled    
  }            
}

Wenn Sie Ihre IAM-Anmeldeinformationen nicht in der Konfigurationsdatei angeben möchten, können Sie sie exportieren (oder aws configure ausführen):

export AWS_ACCESS_KEY_ID="your-access-key"
export AWS_SECRET_ACCESS_KEY="your-secret-key"
export AWS_SESSION_TOKEN="your-session-token"

Wenn sich Ihre OpenSearch Service-Domäne in einer VPC befindet, muss die Logstash-OSS-Maschine eine Verbindung zur VPC herstellen und über die VPC-Sicherheitsgruppen Zugriff auf die Domäne haben. Weitere Informationen finden Sie unter Informationen zu Zugriffsrichtlinien für Domänen VPC.