View a markdown version of this page

Verwenden einer OpenSearch Ingestion-Pipeline mit Fluent Bit - OpenSearch Amazon-Dienst

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden einer OpenSearch Ingestion-Pipeline mit Fluent Bit

Diese Beispiel-Fluent Bit-Konfigurationsdatei sendet Protokolldaten von Fluent Bit an eine Ingestion-Pipeline. OpenSearch Weitere Informationen zum Aufnehmen von Protokolldaten finden Sie unter Log Analytics in der Data Prepper-Dokumentation.

Beachten Sie Folgendes:

  • Der host Wert muss Ihr Pipeline-Endpunkt sein. Beispiel, pipeline-endpoint.us-east-1osis.amazonaws.com.

  • Der aws_service-Wert muss osis lauten.

  • Der aws_role_arn Wert ist der ARN der AWS IAM-Rolle, die der Client für die Signature Version 4-Authentifizierung übernehmen und verwenden muss.

[INPUT]
  name                  tail
  refresh_interval      5
  path                  /var/log/test.log
  read_from_head        true

[OUTPUT]
  Name http
  Match *
  Host pipeline-endpoint.us-east-1osis.amazonaws.com
  Port 443
  URI /log/ingest
  Format json
  aws_auth true
  aws_region region
  aws_service osis
  aws_role_arn arn:aws:iam::account-id:role/ingestion-role
  Log_Level trace
  tls On

Anschließend können Sie eine OpenSearch Ingestion-Pipeline wie die folgende konfigurieren, die HTTP als Quelle hat:

version: "2"
unaggregated-log-pipeline:
  source:
    http:
      path: "/log/ingest"
  processor:
    - grok:
        match:
          log:
            - "%{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:network_node} %{NOTSPACE:network_host} %{IPORHOST:source_ip}:%{NUMBER:source_port:int} -> %{IPORHOST:destination_ip}:%{NUMBER:destination_port:int} %{GREEDYDATA:details}"
    - grok:
        match:
          details:
            - "'%{NOTSPACE:http_method} %{NOTSPACE:http_uri}' %{NOTSPACE:protocol}"
            - "TLS%{NOTSPACE:tls_version} %{GREEDYDATA:encryption}"
            - "%{NUMBER:status_code:int} %{NUMBER:response_size:int}"
    - delete_entries:
        with_keys: ["details", "log"]

  sink:
    - opensearch:
        hosts: ["https://search-domain-endpoint.us-east-1es.amazonaws.com"]
        index: "index_name"
        index_type: custom
        bulk_size: 20
        aws:
          region: "region"