Verwenden Sie eine OpenSearch Ingestion-Pipeline mit Fluent Bit - OpenSearch Amazon-Dienst

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie eine OpenSearch Ingestion-Pipeline mit Fluent Bit

Diese Fluent Bit-Beispielkonfigurationsdatei sendet Protokolldaten von Fluent Bit an eine Ingestion-Pipeline. OpenSearch Weitere Informationen zur Erfassung von Protokolldaten finden Sie unter Log Analytics in der Data Prepper-Dokumentation.

Beachten Sie Folgendes:

  • Der host Wert muss Ihr Pipeline-Endpunkt sein. Beispiel, pipeline-endpoint.us-east-1.osis.amazonaws.com.

  • Der aws_service-Wert muss osis lauten.

  • Der aws_role_arn Wert entspricht ARN der AWS IAM Rolle, die der Client übernehmen und für die Authentifizierung mit Signature Version 4 verwenden soll.

[INPUT]
  name                  tail
  refresh_interval      5
  path                  /var/log/test.log
  read_from_head        true

[OUTPUT]
  Name http 
  Match *
  Host pipeline-endpoint.us-east-1.osis.amazonaws.com
  Port 443
  URI /log/ingest
  Format json
  aws_auth true
  aws_region us-east-1
  aws_service osis
  aws_role_arn arn:aws:iam::{account-id}:role/ingestion-role
  Log_Level trace
  tls On

Anschließend können Sie eine OpenSearch Ingestion-Pipeline wie die folgende konfigurieren, die HTTP als Quelle verwendet wird:

version: "2"
unaggregated-log-pipeline:
  source:
    http:
      path: "/log/ingest"
  processor:
    - grok:
        match:
          log:
            - "%{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:network_node} %{NOTSPACE:network_host} %{IPORHOST:source_ip}:%{NUMBER:source_port:int} -> %{IPORHOST:destination_ip}:%{NUMBER:destination_port:int} %{GREEDYDATA:details}"
    - grok:
        match:
          details:
            - "'%{NOTSPACE:http_method} %{NOTSPACE:http_uri}' %{NOTSPACE:protocol}"
            - "TLS%{NOTSPACE:tls_version} %{GREEDYDATA:encryption}"
            - "%{NUMBER:status_code:int} %{NUMBER:response_size:int}"
    - delete_entries:
        with_keys: ["details", "log"]

  sink:
    - opensearch:
        hosts: ["https://search-domain-endpoint.us-east-1.es.amazonaws.com"]
        index: "index_name"
        index_type: custom
        bulk_size: 20
        aws:
          # IAM role that the pipeline assumes to access the domain sink
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-east-1"