Verwenden einer OpenSearch Ingestion-Pipeline mit Fluentd - OpenSearch Amazon-Dienst

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden einer OpenSearch Ingestion-Pipeline mit Fluentd

Fluentd ist ein Open-Source-Ökosystem zur Datenerfassung, das verschiedene Sprachen und Unterprojekte wie Fluent SDKs Bit bietet. Diese Fluentd-Beispielkonfigurationsdatei sendet Protokolldaten von Fluentd an eine Ingestion-Pipeline. OpenSearch Weitere Informationen zur Erfassung von Protokolldaten finden Sie unter Log Analytics in der Data Prepper-Dokumentation.

Beachten Sie Folgendes:

  • Der endpoint Wert muss Ihr Pipeline-Endpunkt sein. Beispiel, pipeline-endpoint.us-east-1.osis.amazonaws.com/apache-log-pipeline/logs.

  • Der aws_service-Wert muss osis lauten.

  • Der aws_role_arn Wert entspricht ARN der AWS IAM Rolle, die der Client übernehmen und für die Authentifizierung mit Signature Version 4 verwenden soll.

<source>
  @type tail
  path logs/sample.log
  path_key log
  tag apache
  <parse>
    @type none
  </parse>
</source>

<filter apache>
  @type record_transformer
  <record>
    log ${record["message"]}
  </record>
</filter>

<filter apache>
  @type record_transformer
  remove_keys message
</filter>

<match apache>
  @type http
  endpoint pipeline-endpoint.us-east-1.osis.amazonaws.com/apache-log-pipeline/logs
  json_array true

  <auth>
    method aws_sigv4
    aws_service osis
    aws_region us-east-1
    aws_role_arn arn:aws:iam::{account-id}:role/ingestion-role
  </auth>

  <format>
    @type json
  </format>
  
  <buffer>
    flush_interval 1s
  </buffer>
</match>

Anschließend können Sie eine OpenSearch Ingestion-Pipeline wie die folgende konfigurieren, die HTTP als Quelle verwendet wird:

version: "2"
apache-log-pipeline:
  source:
    http:
      path: "/${pipelineName}/logs"
  processor:
    - grok:
        match:
          log:
            - "%{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:network_node} %{NOTSPACE:network_host} %{IPORHOST:source_ip}:%{NUMBER:source_port:int} -> %{IPORHOST:destination_ip}:%{NUMBER:destination_port:int} %{GREEDYDATA:details}"
  sink:
    - opensearch:
        hosts: ["https://search-domain-endpoint.us-east-1.es.amazonaws.com"]
        index: "index_name"
        aws_sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
        aws_region: "us-east-1"
        aws_sigv4: true