View a markdown version of this page

Menggunakan pipeline Ing OpenSearch estion dengan Fluent Bit - OpenSearch Layanan Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan pipeline Ing OpenSearch estion dengan Fluent Bit

Contoh file konfigurasi Fluent Bit ini mengirimkan data log dari Fluent Bit ke pipeline Ing OpenSearch estion. Untuk informasi selengkapnya tentang menelan data log, lihat Log Analytics di dokumentasi Data Prepper.

Perhatikan hal-hal berikut:

  • hostNilai harus menjadi titik akhir pipeline Anda. Misalnya, pipeline-endpoint.us-east-1osis.amazonaws.com.

  • Nilai aws_service haruslah osis.

  • Nil aws_role_arn ainya adalah ARN dari peran AWS IAM bagi klien untuk diasumsikan dan digunakan untuk otentikasi Signature Versi 4.

[INPUT]
  name                  tail
  refresh_interval      5
  path                  /var/log/test.log
  read_from_head        true

[OUTPUT]
  Name http
  Match *
  Host pipeline-endpoint.us-east-1osis.amazonaws.com
  Port 443
  URI /log/ingest
  Format json
  aws_auth true
  aws_region region
  aws_service osis
  aws_role_arn arn:aws:iam::account-id:role/ingestion-role
  Log_Level trace
  tls On

Anda kemudian dapat mengonfigurasi OpenSearch pipeline Ingestion seperti berikut, yang memiliki HTTP sebagai sumbernya:

version: "2"
unaggregated-log-pipeline:
  source:
    http:
      path: "/log/ingest"
  processor:
    - grok:
        match:
          log:
            - "%{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:network_node} %{NOTSPACE:network_host} %{IPORHOST:source_ip}:%{NUMBER:source_port:int} -> %{IPORHOST:destination_ip}:%{NUMBER:destination_port:int} %{GREEDYDATA:details}"
    - grok:
        match:
          details:
            - "'%{NOTSPACE:http_method} %{NOTSPACE:http_uri}' %{NOTSPACE:protocol}"
            - "TLS%{NOTSPACE:tls_version} %{GREEDYDATA:encryption}"
            - "%{NUMBER:status_code:int} %{NUMBER:response_size:int}"
    - delete_entries:
        with_keys: ["details", "log"]

  sink:
    - opensearch:
        hosts: ["https://search-domain-endpoint.us-east-1es.amazonaws.com"]
        index: "index_name"
        index_type: custom
        bulk_size: 20
        aws:
          region: "region"