Menggunakan pipa OpenSearch Ingestion dengan Fluentd - OpenSearch Layanan Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan pipa OpenSearch Ingestion dengan Fluentd

Fluentd adalah ekosistem pengumpulan data open-source yang menyediakan SDKs berbagai bahasa dan sub-proyek seperti Fluent Bit. Contoh file konfigurasi Fluentd ini mengirimkan data log dari Fluentd ke pipeline Ingestion. OpenSearch Untuk informasi selengkapnya tentang menelan data log, lihat Analisis Log di dokumentasi Penyedia Data.

Perhatikan hal berikut:

  • endpointNilainya harus menjadi titik akhir pipeline Anda. Misalnya, pipeline-endpoint.us-east-1.osis.amazonaws.com/apache-log-pipeline/logs.

  • Nilai aws_service haruslah osis.

  • aws_role_arnNilai adalah AWS IAM peran bagi klien untuk berasumsi dan digunakan untuk otentikasi Signature Version 4. ARN

<source>
  @type tail
  path logs/sample.log
  path_key log
  tag apache
  <parse>
    @type none
  </parse>
</source>

<filter apache>
  @type record_transformer
  <record>
    log ${record["message"]}
  </record>
</filter>

<filter apache>
  @type record_transformer
  remove_keys message
</filter>

<match apache>
  @type http
  endpoint pipeline-endpoint.us-east-1.osis.amazonaws.com/apache-log-pipeline/logs
  json_array true

  <auth>
    method aws_sigv4
    aws_service osis
    aws_region us-east-1
    aws_role_arn arn:aws:iam::{account-id}:role/ingestion-role
  </auth>

  <format>
    @type json
  </format>
  
  <buffer>
    flush_interval 1s
  </buffer>
</match>

Anda kemudian dapat mengonfigurasi pipeline OpenSearch Ingestion seperti berikut ini, yang memiliki HTTP sumber:

version: "2"
apache-log-pipeline:
  source:
    http:
      path: "/${pipelineName}/logs"
  processor:
    - grok:
        match:
          log:
            - "%{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:network_node} %{NOTSPACE:network_host} %{IPORHOST:source_ip}:%{NUMBER:source_port:int} -> %{IPORHOST:destination_ip}:%{NUMBER:destination_port:int} %{GREEDYDATA:details}"
  sink:
    - opensearch:
        hosts: ["https://search-domain-endpoint.us-east-1.es.amazonaws.com"]
        index: "index_name"
        aws_sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
        aws_region: "us-east-1"
        aws_sigv4: true