Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menggunakan pipa OpenSearch Ingestion dengan Fluentd
Fluentd adalah ekosistem pengumpulan data open-source yang menyediakan SDKs berbagai bahasa dan sub-proyek seperti Fluent Bit. Contoh file konfigurasi Fluentd
Perhatikan hal berikut:
-
endpoint
Nilainya harus menjadi titik akhir pipeline Anda. Misalnya,
.pipeline-endpoint
.us-east-1.osis.amazonaws.com/apache-log-pipeline/logs -
Nilai
aws_service
haruslahosis
. -
aws_role_arn
Nilai adalah AWS IAM peran bagi klien untuk berasumsi dan digunakan untuk otentikasi Signature Version 4. ARN
<source> @type tail path logs/sample.log path_key log tag apache <parse> @type none </parse> </source> <filter apache> @type record_transformer <record> log ${record["message"]} </record> </filter> <filter apache> @type record_transformer remove_keys message </filter> <match apache> @type http endpoint
pipeline-endpoint
.us-east-1
.osis.amazonaws.com/apache-log-pipeline/logs json_array true <auth> method aws_sigv4 aws_service osis aws_regionus-east-1
aws_role_arn arn:aws:iam::{account-id}
:role/ingestion-role
</auth> <format> @type json </format> <buffer> flush_interval 1s </buffer> </match>
Anda kemudian dapat mengonfigurasi pipeline OpenSearch Ingestion seperti berikut ini, yang memiliki HTTP sumber:
version: "2" apache-log-pipeline: source: http: path: "/${pipelineName}/logs" processor: - grok: match: log: - "%{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:network_node} %{NOTSPACE:network_host} %{IPORHOST:source_ip}:%{NUMBER:source_port:int} -> %{IPORHOST:destination_ip}:%{NUMBER:destination_port:int} %{GREEDYDATA:details}" sink: - opensearch: hosts: ["https://search-
domain-endpoint
.us-east-1
.es.amazonaws.com"] index: "index_name
" aws_sts_role_arn: "arn:aws:iam::{account-id}
:role/pipeline-role
" aws_region: "us-east-1
" aws_sigv4: true