View a markdown version of this page

Menggunakan pipa Ing OpenSearch estion dengan OpenTelemetry Collector - OpenSearch Layanan Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan pipa Ing OpenSearch estion dengan OpenTelemetry Collector

Anda dapat menggunakan OpenTelemetry Collector untuk mengambil log, jejak, dan metrik ke dalam pipeline Inger OpenSearch tion. Pipeline tunggal dapat digunakan untuk menelan semua log, jejak, dan metrik ke indeks yang berbeda pada domain atau koleksi. Anda juga dapat menggunakan pipeline untuk hanya menelan log, jejak, atau metrik secara individual.

Prasyarat

Saat menyiapkan file OpenTelemetry konfigurasi, Anda harus mengonfigurasi yang berikut agar penyerapan terjadi:

  • Peran penyerapan memerlukan osis:Ingest izin untuk berinteraksi dengan pipa. Untuk informasi selengkapnya, lihat Peran konsumsi.

  • Nilai titik akhir harus menyertakan titik akhir pipeline Anda. Sebagai contoh, https://pipeline-endpoint.us-east-1.osis.amazonaws.com..

  • Nilai layanan harusosis.

  • Opsi kompresi untuk Ek OTLP/HTTP sportir harus sesuai dengan opsi kompresi pada sumber pipa yang dipilih.

extensions: sigv4auth: region: "region" service: "osis" exporters: otlphttp: logs_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/logs" metrics_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/metrics" traces_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/traces" auth: authenticator: sigv4auth compression: none service: extensions: [sigv4auth] pipelines: traces: receivers: [jaeger] exporters: [otlphttp]

Langkah 1: Konfigurasikan peran pipeline

Setelah menyiapkan konfigurasi OpenTelemetry kolektor, atur peran pipeline yang ingin Anda gunakan dalam konfigurasi pipeline Anda. Tidak ada izin khusus yang dibutuhkan peran pipeline untuk sumber OTLP, hanya izin untuk memberikan akses pipeline ke OpenSearch domain atau koleksi.

Langkah 2: Buat pipa

Anda kemudian dapat mengonfigurasi OpenSearch pipeline Ingestion seperti berikut, yang menentukan OTLP sebagai sumbernya. Anda juga dapat mengonfigurasi OpenTelemetry log, metrik, dan jejak sebagai sumber individual.

Konfigurasi saluran sumber OTLP:

version: 2 otlp-pipeline: source: otlp: logs_path: /otlp-pipeline/v1/logs traces_path: /otlp-pipeline/v1/traces metrics_path: /otlp-pipeline/v1/metrics sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"

OpenTelemetry Konfigurasi pipa log:

version: 2 otel-logs-pipeline: source: otel_logs_source: path: /otel-logs-pipeline/v1/logs sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"

OpenTelemetry Konfigurasi pipeline metrik:

version: 2 otel-metrics-pipeline: source: otel_metrics_source: path: /otel-metrics-pipeline/v1/metrics sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"

OpenTelemetry Melacak konfigurasi pipa:

version: 2 otel-trace-pipeline: source: otel_trace_source: path: /otel-traces-pipeline/v1/traces sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"

Anda dapat menggunakan cetak biru yang telah dikonfigurasi sebelumnya untuk membuat pipeline ini. Untuk informasi selengkapnya, lihat Bekerja dengan cetak biru.

Cross-account Konektivitas

OpenSearch Saluran pipa penyerapan dengan OpenTelemetry sumber memiliki kemampuan konsumsi lintas akun. Amazon OpenSearch Ingestion memungkinkan Anda berbagi pipeline Akun AWS dari cloud pribadi virtual (VPC) ke titik akhir pipeline di VPC terpisah. Untuk informasi selengkapnya, lihat Mengkonfigurasi pipeline OpenSearch Ingestion untuk konsumsi lintas akun.

Batasan

Pipeline OpenSearch Ingestion tidak dapat menerima permintaan apa pun yang lebih besar dari 20mb. Nilai ini dikonfigurasi oleh pengguna dalam max_request_length opsi. Opsi ini default ke 10mb.

CloudWatch Alarm yang Disarankan untuk OpenTelemetry Sumber

CloudWatch Metrik berikut direkomendasikan untuk memantau kinerja pipeline konsumsi Anda. Metrik ini dapat membantu Anda mengidentifikasi jumlah data yang diproses dari ekspor, jumlah peristiwa yang diproses dari aliran, kesalahan dalam memproses ekspor dan peristiwa aliran, dan jumlah dokumen yang ditulis ke tujuan. Anda dapat mengatur CloudWatch alarm untuk melakukan tindakan ketika salah satu metrik ini melebihi nilai yang ditentukan untuk jangka waktu tertentu.

Met CloudWatch rik untuk sumber OTLP diformat sebagai{pipeline-name}.otlp.{logs | traces | metrics}.{metric-name}. Misalnya, otel-pipeline.otlp.metrics.requestTimeouts.count.

Dalam hal menggunakan OpenTelemetry sumber individual, metrik akan diformat sebagai{pipeline-name}.{source-name}.{metric-name}. Misalnya, trace-pipeline.otel_trace_source.requestTimeouts.count.

Ketiga OpenTelemetry tipe data akan memiliki metrik yang sama, tetapi untuk singkatnya metrik hanya akan tercantum dalam tabel di bawah ini untuk data tipe log sumber OTLP.

Metrik Deskripsi
otel-pipeline.BlockingBuffer.bufferUsage.value

Menunjukkan berapa banyak buffer yang digunakan.

otel-pipeline.otlp.logs.requestTimeouts.count

Jumlah permintaan yang telah habis waktunya.

otel-pipeline.otlp.logs.requestsReceived.count

Jumlah permintaan yang diterima oleh OpenTelemetry Kolektor.

otel-pipeline.otlp.logs.badRequests.count

Jumlah permintaan cacat yang diterima oleh OpenTelemetry Kolektor.

otel-pipeline.otlp.logs.requestsTooLarge.count

Jumlah permintaan lebih besar dari maksimum 20mb yang diterima oleh OpenTelemetry Kolektor.

otel-pipeline.otlp.logs.internalServerError.count Jumlah kesalahan HTTP 500 yang diterima dari OpenTelemetry Kolektor.
otel-pipeline.opensearch.bulkBadRequestErrors.count Hitungan kesalahan selama permintaan massal karena permintaan yang salah format.
otel-pipeline.opensearch.bulkRequestLatency.avg Latensi rata-rata untuk permintaan penulisan massal yang dibuat ke OpenSearch.
otel-pipeline.opensearch.bulkRequestNotFoundErrors.count Jumlah permintaan massal yang gagal karena data target tidak dapat ditemukan.
otel-pipeline.opensearch.bulkRequestNumberOfRetries.count Jumlah percobaan ulang oleh pipeline Ing OpenSearch estion untuk menulis OpenSearch cluster.
otel-pipeline.opensearch.bulkRequestSizeBytes.sum Ukuran total dalam byte dari semua permintaan massal yang dibuat ke OpenSearch.
otel-pipeline.opensearch.documentErrors.count Jumlah kesalahan saat mengirim dokumen ke OpenSearch. Dokumen yang menyebabkan kesalahan akan dikirim ke DLQ.
otel-pipeline.opensearch.documentsSuccess.count Jumlah dokumen yang berhasil ditulis ke OpenSearch cluster atau koleksi.
otel-pipeline.opensearch.documentsSuccessFirstAttempt.count Jumlah dokumen yang berhasil diindeks OpenSearch pada upaya pertama.

otel-pipeline.opensearch.documentsVersionConflictErrors.count

Hitungan kesalahan karena konflik versi dalam dokumen selama pemrosesan.

otel-pipeline.opensearch.PipelineLatency.avg

Latensi rata-rata OpenSearch pipeline Ingestion untuk memproses data dengan membaca dari sumber hingga menulis ke tujuan.
otel-pipeline.opensearch.PipelineLatency.max Latensi maksimum OpenSearch pipeline Ingestion untuk memproses data dengan membaca dari sumber untuk menulis tujuan.
otel-pipeline.opensearch.recordsIn.count Hitungan catatan yang berhasil dicerna OpenSearch. Metrik ini sangat penting untuk melacak volume data yang diproses dan disimpan.
otel-pipeline.opensearch.s3.dlqS3RecordsFailed.count Jumlah catatan yang gagal menulis ke DLQ.
otel-pipeline.opensearch.s3.dlqS3RecordsSuccess.count Jumlah catatan yang ditulis ke DLQ.
otel-pipeline.opensearch.s3.dlqS3RequestLatency.count Hitungan pengukuran latensi untuk permintaan ke antrian huruf mati Amazon S3.
otel-pipeline.opensearch.s3.dlqS3RequestLatency.sum Latensi total untuk semua permintaan ke antrian huruf mati Amazon S3
otel-pipeline.opensearch.s3.dlqS3RequestSizeBytes.sum Ukuran total dalam byte dari semua permintaan yang dibuat ke antrian huruf mati Amazon S3.
otel-pipeline.recordsProcessed.count Jumlah total catatan yang diproses dalam pipeline, metrik utama untuk throughput keseluruhan.

otel-pipeline.opensearch.bulkRequestInvalidInputErrors.count

Hitungan kesalahan permintaan massal OpenSearch karena input yang tidak valid, penting untuk memantau kualitas data dan masalah operasional.