Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menggunakan pipa Ing OpenSearch estion dengan OpenTelemetry Collector
Anda dapat menggunakan OpenTelemetry Collector
Topik
Prasyarat
Saat menyiapkan file OpenTelemetry konfigurasi
-
Peran penyerapan memerlukan
osis:Ingestizin untuk berinteraksi dengan pipa. Untuk informasi selengkapnya, lihat Peran konsumsi. -
Nilai titik akhir harus menyertakan titik akhir pipeline Anda. Sebagai contoh,
https://pipeline-endpoint.us-east-1.osis.amazonaws.com.. -
Nilai layanan harus
osis. -
Opsi kompresi untuk Ek OTLP/HTTP sportir harus sesuai dengan opsi kompresi pada sumber pipa yang dipilih.
extensions: sigv4auth: region: "region" service: "osis" exporters: otlphttp: logs_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/logs" metrics_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/metrics" traces_endpoint: "https://pipeline-endpoint.us-east-1.osis.amazonaws.com/v1/traces" auth: authenticator: sigv4auth compression: none service: extensions: [sigv4auth] pipelines: traces: receivers: [jaeger] exporters: [otlphttp]
Langkah 1: Konfigurasikan peran pipeline
Setelah menyiapkan konfigurasi OpenTelemetry kolektor, atur peran pipeline yang ingin Anda gunakan dalam konfigurasi pipeline Anda. Tidak ada izin khusus yang dibutuhkan peran pipeline untuk sumber OTLP, hanya izin untuk memberikan akses pipeline ke OpenSearch domain atau koleksi.
Langkah 2: Buat pipa
Anda kemudian dapat mengonfigurasi OpenSearch pipeline Ingestion seperti berikut, yang menentukan OTLP sebagai sumbernya. Anda juga dapat mengonfigurasi OpenTelemetry log, metrik, dan jejak sebagai sumber individual.
Konfigurasi saluran sumber OTLP:
version: 2 otlp-pipeline: source: otlp: logs_path: /otlp-pipeline/v1/logs traces_path: /otlp-pipeline/v1/traces metrics_path: /otlp-pipeline/v1/metrics sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"
OpenTelemetry Konfigurasi pipa log:
version: 2 otel-logs-pipeline: source: otel_logs_source: path: /otel-logs-pipeline/v1/logs sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"
OpenTelemetry Konfigurasi pipeline metrik:
version: 2 otel-metrics-pipeline: source: otel_metrics_source: path: /otel-metrics-pipeline/v1/metrics sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"
OpenTelemetry Melacak konfigurasi pipa:
version: 2 otel-trace-pipeline: source: otel_trace_source: path: /otel-traces-pipeline/v1/traces sink: - opensearch: hosts: ["https://search-mydomain.region.es.amazonaws.com"] index: "ss4o_metrics-otel-%{yyyy.MM.dd}" index_type: custom aws: region: "region"
Anda dapat menggunakan cetak biru yang telah dikonfigurasi sebelumnya untuk membuat pipeline ini. Untuk informasi selengkapnya, lihat Bekerja dengan cetak biru.
Cross-account Konektivitas
OpenSearch Saluran pipa penyerapan dengan OpenTelemetry sumber memiliki kemampuan konsumsi lintas akun. Amazon OpenSearch Ingestion memungkinkan Anda berbagi pipeline Akun AWS dari cloud pribadi virtual (VPC) ke titik akhir pipeline di VPC terpisah. Untuk informasi selengkapnya, lihat Mengkonfigurasi pipeline OpenSearch Ingestion untuk konsumsi lintas akun.
Batasan
Pipeline OpenSearch Ingestion tidak dapat menerima permintaan apa pun yang lebih besar dari 20mb. Nilai ini dikonfigurasi oleh pengguna dalam max_request_length opsi. Opsi ini default ke 10mb.
CloudWatch Alarm yang Disarankan untuk OpenTelemetry Sumber
CloudWatch Metrik berikut direkomendasikan untuk memantau kinerja pipeline konsumsi Anda. Metrik ini dapat membantu Anda mengidentifikasi jumlah data yang diproses dari ekspor, jumlah peristiwa yang diproses dari aliran, kesalahan dalam memproses ekspor dan peristiwa aliran, dan jumlah dokumen yang ditulis ke tujuan. Anda dapat mengatur CloudWatch alarm untuk melakukan tindakan ketika salah satu metrik ini melebihi nilai yang ditentukan untuk jangka waktu tertentu.
Met CloudWatch rik untuk sumber OTLP diformat sebagai{pipeline-name}.otlp.{logs | traces | metrics}.{metric-name}. Misalnya, otel-pipeline.otlp.metrics.requestTimeouts.count.
Dalam hal menggunakan OpenTelemetry sumber individual, metrik akan diformat sebagai{pipeline-name}.{source-name}.{metric-name}. Misalnya, trace-pipeline.otel_trace_source.requestTimeouts.count.
Ketiga OpenTelemetry tipe data akan memiliki metrik yang sama, tetapi untuk singkatnya metrik hanya akan tercantum dalam tabel di bawah ini untuk data tipe log sumber OTLP.
| Metrik | Deskripsi |
|---|---|
otel-pipeline.BlockingBuffer.bufferUsage.value |
Menunjukkan berapa banyak buffer yang digunakan. |
otel-pipeline.otlp.logs.requestTimeouts.count
|
Jumlah permintaan yang telah habis waktunya. |
otel-pipeline.otlp.logs.requestsReceived.count
|
Jumlah permintaan yang diterima oleh OpenTelemetry Kolektor. |
otel-pipeline.otlp.logs.badRequests.count
|
Jumlah permintaan cacat yang diterima oleh OpenTelemetry Kolektor. |
otel-pipeline.otlp.logs.requestsTooLarge.count
|
Jumlah permintaan lebih besar dari maksimum 20mb yang diterima oleh OpenTelemetry Kolektor. |
otel-pipeline.otlp.logs.internalServerError.count
|
Jumlah kesalahan HTTP 500 yang diterima dari OpenTelemetry Kolektor. |
otel-pipeline.opensearch.bulkBadRequestErrors.count
|
Hitungan kesalahan selama permintaan massal karena permintaan yang salah format. |
otel-pipeline.opensearch.bulkRequestLatency.avg
|
Latensi rata-rata untuk permintaan penulisan massal yang dibuat ke OpenSearch. |
otel-pipeline.opensearch.bulkRequestNotFoundErrors.count
|
Jumlah permintaan massal yang gagal karena data target tidak dapat ditemukan. |
otel-pipeline.opensearch.bulkRequestNumberOfRetries.count
|
Jumlah percobaan ulang oleh pipeline Ing OpenSearch estion untuk menulis OpenSearch cluster. |
otel-pipeline.opensearch.bulkRequestSizeBytes.sum
|
Ukuran total dalam byte dari semua permintaan massal yang dibuat ke OpenSearch. |
otel-pipeline.opensearch.documentErrors.count
|
Jumlah kesalahan saat mengirim dokumen ke OpenSearch. Dokumen yang menyebabkan kesalahan akan dikirim ke DLQ. |
otel-pipeline.opensearch.documentsSuccess.count
|
Jumlah dokumen yang berhasil ditulis ke OpenSearch cluster atau koleksi. |
otel-pipeline.opensearch.documentsSuccessFirstAttempt.count
|
Jumlah dokumen yang berhasil diindeks OpenSearch pada upaya pertama. |
|
|
Hitungan kesalahan karena konflik versi dalam dokumen selama pemrosesan. |
|
|
Latensi rata-rata OpenSearch pipeline Ingestion untuk memproses data dengan membaca dari sumber hingga menulis ke tujuan. |
otel-pipeline.opensearch.PipelineLatency.max
|
Latensi maksimum OpenSearch pipeline Ingestion untuk memproses data dengan membaca dari sumber untuk menulis tujuan. |
otel-pipeline.opensearch.recordsIn.count
|
Hitungan catatan yang berhasil dicerna OpenSearch. Metrik ini sangat penting untuk melacak volume data yang diproses dan disimpan. |
otel-pipeline.opensearch.s3.dlqS3RecordsFailed.count
|
Jumlah catatan yang gagal menulis ke DLQ. |
otel-pipeline.opensearch.s3.dlqS3RecordsSuccess.count
|
Jumlah catatan yang ditulis ke DLQ. |
otel-pipeline.opensearch.s3.dlqS3RequestLatency.count
|
Hitungan pengukuran latensi untuk permintaan ke antrian huruf mati Amazon S3. |
otel-pipeline.opensearch.s3.dlqS3RequestLatency.sum
|
Latensi total untuk semua permintaan ke antrian huruf mati Amazon S3 |
otel-pipeline.opensearch.s3.dlqS3RequestSizeBytes.sum
|
Ukuran total dalam byte dari semua permintaan yang dibuat ke antrian huruf mati Amazon S3. |
otel-pipeline.recordsProcessed.count
|
Jumlah total catatan yang diproses dalam pipeline, metrik utama untuk throughput keseluruhan. |
|
|
Hitungan kesalahan permintaan massal OpenSearch karena input yang tidak valid, penting untuk memantau kualitas data dan masalah operasional. |