MSKPencatatan Amazon - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

MSKPencatatan Amazon

Anda dapat mengirimkan log broker Apache Kafka ke satu atau lebih jenis tujuan berikut: Amazon CloudWatch Log, Amazon S3, Amazon Data Firehose. Anda juga dapat mencatat MSK API panggilan Amazon dengan AWS CloudTrail.

Log broker

Log broker memungkinkan Anda untuk memecahkan masalah aplikasi Apache Kafka Anda dan menganalisis komunikasi mereka dengan cluster Anda. MSK Anda dapat mengonfigurasi MSK klaster baru atau yang sudah ada untuk mengirimkan log broker INFO tingkat -level ke satu atau beberapa jenis sumber daya tujuan berikut: grup CloudWatch log, bucket S3, aliran pengiriman Firehose. Melalui Firehose Anda kemudian dapat mengirimkan data log dari aliran pengiriman Anda ke OpenSearch Layanan. Anda harus membuat sumber daya tujuan sebelum mengonfigurasi klaster Anda untuk mengirimkan log broker ke sana. Amazon MSK tidak membuat sumber daya tujuan ini untuk Anda jika belum ada. Untuk informasi tentang ketiga jenis sumber daya tujuan ini dan cara membuatnya, lihat dokumentasi berikut:

Izin yang diperlukan

Untuk mengonfigurasi tujuan log MSK broker Amazon, IAM identitas yang Anda gunakan untuk MSK tindakan Amazon harus memiliki izin yang dijelaskan dalam AWS kebijakan terkelola: mazonMSKFull Akses kebijakan.

Untuk melakukan streaming log broker ke bucket S3, Anda juga memerlukan s3:PutBucketPolicy izin. Untuk informasi tentang kebijakan bucket S3, lihat Bagaimana Cara Menambahkan Kebijakan Bucket S3? di Panduan Pengguna Amazon S3. Untuk informasi tentang IAM kebijakan secara umum, lihat Manajemen Akses di Panduan IAM Pengguna.

Kebijakan KMS kunci yang diperlukan untuk digunakan dengan SSE - KMS bucket

Jika Anda mengaktifkan enkripsi sisi server untuk bucket S3 menggunakan kunci yang AWS KMS dikelola (SSE-KMS) dengan kunci yang dikelola pelanggan, tambahkan hal berikut ke kebijakan kunci untuk kunci Anda KMS sehingga Amazon MSK dapat menulis file broker ke bucket.

{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }

Konfigurasikan log broker menggunakan AWS Management Console

Jika Anda membuat klaster baru, cari judul pengiriman log Broker di bagian Monitoring. Anda dapat menentukan tujuan yang Anda inginkan Amazon MSK untuk mengirimkan log broker Anda.

Untuk cluster yang ada, pilih cluster dari daftar cluster Anda, lalu pilih tab Properties. Gulir ke bawah ke bagian pengiriman Log dan kemudian pilih tombol Edit. Anda dapat menentukan tujuan yang Anda inginkan Amazon MSK untuk mengirimkan log broker Anda.

Konfigurasikan log broker menggunakan AWS CLI

Saat Anda menggunakan create-cluster atau update-monitoring perintah, Anda dapat menentukan logging-info parameter secara opsional dan meneruskannya JSON struktur seperti contoh berikut. Dalam hal iniJSON, ketiga jenis tujuan bersifat opsional.

{ "BrokerLogs": { "S3": { "Bucket": "ExampleBucketName", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }

Konfigurasikan log broker menggunakan API

Anda dapat menentukan loggingInfo struktur opsional JSON yang Anda berikan ke UpdateMonitoringoperasi CreateClusteratau.

catatan

Secara default, saat pencatatan broker diaktifkan, Amazon MSK mencatat log INFO level ke tujuan yang ditentukan. Namun, pengguna Apache Kafka 2.4.X dan yang lebih baru dapat secara dinamis mengatur level log broker ke salah satu level log log4j. Untuk informasi tentang pengaturan level log broker secara dinamis, lihat KIP-412: Memperluas Admin API untuk mendukung level log aplikasi dinamis. Jika Anda menyetel level log secara dinamis ke DEBUG atauTRACE, sebaiknya gunakan Amazon S3 atau Firehose sebagai tujuan log. Jika Anda menggunakan CloudWatch Log sebagai tujuan log dan Anda mengaktifkan DEBUG atau menaikkan TRACE level secara dinamis, Amazon MSK dapat terus mengirimkan sampel log. Ini dapat secara signifikan mempengaruhi kinerja broker dan hanya boleh digunakan ketika level INFO log tidak cukup bertele-tele untuk menentukan akar penyebab suatu masalah.