Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
MSKPencatatan Amazon
Anda dapat mengirimkan log broker Apache Kafka ke satu atau lebih jenis tujuan berikut: Amazon CloudWatch Log, Amazon S3, Amazon Data Firehose. Anda juga dapat mencatat MSK API panggilan Amazon dengan AWS CloudTrail.
catatan
Log broker tidak tersedia di broker Express.
Log broker
Log broker memungkinkan Anda untuk memecahkan masalah aplikasi Apache Kafka Anda dan menganalisis komunikasi mereka dengan cluster Anda. MSK Anda dapat mengonfigurasi MSK klaster baru atau yang sudah ada untuk mengirimkan log broker INFO tingkat -level ke satu atau beberapa jenis sumber daya tujuan berikut: grup CloudWatch log, bucket S3, aliran pengiriman Firehose. Melalui Firehose Anda kemudian dapat mengirimkan data log dari aliran pengiriman Anda ke OpenSearch Layanan. Anda harus membuat sumber daya tujuan sebelum mengonfigurasi klaster Anda untuk mengirimkan log broker ke sana. Amazon MSK tidak membuat sumber daya tujuan ini untuk Anda jika belum ada. Untuk informasi tentang ketiga jenis sumber daya tujuan ini dan cara membuatnya, lihat dokumentasi berikut:
Izin yang diperlukan
Untuk mengonfigurasi tujuan log MSK broker Amazon, IAM identitas yang Anda gunakan untuk MSK tindakan Amazon harus memiliki izin yang dijelaskan dalam AWS kebijakan terkelola: mazonMSKFull Akses kebijakan.
Untuk melakukan streaming log broker ke bucket S3, Anda juga memerlukan s3:PutBucketPolicy
izin. Untuk informasi tentang kebijakan bucket S3, lihat Bagaimana Cara Menambahkan Kebijakan Bucket S3? di Panduan Pengguna Amazon S3. Untuk informasi tentang IAM kebijakan secara umum, lihat Manajemen Akses di Panduan IAM Pengguna.
Kebijakan KMS kunci yang diperlukan untuk digunakan dengan SSE - KMS bucket
Jika Anda mengaktifkan enkripsi sisi server untuk bucket S3 menggunakan kunci yang AWS KMS dikelola (SSE-KMS) dengan kunci yang dikelola pelanggan, tambahkan hal berikut ke kebijakan kunci untuk kunci Anda KMS sehingga Amazon MSK dapat menulis file broker ke bucket.
{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }
Konfigurasikan log broker menggunakan AWS Management Console
Jika Anda membuat klaster baru, cari judul pengiriman log Broker di bagian Monitoring. Anda dapat menentukan tujuan yang Anda inginkan Amazon MSK untuk mengirimkan log broker Anda.
Untuk cluster yang ada, pilih cluster dari daftar cluster Anda, lalu pilih tab Properties. Gulir ke bawah ke bagian pengiriman Log dan kemudian pilih tombol Edit. Anda dapat menentukan tujuan yang Anda inginkan Amazon MSK untuk mengirimkan log broker Anda.
Konfigurasikan log broker menggunakan AWS CLI
Saat Anda menggunakan create-cluster
atau update-monitoring
perintah, Anda dapat menentukan logging-info
parameter secara opsional dan meneruskannya JSON struktur seperti contoh berikut. Dalam hal iniJSON, ketiga jenis tujuan bersifat opsional.
{ "BrokerLogs": { "S3": { "Bucket": "ExampleBucketName", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }
Konfigurasikan log broker menggunakan API
Anda dapat menentukan loggingInfo
struktur opsional JSON yang Anda berikan ke UpdateMonitoringoperasi CreateClusteratau.
catatan
Secara default, saat pencatatan broker diaktifkan, Amazon MSK mencatat log INFO
level ke tujuan yang ditentukan. Namun, pengguna Apache Kafka 2.4.X dan yang lebih baru dapat secara dinamis mengatur level log broker ke salah satu level log log4j.DEBUG
atauTRACE
, sebaiknya gunakan Amazon S3 atau Firehose sebagai tujuan log. Jika Anda menggunakan CloudWatch Log sebagai tujuan log dan Anda mengaktifkan DEBUG
atau menaikkan TRACE
level secara dinamis, Amazon MSK dapat terus mengirimkan sampel log. Ini dapat secara signifikan mempengaruhi kinerja broker dan hanya boleh digunakan ketika level INFO
log tidak cukup bertele-tele untuk menentukan akar penyebab suatu masalah.