Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
MSKRegistrazione su Amazon
Puoi inviare i log del broker Apache Kafka a uno o più dei seguenti tipi di destinazione: Amazon Logs, Amazon S3 CloudWatch , Amazon Data Firehose. Puoi anche registrare MSK API le chiamate Amazon con AWS CloudTrail.
Nota
I log dei broker non sono disponibili sui broker Express.
Log di broker
I log dei broker consentono di risolvere i problemi delle applicazioni Apache Kafka e di analizzare le loro comunicazioni con il cluster. MSK Puoi configurare il tuo MSK cluster nuovo o esistente per distribuire i log dei broker a INFO livello di uno o più dei seguenti tipi di risorse di destinazione: un gruppo di CloudWatch log, un bucket S3, un flusso di distribuzione Firehose. Tramite Firehose è quindi possibile inviare i dati di registro dal flusso di distribuzione a OpenSearch Service. È necessario creare una risorsa di destinazione prima di configurare il cluster per consegnargli i log del broker. Amazon MSK non crea queste risorse di destinazione per te se non esistono già. Per informazioni su questi tre tipi di risorse di destinazione e su come crearle, consultare la documentazione seguente:
Autorizzazioni richieste
Per configurare una destinazione per i log del MSK broker Amazon, l'IAMidentità che usi per MSK le azioni Amazon deve disporre delle autorizzazioni descritte nella AWS politica gestita: A mazonMSKFull Access politica.
Per eseguire lo streaming dei log di broker a un bucket S3, è richiesta anche l'autorizzazione s3:PutBucketPolicy
. Per informazioni sulle policy dei bucket S3, consulta la pagina How Do I Add an S3 Bucket Policy? nella Guida per l'utente di Amazon S3. Per informazioni sulle policy IAM in generale, consulta Gestione degli accessi nella Guida per l'utente di IAM.
Politica KMS chiave richiesta per l'uso con SSE - buckets KMS
Se hai abilitato la crittografia lato server per il tuo bucket S3 utilizzando AWS KMS-managed keys (SSE-KMS) con una chiave gestita dal cliente, aggiungi quanto segue alla policy chiave per la tua chiave in KMS modo che Amazon MSK possa scrivere i file del broker nel bucket.
{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }
Configura i log del broker utilizzando il AWS Management Console
Se stai creando un nuovo cluster, cerca l'intestazione Broker log delivery (Recapito del log del broker) nella sezione Monitoring (Monitoraggio) . Puoi specificare le destinazioni a cui desideri che Amazon MSK recapiti i log del broker.
Per un cluster esistente, scegli il cluster dall'elenco di cluster, quindi seleziona la scheda Proprietà. Scorri verso il basso fino alla sezione Consegna dei log e scegli il relativo pulsante Modifica. Puoi specificare le destinazioni a cui desideri che Amazon MSK recapiti i log del broker.
Configura i log del broker utilizzando il AWS CLI
Quando si utilizzano i update-monitoring
comandi create-cluster
o, è possibile facoltativamente specificare il logging-info
parametro e passargli una JSON struttura come nell'esempio seguente. In questo casoJSON, tutti e tre i tipi di destinazione sono opzionali.
{ "BrokerLogs": { "S3": { "Bucket": "ExampleBucketName", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }
Configura i log del broker utilizzando il API
È possibile specificare la loggingInfo
struttura opzionale nelle JSON operazioni da passare alle UpdateMonitoringoperazioni CreateClusteror.
Nota
Per impostazione predefinita, quando la registrazione del broker è abilitata, Amazon MSK registra i log INFO
di livello nelle destinazioni specificate. Tuttavia, gli utenti di Apache Kafka 2.4.X e versioni successive possono impostare dinamicamente il livello di log del broker su uno qualsiasi dei livelli di log log4jDEBUG
oTRACE
, ti consigliamo di utilizzare Amazon S3 o Firehose come destinazione del log. Se utilizzi CloudWatch Logs come destinazione di log e abiliti DEBUG
o TRACE
livelli dinamicamente la registrazione, Amazon MSK può fornire continuamente un campione di log. Ciò può influire in modo significativo sulle prestazioni del broker e deve essere utilizzato solo quando il livello di log INFO
non è sufficientemente dettagliato da consentire di determinare la causa principale di un problema.