Protokollierung für MSK Connect - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Protokollierung für MSK Connect

MSK Connect kann Protokollereignisse schreiben, die Sie zum Debuggen Ihres Konnektors verwenden können. Wenn Sie einen Konnektor erstellen, können Sie null oder mehr der folgenden Protokollziele angeben:

  • Amazon CloudWatch Logs: Sie geben die Protokollgruppe an, an die MSK Connect die Protokollereignisse Ihres Connectors senden soll. Informationen zum Erstellen einer Protokollgruppe finden Sie unter Erstellen einer Protokollgruppe im CloudWatch Logs-Benutzerhandbuch.

  • Amazon S3: Sie geben den S3-Bucket an, an den MSK Connect die Protokollereignisse Ihres Konnektors senden soll. Weitere Informationen zum Erstellen eines S3-Buckets finden Sie unter Erstellen eines Buckets im Benutzerhandbuch für Amazon S3.

  • Amazon Data Firehose: Sie geben den Lieferstream an, an den MSK Connect die Protokollereignisse Ihres Connectors senden soll. Informationen zum Erstellen eines Lieferdatenstroms finden Sie unter Erstellen eines Amazon Data Firehose-Lieferdatenstroms im Firehose-Benutzerhandbuch.

Weitere Informationen zum Einrichten der Protokollierung finden Sie unter Aktivieren der Protokollierung von AWS -Services im Amazon CloudWatch Logs -Benutzerhandbuch.

MSK Connect gibt die folgenden Arten von Protokollereignissen aus:

Level Beschreibung
INFO Interessante Laufzeitereignisse beim Startup und Herunterfahren.
WARN Laufzeitsituationen, die keine Fehler sind, aber unerwünscht oder unerwartet sind.
FATAL Schwerwiegende Fehler, die zu einer vorzeitigen Beendigung führen.
ERROR Unerwartete Bedingungen und Laufzeitfehler, die nicht schwerwiegend sind.

Im Folgenden finden Sie ein Beispiel für ein Protokollereignis, das an Logs gesendet CloudWatch wurde:

[Worker-0bb8afa0b01391c41] [2021-09-06 16:02:54,151] WARN [Producer clientId=producer-1] Connection to node 1 (b-1.my-test-cluster.twwhtj.c2.kafka.us-east-1.amazonaws.com/INTERNAL_IP) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient:782)

Verhindern, dass Secrets in Konnektor-Protokollen erscheinen

Anmerkung

Vertrauliche Konfigurationswerte können in Konnektor-Protokollen erscheinen, wenn ein Plugin diese Werte nicht als Secret definiert. Kafka Connect behandelt undefinierte Konfigurationswerte genauso wie jeden anderen Klartext-Wert.

Wenn Ihr Plugin eine Eigenschaft als Secret definiert, redigiert Kafka Connect den Wert der Eigenschaft aus den Konnektor-Protokollen. Die folgenden Konnektor-Protokolle zeigen beispielsweise, dass, wenn ein Plugin aws.secret.key als PASSWORD Typ definiert, sein Wert durch [hidden] ersetzt wird.

2022-01-11T15:18:55.000+00:00 [Worker-05e6586a48b5f331b] [2022-01-11 15:18:55,150] INFO SecretsManagerConfigProviderConfig values: 2022-01-11T15:18:55.000+00:00 [Worker-05e6586a48b5f331b] aws.access.key = my_access_key 2022-01-11T15:18:55.000+00:00 [Worker-05e6586a48b5f331b] aws.region = us-east-1 2022-01-11T15:18:55.000+00:00 [Worker-05e6586a48b5f331b] aws.secret.key = [hidden] 2022-01-11T15:18:55.000+00:00 [Worker-05e6586a48b5f331b] secret.prefix = 2022-01-11T15:18:55.000+00:00 [Worker-05e6586a48b5f331b] secret.ttl.ms = 300000 2022-01-11T15:18:55.000+00:00 [Worker-05e6586a48b5f331b] (com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProviderConfig:361)

Um zu verhindern, dass Secrets in Konnektor-Protokolldateien auftauchen, muss ein Plugin-Entwickler die Enum-Konstante ConfigDef.Type.PASSWORD von Kafka Connect verwenden, um sensible Eigenschaften zu definieren. Wenn eine Eigenschaft vom Typ ConfigDef.Type.PASSWORD ist, schließt Kafka Connect ihren Wert aus den Konnektor-Protokollen aus, auch wenn der Wert als Klartext gesendet wird.