MSK Connect-Mitarbeiter verstehen

Ein Worker ist ein virtueller Java-Maschine (JVM)-Prozess, der die Konnektor-Logik betreibt. Jeder Worker erstellt eine Reihe von Aufgaben, die in parallelen Threads ausgeführt werden und das Kopieren der Daten übernehmen. Aufgaben speichern keinen Status und können daher jederzeit gestartet, gestoppt oder neu gestartet werden, um eine stabile und skalierbare Datenpipeline bereitzustellen. Änderungen an der Anzahl der Worker, unabhängig davon, ob sie auf ein Skalierungsereignis oder auf unerwartete Ausfälle zurückzuführen sind, werden von den verbleibenden Workern automatisch erkannt. Sie koordinieren, um die Aufgaben auf die Gruppe der verbleibenden Worker neu auszurichten. Connect-Worker nutzen die Verbrauchergruppen von Apache Kafka, um sich zu koordinieren und das Gleichgewicht wiederherzustellen.

Wenn die Kapazitätsanforderungen Ihres Konnektors variabel oder schwer abzuschätzen sind, können Sie MSK Connect die Anzahl der Worker nach Bedarf zwischen einer von Ihnen angegebenen Untergrenze und einer Obergrenze skalieren lassen. Sie können auch die genaue Anzahl von Workern angeben, die die Konnektor-Logik betreiben sollen. Weitere Informationen finden Sie unter Verstehen Sie die Kapazität der Steckverbinder.

MSK Connect-Mitarbeiter verbrauchen IP-Adressen

MSK Connect-Mitarbeiter verwenden IP-Adressen in den vom Kunden bereitgestellten Subnetzen. Jeder Mitarbeiter verwendet eine IP-Adresse aus einem der vom Kunden bereitgestellten Subnetze. Sie sollten sicherstellen, dass in den Subnetzen, die für eine CreateConnector Anfrage bereitgestellt werden, genügend IP-Adressen verfügbar sind, um deren angegebene Kapazität zu berücksichtigen, insbesondere bei der automatischen Skalierung von Connectoren, bei denen die Anzahl der Worker schwanken kann.

Standard-Worker-Konfiguration

MSK Connect bietet die folgende Standard-Worker-Konfiguration:

key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter