了解 MSK Connect 工作者 - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

了解 MSK Connect 工作者

工作者是執行連接器邏輯的 Java 虛擬機器 (JVM) 程序。每個工作程序皆會建立一組在平行執行緒中執行的任務,並執行複製資料的工作。任務不會存放狀態,因此可以隨時啟動、停止或重新啟動,以提供彈性且可擴展的資料管道。無論是源自於擴展事件還是非預期的失敗,其餘工作程序會自動偵測到工作程序數量的變更。它們會協調以重新平衡整組其餘工作程序的任務。Connect 工作程序會使用 Apache Kafka 的取用者群組來進行協調和重新平衡。

如果連接器的容量需求可變或難以估計,您可以視需要讓 MSK Connect 擴展您指定的下限和上限之間的工作者數量。您也可以指定要執行連接器邏輯的工作程序確切數量。如需詳細資訊,請參閱了解連接器容量

MSK 連線工作者使用 IP 地址

MSK 連線工作者會在客戶提供的子網路中耗用 IP 地址。每個工作者都會從其中一個客戶提供的子網路使用一個 IP 地址。您應該確保在提供給 CreateConnector 請求的子網路中有足夠的可用 IP 地址,以考慮其指定的容量,特別是在自動擴展工作者數量可能波動的連接器時。

預設工作程序組態

MSK Connect 提供下列預設工作者組態:

key.converter=org.apache.kafka.connect.storage.StringConverter value.converter=org.apache.kafka.connect.storage.StringConverter