了解 MSK Connect

MSK Connect 是 Amazon 的一項功能MSK，可讓開發人員輕鬆地在 Apache Kafka 叢集之間串流資料。 MSKConnect 使用 Kafka Connect 2.7.1 或 3.7.x 版，這是開放原始碼架構，用於將 Apache Kafka 叢集與資料庫、搜尋索引和檔案系統等外部系統連線。透過 MSK Connect，您可以部署專為 Kafka Connect 建置的全受管連接器，將資料移入 Amazon S3 和 Amazon OpenSearch Service 等熱門資料存放區或從中提取資料。您可以部署由第三方 (例如 Debezium) 開發的連接器，用於將變更日誌從資料庫串流至 Apache Kafka 叢集，或在不需變更程式碼的情況下部署現有連接器。連接器會自動擴展以適應負載的變化，您僅需按照實際使用的資源量付費。

使用來源連接器將資料從外部系統匯入至您的主題中。您可以使用目的地連接器將主題中的資料匯出至外部系統。

MSK Connect 支援任何與 Amazon 連線的 Apache Kafka 叢集的連接器VPC，無論是MSK叢集還是獨立託管的 Apache Kafka 叢集。

MSK Connect 會持續監控連接器的運作狀態和交付狀態、修補和管理基礎硬體，並自動調整連接器規模以符合輸送量的變化。

若要開始使用 MSK Connect，請參閱 Connect 入門 MSK 。

若要了解您可以使用 MSK Connect 建立 AWS 的資源，請參閱 了解連接器、 建立自訂外掛程式和 了解 MSK Connect 工作者。

如需 MSK Connect 的相關資訊API，請參閱 Amazon MSK Connect API參考。

使用 Amazon MSK Connect 的優點

Apache Kafka 是最常採用的開放原始碼串流平台之一，可用於擷取和處理即時資料串流。使用 Apache Kafka，您可以解耦和獨立擴展產生資料和耗用資料的應用程式。

Kafka Connect 是使用 Apache Kafka 建置和執行串流應用程式的重要元件。Kafka Connect 提供在 Kafka 和外部系統之間移動資料的標準化方式。Kafka Connect 具有高度可擴展性，可以處理大量資料 Kafka Connect 提供一組強大的API操作和工具，用於設定、部署和監控連接器，以在 Kafka 主題和外部系統之間移動資料。您可以使用這些工具來自訂和擴展 Kafka Connect 的功能，以滿足串流應用程式的特定需求。

當您自行操作 Apache Kafka Connect 叢集時，或嘗試將開放原始碼 Apache Kafka Connect 應用程式遷移到其中時，可能會遇到挑戰 AWS。這些挑戰包括設定基礎設施和部署應用程式所需的時間、設定自我管理 Apache Kafka Connect 叢集時的工程障礙，以及管理營運開銷。

為了解決這些挑戰，我們建議您使用 Amazon Managed Streaming for Apache Kafka Connect (Amazon MSK Connect) 將開放原始碼 Apache Kafka Connect 應用程式遷移到其中 AWS。Amazon MSK Connect 使用 Kafka Connect 簡化在 Apache Kafka 叢集和外部系統之間往返串流資料，例如資料庫、搜尋索引和檔案系統。