Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Comprenda MSK Connect
MSKConnect es una función de Amazon MSK que facilita a los desarrolladores la transmisión de datos hacia y desde sus clústeres de Apache Kafka. MSKConnect utiliza Kafka Connect 2.7.1, un marco de código abierto para conectar los clústeres de Apache Kafka con sistemas externos, como bases de datos, índices de búsqueda y sistemas de archivos. Con MSK Connect, puede implementar conectores totalmente gestionados diseñados para Kafka Connect que mueven o extraen datos de almacenes de datos populares, como Amazon S3 y Amazon OpenSearch Service. Puede implementar conectores desarrollados por terceros, como Debezium, para transmitir los registros de cambios de las bases de datos a un clúster de Apache Kafka, o implementar un conector existente sin cambios de código. Los conectores se escalan automáticamente para adaptarse a los cambios de carga y solo pagará por los recursos que utilice.
Utilice los conectores de origen para importar datos de sistemas externos a sus temas. Con los conectores de recepción, puede exportar datos de sus temas a sistemas externos.
MSKConnect admite conectores para cualquier clúster de Apache Kafka con conectividad a AmazonVPC, ya sea un MSK clúster o un clúster de Apache Kafka alojado de forma independiente.
MSKConnect monitorea continuamente el estado y el estado de entrega de los conectores, parchea y administra el hardware subyacente y escala automáticamente los conectores para adaptarlos a los cambios en el rendimiento.
Para empezar a usar MSK Connect, consulteCómo empezar a usar MSK Connect.
Para obtener más información sobre los AWS recursos que puede crear con MSK ConnectComprenda los conectores, consulteCrea complementos personalizados, yComprenda MSK a los trabajadores de Connect.
Para obtener información sobre MSK ConnectAPI, consulte la APIreferencia de Amazon MSK Connect.
Ventajas de usar Amazon MSK Connect
Apache Kafka es una de las plataformas de streaming de código abierto más utilizadas para la ingesta y el procesamiento de flujos de datos en tiempo real. Con Apache Kafka, puede desacoplar y escalar de forma independiente las aplicaciones que producen y consumen datos.
Kafka Connect es un componente importante de la creación y ejecución de aplicaciones de streaming con Apache Kafka. Kafka Connect proporciona una forma estandarizada de mover datos entre Kafka y sistemas externos. Kafka Connect es altamente escalable y puede gestionar grandes volúmenes de datos. Kafka Connect proporciona un potente conjunto de API operaciones y herramientas para configurar, implementar y monitorear conectores que mueven datos entre temas de Kafka y sistemas externos. Puede utilizar estas herramientas para personalizar y ampliar la funcionalidad de Kafka Connect para satisfacer las necesidades específicas de su aplicación de streaming.
Es posible que encuentre dificultades cuando utilice clústeres de Apache Kafka Connect por sí solos o cuando intente migrar aplicaciones de código abierto de Apache Kafka Connect a ellas. AWS Estos desafíos incluyen el tiempo necesario para configurar la infraestructura y desplegar las aplicaciones, los obstáculos de ingeniería al configurar los clústeres Apache Kafka Connect autogestionados y la sobrecarga operativa administrativa.
Para hacer frente a estos desafíos, le recomendamos que utilice Amazon Managed Streaming for Apache Kafka Connect (Amazon MSK Connect) para migrar sus aplicaciones de código abierto Apache Kafka Connect a. AWS Amazon MSK Connect simplifica el uso de Kafka Connect para transmitir datos desde y hacia clústeres de Apache Kafka y sistemas externos, como bases de datos, índices de búsqueda y sistemas de archivos.
Estas son algunas de las ventajas de migrar a Amazon MSK Connect:
Eliminación de la sobrecarga operativa: Amazon MSK Connect elimina la carga operativa asociada a la aplicación de parches, el aprovisionamiento y el escalado de los clústeres de Apache Kafka Connect. Amazon MSK Connect supervisa de forma continua el estado de los clústeres de Connect y automatiza la aplicación de parches y las actualizaciones de versiones sin interrumpir las cargas de trabajo.
Reinicio automático de las tareas de Connect: Amazon MSK Connect puede recuperar automáticamente las tareas fallidas para reducir las interrupciones en la producción. Los errores en las tareas pueden deberse a errores temporales, como sobrepasar el límite de TCP conexión en el caso de Kafka, o al reequilibrio de las tareas cuando se incorporan nuevos trabajadores al grupo de consumidores de conectores de sumideros.
Escalado horizontal y vertical automático: Amazon MSK Connect permite que la aplicación del conector se escale automáticamente para soportar mayores rendimientos. Amazon MSK Connect gestiona el escalado por usted. Solo necesita especificar la cantidad de trabajadores en el grupo de autoescalado y los umbrales de utilización. Puede usar la
UpdateConnectorAPI operación Amazon MSK Connect para escalar verticalmente hacia arriba o hacia abajo vCPUs entre 1 y 8 vCPUs para soportar un rendimiento variable.Conectividad de red privada: Amazon MSK Connect se conecta de forma privada a los sistemas de origen AWS PrivateLink y destino mediante DNS nombres privados.
