Le damos la bienvenida a la Guía para desarrolladores de Amazon MSK - Transmisión gestionada de Amazon para Apache Kafka
¿Qué es Amazon MSK?

Le damos la bienvenida a la Guía para desarrolladores de Amazon MSK

Le damos la bienvenida a la Guía para desarrolladores de Amazon MSK. Los temas siguientes pueden ser de ayuda para comenzar a utilizar esta guía, en función de lo que intente hacer.

Para los aspectos destacados, los detalles del producto y los precios, consulte la página de servicio de Amazon MSK.

¿Qué es Amazon MSK?

Amazon Managed Streaming for Apache Kafka (Amazon MSK) es un servicio totalmente administrado que permite crear y ejecutar aplicaciones que utilizan Apache Kafka para procesar datos de streaming. Amazon MSK proporciona las operaciones de plano de control, como las de creación, actualización y eliminación de clústeres. Le permite utilizar operaciones de plano de datos de Apache Kafka, como producir y consumir datos. Ejecuta versiones de código abierto de Apache Kafka. Esto significa que las aplicaciones, herramientas y complementos existentes de los socios y la comunidad Apache Kafka son compatibles sin necesidad de cambios en el código de la aplicación. Puede utilizar Amazon MSK para crear clústeres que utilicen cualquiera de las versiones de Apache Kafka que figuran en la siguiente lista de Versiones compatibles de Apache Kafka.

Estos componentes describen la arquitectura de Amazon MSK:

  • Nodos de agente: al crear un clúster de Amazon MSK, especifique cuántos nodos de agente quiere que cree Amazon MSK en cada zona de disponibilidad. El mínimo es un agente por zona de disponibilidad. Cada zona de disponibilidad tiene su propia subred de nube virtual privada (VPC).

  • Nodos ZooKeeper: Amazon MSK también crea los nodos ZooKeeper de Apache. Apache ZooKeeper es un servidor de código abierto que permite una coordinación distribuida altamente confiable.

  • Controladores KRaft: la comunidad de Apache Kafka desarrolló KRaft para reemplazar a Apache ZooKeeper para la administración de metadatos en los clústeres de Apache Kafka. En el modo KRaft, los metadatos del clúster se propagan dentro de un grupo de controladores de Kafka, que forman parte del clúster de Kafka, en lugar de entre los nodos de ZooKeeper. Los controladores KRaft se incluyen sin costo adicional para usted y no requieren ninguna configuración o administración adicionales por su parte.

    nota

    A partir de la versión 3.7.x de Apache Kafka en MSK, puede crear clústeres que usen el modo KRaft en lugar del modo ZooKeeper.

  • Productores, consumidores y creadores de temas: Amazon MSK le permite utilizar operaciones de plano de datos de Apache Kafka para crear temas y para producir y consumir datos.

  • Operaciones de clúster: puede utilizar la AWS Management Console, la AWS Command Line Interface (AWS CLI) o las API del SDK para realizar operaciones de plano de control. Por ejemplo, puede crear o eliminar un clúster de Amazon MSK, mostrar todos los clústeres de una cuenta, ver las propiedades de un clúster y actualizar el número y el tipo de agentes de un clúster.

Amazon MSK detecta los escenarios de error más comunes para clústeres, y se recupera de dichos escenarios, de modo que las aplicaciones de productoras y consumidoras puedan continuar sus operaciones de escritura y lectura con un impacto mínimo. Cuando Amazon MSK detecta un error de agente, mitiga el error o reemplaza al agente inaccesible o incorrecto por uno nuevo. Además, cuando es posible, reutiliza el almacenamiento del agente más antiguo para reducir los datos que Apache Kafka necesita replicar. El impacto a la disponibilidad se limita al tiempo necesario para que Amazon MSK complete la detección y recuperación. Después de una recuperación, las aplicaciones de productor y consumidor pueden seguir comunicándose con las mismas direcciones IP del agente que usaban antes del error.