Amazon MSK - Amazon Timestream
Uso de Managed Service para Apache FlinkUso de Kafka Connect

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Amazon MSK

Uso del servicio gestionado para que Apache Flink envíe Amazon MSK datos a Timestream para LiveAnalytics

Puede enviar datos de Amazon MSK a Timestream creando un conector de datos similar al conector de Timestream datos de ejemplo para Managed Service for Apache Flink. Para obtener más información, consulte Amazon Managed Service para Apache Flink.

Uso de Kafka Connect para enviar datos de Amazon MSK a Timestream para LiveAnalytics

Puede utilizar Kafka Connect para incorporar sus datos de series temporales Amazon MSK directamente a Timestream for. LiveAnalytics

Hemos creado un ejemplo de conector Kafka Sink para. Timestream También hemos creado un ejemplo de plan de pruebas de Apache JMeter para publicar datos sobre un tema de Kafka, de modo que los datos puedan fluir desde el tema a través del conector Timestream Kafka Sink hasta una tabla Timestream. LiveAnalytics Todos estos artefactos están disponibles en. GitHub

nota

Java 11 es la versión recomendada para usar el conector Timestream Kafka Sink. Si tiene varias versiones de Java, asegúrese de exportar Java 11 a la variable de entorno JAVA_HOME.

Creación de una aplicación de muestra

Para empezar, siga el procedimiento que se indica a continuación.

  1. En Timestream for LiveAnalytics, cree una base de datos con el nombre. kafkastream

    Consulte el procedimiento Creación de una base de datos de para obtener instrucciones detalladas.

  2. En Timestream for LiveAnalytics, cree una tabla con el nombre. purchase_history

    Consulte el procedimiento Creación de una tabla para obtener instrucciones detalladas.

  3. Siga las instrucciones incluidas en el para crear lo siguiente:, y.

    • Un Amazon MSK clúster

    • Una Amazon EC2 instancia que está configurada como una máquina cliente productora de Kafka

    • Un tema de Kafka

    Consulte los requisitos previos del proyecto kafka_ingestor para obtener instrucciones detalladas.

  4. Clona el repositorio de Kafka Sink Connector.Timestream

    Consulte Clonar un repositorio en él GitHub para obtener instrucciones detalladas.

  5. Compila el código del plugin.

    Consulte Connector: compilar desde el código fuente en GitHub adelante para obtener instrucciones detalladas.

  6. Cargue los siguientes archivos en un bucket de S3: siga las instrucciones que se describen en.

    • El archivo jar (kafka-connector-timestream->VERSION<- jar-with-dependencies .jar) del directorio /target

    • El archivo de esquema json de ejemplo,. purchase_history.json

    Consulte Carga de objetos en la Guía del Amazon S3 usuario para obtener instrucciones detalladas.

  7. Cree dos puntos finales de VPC. El conector MSK utilizaría estos puntos finales para acceder a los recursos que utiliza. AWS PrivateLink

    • Uno para acceder al depósito Amazon S3

    • Uno para acceder a la tabla Timestream for LiveAnalytics .

    Consulte VPC Endpoints para obtener instrucciones detalladas.

  8. Cree un complemento personalizado con el archivo jar cargado.

    Consulte los complementos en la guía para Amazon MSK desarrolladores para obtener instrucciones detalladas.

  9. Cree una configuración de trabajo personalizada con el contenido de JSON descrito en los parámetros de configuración del trabajador, siguiendo las instrucciones que se describen en

    Consulte Crear una configuración de trabajo personalizada en la Guía para Amazon MSK desarrolladores para obtener instrucciones detalladas.

  10. Cree un IAM rol de ejecución de servicios.

    Consulte Rol IAM de servicio para obtener instrucciones detalladas.

  11. Cree un Amazon MSK conector con el complemento personalizado, la configuración de trabajador personalizada y la IAM función de ejecución del servicio creados en los pasos anteriores y con el ejemplo de configuración del conector.

    Consulte Crear un conector en la guía para Amazon MSK desarrolladores para obtener instrucciones detalladas.

    Asegúrese de actualizar los valores de los siguientes parámetros de configuración con los valores correspondientes. Consulte los parámetros de configuración del conector para obtener más información.

    • aws.region

    • timestream.schema.s3.bucket.name

    • timestream.ingestion.endpoint

    La creación del conector tarda entre 5 y 10 minutos en completarse. La canalización estará lista cuando su estado cambie a. Running

  12. Publique un flujo continuo de mensajes para escribir datos sobre el tema de Kafka creado.

    Consulte Cómo usarlo para obtener instrucciones detalladas.

  13. Ejecute una o más consultas para asegurarse de que los datos se envían desde MSK Connect Amazon MSK a la tabla Timestream for. LiveAnalytics

    Consulte el procedimiento Ejecutar una consulta para obtener instrucciones detalladas.

Recursos adicionales

El blog, Ingestión de datos sin servidor en tiempo real desde sus clústeres de Kafka a Timestream para usar LiveAnalytics Kafka Connect, explica la configuración de una end-to-end canalización con el conector Timestream para LiveAnalytics Kafka Sink, empezando por una máquina cliente de Kafka que utiliza el plan de pruebas de Apache JMeter para publicar miles de mensajes de muestra en un tema de Kafka, hasta verificar los registros ingeridos en una tabla Timestream for. LiveAnalytics