Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Utilice conectores para mover datos en Managed Service for Apache Flink con DataStream API
En Amazon Managed Service for Apache Flink DataStream API, los conectores son componentes de software que mueven datos hacia y desde una aplicación Managed Service for Apache Flink. Los conectores son integraciones flexibles que permiten leer archivos y directorios. Los conectores constan de módulos completos para interactuar con los servicios de Amazon y los sistemas de terceros.
Entre los tipos de conectores, se incluyen:
Añada fuentes de datos de streaming al servicio gestionado de Apache Flink: proporcione datos a su aplicación desde un flujo de datos de Kinesis, un archivo u otro origen de datos.
Escriba datos mediante sumideros en Managed Service para Apache Flink: envíe datos desde su aplicación a una transmisión de datos de Kinesis, una transmisión de Firehose u otro destino de datos.
Utilice E/S asíncronas en el servicio gestionado para Apache Flink: Proporciona acceso asíncrono a un origen de datos (como una base de datos) para enriquecer los eventos de flujos.
Conectores disponibles
El marco de Apache Flink contiene conectores para acceder a los datos desde una variedad de fuentes. Para obtener información sobre los conectores disponibles en el marco Apache Flink, consulte la sección Connectors
aviso
Si tiene aplicaciones que se ejecutan en Flink 1.6, 1.8, 1.11 o 1.13 y desea ejecutarse en las regiones de Oriente Medio (UAE), Asia Pacífico (Hyderabad), Israel (Tel Aviv), Europa (Zúrich), Oriente Medio (), Asia Pacífico (MelbourneUAE) o Asia Pacífico (Yakarta), puede que necesite reconstruir el archivo de aplicaciones con un conector actualizado o actualizar a Flink 1.18.
Los conectores Apache Flink se almacenan en sus propios repositorios de código abierto. Si está actualizando a la versión 1.18 o posterior, debe actualizar sus dependencias. Para acceder al repositorio de los AWS conectores Apache Flink, consulte. flink-connector-aws
Las siguientes son las pautas recomendadas:
Actualizaciones de conectores | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Versión de Flink | Conector utilizado | Resolución | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.15 | EFO |
Al actualizar a la versión 1.15 de Amazon Managed Service for Apache Flink, asegúrese de utilizar el conector más recienteEFO. Debe ser cualquier versión 1.15.3 o posterior. Para obtener más información, consulte: |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.15 | Lavabo Amazon Data Firehose |
Al actualizar a la versión 1.15 de Amazon Managed Service for Apache Flink, asegúrese de utilizar la versión más reciente de Amazon Data Firehose Sink. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.15 | Conectores Kafka |
Al actualizar a la versión 1.15 de Amazon Managed Service for Apache Flink, asegúrese de utilizar el conector Kafka más reciente. APIs Apache Flink ha dejado de estar en desuso y. FlinkKafkaConsumerFlinkKafkaProducer |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.6 - 1.13 | Firehose |
Su aplicación depende de una versión anticuada del conector Firehose que no conoce las versiones más recientes AWS de Regions. Vuelva a compilar el archivo de su aplicación con la versión 2.1.0 del conector Firehose. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.8 | Kinesis |
Su aplicación depende de una versión anticuada del conector Flink Kinesis que no reconoce las AWS regiones más nuevas. Vuelva a compilar el archivo de su aplicación con la versión 1.6.1 del conector Kinesis de Flink. https://github.com/awslabs/amazon-kinesis-connector-flink/tree/1.6.1 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.11 | Kinesis |
Su aplicación depende de una versión anticuada del conector Flink Kinesis que no reconoce las AWS regiones más nuevas. Vuelva a compilar el archivo de su aplicación con la versión 2.4.1 del conector Kinesis de Flink. https://github.com/awslabs/amazon-kinesis-connector-flink/tree/2.4.1 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 1.6 y 1.13 | Kinesis |
Su aplicación depende de una versión anticuada del conector Flink Kinesis que no reconoce las AWS regiones más nuevas. Lamentablemente, Flink ya no publica parches ni correcciones de errores para los conectores 1.6/1.13. Le sugerimos que actualice a Flink 1.15 volviendo a compilar el archivo de su aplicación con Flink 1.15. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
