Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon Managed Service para Apache Flink 1.15
Managed Service for Apache Flink admite las siguientes funciones nuevas en Apache 1.15.2:
| Característica | Descripción | Referencia de Apache FLIP |
|---|---|---|
| Async Sink | Un marco AWS colaborativo para crear destinos asíncronos que permite a los desarrolladores crear AWS conectores personalizados con menos de la mitad del esfuerzo anterior. Para obtener más información, consulte The Generic Asynchronous Base Sink |
FLIP-171: Async Sink |
| Receptor de Kinesis Data Firehose | AWS ha creado un nuevo Amazon Kinesis Firehose Sink que utiliza el marco Async. | Receptor de Amazon Kinesis Data Firehose |
| Detención con punto de control | Detener con punto de control garantiza una operación de detención limpia y, lo que es más importante, respalda la semántica exactamente una vez para los clientes que confían en ella. | FLIP-34: Finalizar/suspender el trabajo |
| Desacoplamiento de Scala | Los usuarios ahora pueden aprovechar Java API desde cualquier versión de Scala, incluida Scala 3. Los clientes deberán incluir la biblioteca estándar de Scala que elijan en sus aplicaciones de Scala. | FLIP-28: Objetivo a largo plazo de hacer que Flink-Table esté libre de Scala |
| Scala | Véase el desacoplamiento de Scala más arriba | FLIP-28: |
| Métricas de conectores unificados | Flink ha definido métricas estándarnumRestarts en paralelo con fullRestarts para las Métricas de disponibilidad. |
FLIP-33: Estandarizar las métricas de los conectores y -179: Exponer las métricas estandarizadas |
| Creación de un punto de control de tareas terminadas | Esta característica está habilitada de forma predeterminada en Flink 1.15 y permite seguir realizando puntos de control incluso si algunas partes del gráfico del trabajo han terminado de procesar todos los datos, lo que podría ocurrir si contiene fuentes limitadas (por lotes). | FLIP-147: Support Checkpoints una vez finalizadas las tareas. |
Cambios en Amazon Managed Service para Apache Flink con Apache Flink 1.15
Cuaderno de Studio
Managed Service para Apache Flink Studio ahora es compatible con Apache Flink 1.15. Managed Service para Apache Flink Studio utiliza los cuadernos de Apache Zeppelin para ofrecer una experiencia de desarrollo de interfaz única para desarrollar, depurar código y ejecutar aplicaciones de procesamiento de flujos de Apache Flink. Puede obtener más información sobre Managed Service para Apache Flink Studio y cómo empezar en Utilice un bloc de notas Studio con Managed Service para Apache Flink.
EFOconector
Al actualizar a la versión 1.15 de Managed Service for Apache Flink, asegúrese de utilizar el EFO conector más reciente, es decir, cualquier versión 1.15.3 o posterior. Para obtener más información sobre el motivo, consulte -29324. FLINK
Desacoplamiento de Scala
Comenzando con Flink 1.15.2, deberá incluir la biblioteca estándar de Scala que elija en sus aplicaciones de Scala.
Receptor de Kinesis Data Firehose
Al actualizar a la versión 1.15 de Managed Service para Apache Flink, asegúrese de utilizar la versión más reciente del receptor de Amazon Kinesis Data Firehose
Conectores Kafka
Al actualizar a Amazon Managed Service for Apache Flink para Apache Flink versión 1.15, asegúrese de utilizar el conector Kafka más reciente. APIs Apache Flink ha quedado obsoleto FlinkKafkaConsumer
Componentes
| Componente | Versión |
|---|---|
| Java | 11 (recomendado) |
| Scala | 2.12 |
| Servicio gestionado para Apache Flink Flink Runtime () aws-kinesisanalytics-runtime | 1.2.0 |
| AWS Conector Kinesis () flink-connector-kinesis |
1.15.4 |
| Apache Beam (solo aplicaciones Beam) |
2.33.0, con Jackson versión 2.12.2 |
Problemas conocidos
Kafka Commit en los puntos de control falla repetidamente tras el reinicio de un bróker
Existe un problema conocido de código abierto con Apache Flink en el conector Apache Kafka de la versión 1.15 de Flink causado por un error crítico de código abierto en el cliente Kafka de Kafka Client 2.8.1. Para obtener más información, consulte Kafka Commit on Checkpoints falla repetidamente tras el reinicio de un broker y no puede recuperar la conexión con el coordinador del grupo tras una KafkaConsumer
Para evitar este problema, le recomendamos que utilice Apache Flink 1.18 o una versión posterior en Amazon Managed Service para Apache Flink.
