Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
El servicio gestionado para Apache Flink ahora es compatible con la versión 1.19.1 de Apache Flink. En esta sección se presentan las principales novedades y cambios introducidos con la compatibilidad de Managed Service for Apache Flink con Apache Flink 1.19.1.
nota
Si utiliza una versión anterior compatible de Apache Flink y desea actualizar sus aplicaciones actuales a Apache Flink 1.19.1, puede hacerlo mediante las actualizaciones de versión locales de Apache Flink. Para obtener más información, consulte Utilice actualizaciones de versión locales para Apache Flink. Con las actualizaciones de versión locales, conserva la trazabilidad de las aplicaciones con respecto a un único ARN en todas las versiones de Apache Flink, incluidas las instantáneas, los registros, las métricas, las etiquetas, las configuraciones de Flink y más.
Características admitidas
Apache Flink 1.19.1 introduce mejoras en la API de SQL, como los parámetros con nombre, el paralelismo de fuentes personalizado y los diferentes estados de los distintos operadores de Flink. TTLs
| Características admitidas | Descripción | Referencia de la documentación de Apache Flink |
|---|---|---|
| API de SQL: Support Configuring Different State TTLs mediante SQL Hint | Los usuarios ahora pueden configurar el TTL de estado en las uniones regulares de las transmisiones y en la agregación de grupos. | FLIP-373: Configuración de un estado diferente mediante SQL Hint TTLs |
| API SQL: Support named parameters for functions and call procedures | Los usuarios ahora pueden usar parámetros con nombre en las funciones, en lugar de confiar en el orden de los parámetros. | FLIP-378: Support named parameters for functions and call procedures |
| API de SQL: configuración del paralelismo para las fuentes de SQL | Los usuarios ahora pueden especificar el paralelismo para las fuentes SQL. | FLIP-367: Support Setting Paralelism for Table/SQL Sources |
| API SQL: Support Session Window TVF | Los usuarios ahora pueden usar las funciones con valores de tabla de la ventana de sesión. | FLINK-24024: Sesión de soporte Window TVF |
| API SQL: la agregación de Window TVF admite entradas de registro de cambios | Los usuarios ahora pueden realizar la agregación de ventanas en las entradas del registro de cambios. | FLINK-20281: La agregación de ventanas admite la entrada de flujos del registro de cambios |
|
Support Python 3.11 |
Flink ahora es compatible con Python 3.11, que es entre un 10 y un 60% más rápido en comparación con Python 3.10. Para obtener más información, consulte Novedades de Python 3.11 |
FLINK-33030: Se ha añadido compatibilidad con Python 3.11 |
| Proporcione métricas para el TwoPhaseCommitting sumidero | Los usuarios pueden ver las estadísticas sobre el estado de los receptores en dos fases. | FLIP-371: Proporcione el contexto de inicialización para la creación de comités en TwoPhaseCommittingSink |
|
Race Reporters para reiniciar el trabajo y establecer puntos de control |
Los usuarios ahora pueden monitorear los rastros relacionados con la duración de los puntos de control y las tendencias de recuperación. En Amazon Managed Service para Apache Flink, habilitamos los reporteros de rastreo SLF4j de forma predeterminada para que los usuarios puedan monitorear los rastreos de puntos de control y trabajos a través de los registros de la aplicación. CloudWatch | FLIP-384: Introdúzcalo TraceReporter y utilícelo para crear trazas de puntos de control y recuperación |
| Características de suscripción | Descripción | Referencia de la documentación de Apache Flink |
|---|---|---|
| Support usa un intervalo de puntos de control mayor cuando la fuente está procesando el trabajo atrasado | Se trata de una función opcional, ya que los usuarios deben ajustar la configuración a los requisitos específicos de su trabajo. | FLIP-309: Support usa un intervalo de puntos de control más grande cuando la fuente está procesando el backlog |
| Redirija System.out y System.err a los registros de Java | Se trata de una función opcional. En Amazon Managed Service para Apache Flink, el comportamiento predeterminado es ignorar la salida de System.out y System.err, ya que la mejor práctica en producción es utilizar el registrador Java nativo. | FLIP-390: Support System no funciona y se produce un error al ser redirigido a LOG o descartado |
Cambios en Amazon Managed Service para Apache Flink 1.19.1
El registro de Trace Reporter está activado de forma predeterminada
Apache Flink 1.19.1 introdujo los rastreos de puntos de control y recuperación, lo que permitió a los usuarios depurar mejor los problemas relacionados con los puntos de control y la recuperación de tareas. En Amazon Managed Service para Apache Flink, estas trazas se registran en el flujo de CloudWatch registro, lo que permite a los usuarios desglosar el tiempo dedicado a la inicialización del trabajo y registrar el tamaño histórico de los puntos de control.
La estrategia de reinicio predeterminada ahora es el retraso exponencial
En Apache Flink 1.19.1, hay mejoras significativas en la estrategia de reinicio con retraso exponencial. En Amazon Managed Service para Apache Flink a partir de la versión 1.19.1, los trabajos de Flink utilizan la estrategia de reinicio con retraso exponencial de forma predeterminada. Esto significa que los trabajos de los usuarios se recuperarán más rápido de los errores transitorios, pero no sobrecargarán los sistemas externos si los reinicios persisten.
Correcciones de errores respaldadas
Amazon Managed Service para Apache Flink respalda las correcciones de problemas críticos de la comunidad de Flink. Esto significa que el tiempo de ejecución es diferente al de la versión 1.19.1 de Apache Flink. La siguiente es una lista de correcciones de errores que hemos incorporado:
| Enlace a Apache Flink JIRA | Descripción |
|---|---|
| FLINK-35531 |
Esta corrección corrige la regresión del rendimiento introducida en la versión 1.17.0, que provoca escrituras más lentas en HDFS. |
| FLINK-35157 |
Esta solución soluciona el problema de los trabajos de Flink atascados cuando las fuentes con marcas de agua alineadas encuentran subtareas finalizadas. |
| FLINK-34252 |
Esta solución soluciona un problema en la generación de marcas de agua que provoca un estado de marca de agua INACTIVO erróneo. |
| FLINK-34252 |
Esta corrección aborda la regresión del rendimiento durante la generación de marcas de agua al reducir las llamadas al sistema. |
| FLINK-33936 |
Esta solución soluciona el problema de los registros duplicados durante la agregación de minilotes en la API de tablas. |
| FLINK-35498 |
Esta solución soluciona el problema de los conflictos de nombres de argumentos al definir parámetros con nombre en la API de tablas. UDFs |
| FLINK-33192 |
Esta solución soluciona el problema de una pérdida de memoria de estado en los operadores de ventanas debido a una limpieza incorrecta del temporizador. |
| FLINK-35069 |
Esta solución soluciona el problema que se produce cuando una tarea de Flink se bloquea y se activa un temporizador al final de una ventana. |
| FLINK-35832 |
Esta solución soluciona el problema que se producía cuando IFNULL devolvía resultados incorrectos. |
| FLINK-35886 |
Esta solución soluciona el problema que se producía cuando las tareas con contrapresión se consideran inactivas. |
Componentes
| Componente | Versión |
|---|---|
| Java | 11 (recomendado) |
| Python |
3.11 |
| Tiempo de ejecución de Kinesis Data Analytics Flink () aws-kinesisanalytics-runtime | 1.2.0 |
| Connectors | Para obtener información sobre los conectores disponibles, consulte los conectores de Apache Flink. |
| Apache Beam (solo aplicaciones Beam) |
A partir de la versión 2.61.0. Para obtener más información, consulte Compatibilidad de versiones de Flink |
Problemas conocidos
Amazon Managed Service para Apache Flink Studio
Studio utiliza los cuadernos Apache Zeppelin para ofrecer una experiencia de desarrollo de interfaz única para desarrollar, depurar código y ejecutar aplicaciones de procesamiento de flujos de Apache Flink. Es necesaria una actualización del Flink Interpreter de Zeppelin para permitir la compatibilidad con Flink 1.19. Este trabajo está programado con la comunidad de Zeppelin y actualizaremos estas notas cuando esté terminado. Puedes seguir utilizando Flink 1.15 con Amazon Managed Service para Apache Flink Studio. Para obtener más información, consulte Creación de un bloc de notas de Studio.
