Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon Managed Service para Apache Flink 1.18
Managed Service para Apache Flink ahora es compatible con Apache Flink 1.18.1 Conozca las nuevas características y cambios clave introducidos con la compatibilidad de Managed Service para Apache Flink con Apache Flink 1.18.1.
nota
Si se utiliza una versión anterior compatible de Apache Flink y desea actualizar sus aplicaciones actuales a Apache Flink 1.18.1, se puede hacer mediante las actualizaciones de versión integradas de Apache Flink. Con las actualizaciones de versión locales, se retiene la trazabilidad de las aplicaciones con respecto a un único ARN en todas las versiones de Apache Flink, incluidas las instantáneas, los registros, las métricas, las etiquetas, las configuraciones de Flink y más. Se puede utilizar esta función en el estado RUNNING y READY. Para obtener más información, consulte Uso de actualizaciones de versión locales para Apache Flink.
| Características admitidas | Description (Descripción) | Referencia de la documentación de Apache Flink |
|---|---|---|
| Conector Opensearch | Este conector incluye un receptor que ofrece garantías al menos una vez. | github: Conector Opensearch |
| Conector de Amazon DynamoDB | Este conector incluye un receptor que ofrece garantías al menos una vez. | Receptor de Amazon DynamoDB |
| Conector de MongoDB | Este conector incluye una fuente y un receptor que ofrece garantías al menos una vez. | Conector de MongoDB |
| Desconecta Hive con el planificador Flink |
Se puedes usar el dialecto de Hive directamente sin tener que cambiar la JAR adicional. |
FLINK-26603: Desvincula Hive con Flink Planner |
| Desactiva WAL in de forma predeterminada RocksDBWriteBatchWrapper |
Esto proporciona tiempos de recuperación más rápidos. |
FLINK-32326: Desactive la entrada WAL RocksDBWriteBatchWrapper de forma predeterminada |
|
Mejora del rendimiento de la agregación de marcas de agua cuando se habilita la alineación de marcas de agua |
Mejora el rendimiento de la agregación de marcas de agua cuando se habilita la alineación de marcas de agua y se agrega el indicador de referencia relacionado. |
FLINK-32524: Rendimiento de agregación de marcas de agua |
| Preparación de la alineación de marcas de agua para su uso en producción | Elimina el riesgo de sobrecarga de trabajos grandes JobManager | FLINK-32548: Prepare la alineación de las marcas de agua |
|
Configurable RateLimitingStratey para Async Sink |
RateLimitingStrategy le permite configurar la decisión de qué escalar, cuándo escalar y cuánto escalar. |
FLIP-242: Introduce un RateLimitingStrategy Sink configurable para Async |
|
Búsqueda masiva de estadísticas de tablas y columnas |
Rendimiento de consultas mejorado. | FLIP-247: Obtención masiva de estadísticas de tablas y columnas para determinadas particiones |
Para ver la documentación de la versión 1.18.1 de Apache Flink, consulte el anuncio de la versión 1.18.1 de Apache Flink
Cambios en Amazon Managed Service para Apache Flink con Apache Flink 1.18
Akka fue reemplazada por Pekko
Apache Flink sustituyó a Akka por Pekko en Apache Flink 1.18. Este cambio es totalmente compatible en Managed Service para Apache Flink desde Apache Flink 1.18.1 y versiones posteriores. No es necesario modificar las aplicaciones como resultado de este cambio. Para obtener más información, consulte FLINK-32468: Sustituir Akka
Support PyFlink Runtime en modo Thread
Este cambio de Apache Flink introduce un nuevo modo de ejecución para el tiempo de ejecución de Pyflink: modo de proceso. El modo de proceso ahora puede ejecutar funciones definidas por el usuario de Python en el mismo subproceso en lugar de hacerlo en un proceso independiente.
Correcciones de errores adaptados
Amazon Managed Service para Apache Flink adapta correcciones de la comunidad de Flink para problemas críticos. Esto significa que el tiempo de ejecución es diferente al de la versión 1.18.1 de Apache Flink. La siguiente es una lista de las correcciones de errores que hemos adaptado:
| Enlace de JIRA de Apache Flink | Description (Descripción) |
|---|---|
| FLINK-33863 |
Esta solución corrige el problema que se produce cuando ocurre un error al restaurar el estado de las instantáneas comprimidas. |
| FLINK-34063 |
Esta solución corrige el problema que se produce cuando los operadores de origen pierden las divisiones cuando la compresión de instantáneas está habilitada. Apache Flink ofrece compresión opcional (de forma predeterminada: desactivada) para todos los puntos de control y puntos de almacenamiento. Apache Flink identificó un error en Flink 1.18.1 que impedía restaurar correctamente el estado del operador cuando se activaba la compresión de instantáneas. Esto podría provocar la pérdida de datos o la imposibilidad de restaurarlos desde el punto de control. |
| FLINK-35069 |
Esta solución corrige el problema que se produce cuando una tarea de Flink se atasca y se activa un temporizador al final de una ventana. |
| FLINK-35097 |
Esta solución corrige el problema de los registros duplicados en un conector del sistema de archivos de la API de tablas con el formato RAW. |
| FLINK-34379 |
Esta solución soluciona el problema de OutOfMemoryError cuando se habilita el filtrado de tablas dinámicas. |
| FLINK-28693 |
Esta solución corrige el problema de que la API de tablas no podía generar un gráfico si la marca de agua tenía una expresión ColumnBy. |
| FLINK-35217 |
Esta solución corrige el problema de un punto de control dañado durante un modo de error de trabajo específico de Flink. |
Componentes
| Componente | Versión |
|---|---|
| Java | 11 (recomendado) |
| Scala |
Desde la versión 1.15, Flink es. Scala-agnostic Como referencia, MSF Flink 1.18 se ha verificado con Scala 3.3 (LTS). |
| Managed Service para Apache Flink para el tiempo de ejecución de Flink (aws-kinesisanalytics-runtime) | 1.2.0 |
| AWS Conector Kinesis (flink-connector-kinesis) [Fuente] |
4.2.0-1.18 |
| AWS Conector Kinesis (flink-connector-kinesis) [Sink] |
4.2.0-1.18 |
| Apache Beam (solo aplicaciones Beam) |
A partir de la versión 2.57.0. Para obtener más información, consulte Compatibilidad de versiones de Flink |
Problemas conocidos
Amazon Managed Service para Apache Flink Studio
Studio utiliza los cuadernos de Apache Zeppelin para ofrecer una experiencia de desarrollo de interfaz única para desarrollar, depurar código y ejecutar aplicaciones de procesamiento de flujos de Apache Flink. Se requiere una actualización del intérprete Flink de Zeppelin para permitir la compatibilidad con Flink 1.18. Este trabajo está programado con la comunidad de Zeppelin y actualizaremos estas notas cuando esté finalizado. Se puede seguir utilizando Flink 1.15 con Amazon Managed Service para Apache Flink Studio. Para obtener más información, consulte Creación de un cuaderno de Studio.
Marca de agua el tiempo de inactividad incorrecto cuando se contrapresiona una subtarea
Existe un problema conocido en la generación de marcas de agua que provocaba la contrapresión de una subtarea, que se solucionó en Flink 1.19 y versiones posteriores. Esto puede aparecer como un aumento en el número de registros atrasados cuando se contrapresiona un gráfico de tareas de Flink. Se recomienda que actualice a la versión principal más reciente de Flink para esta solución. Para obtener más información, consulte Registro incorrecto del tiempo de inactividad con marca de agua cuando se trata de una subtarea. backpressured/blocked
