Mejores prácticas de configuración de Hudi - Managed Service para Apache Flink

Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Mejores prácticas de configuración de Hudi

Para ejecutar los conectores Hudi en Managed Service for Apache Flink, recomendamos los siguientes cambios de configuración.

Desactivar hoodie.embed.timeline.server

El conector Hudi de Flink configura un servidor de cronograma (TM) integrado en el gestor de tareas (JM) de Flink para almacenar en caché los metadatos y mejorar el rendimiento cuando el paralelismo de las tareas es elevado. Le recomendamos que desactive este servidor integrado en Managed Service para Apache Flink, ya que deshabilitamos la comunicación que no es de Flink entre JM y TM.

Si este servidor está activado, Hudi Writes primero intentará conectarse al servidor integrado en JM y, a continuación, volverá a leer los metadatos de Amazon S3. Esto significa que Hudi pierde el tiempo de conexión, lo que retrasa las escrituras de Hudi y repercute en el rendimiento del servicio gestionado de Apache Flink.