Uso de Apache Hudi con EMR sin servidor

Para usar Apache Hudi con aplicaciones EMR sin servidor

1. Establezca las propiedades de Spark requeridas en la ejecución de la tarea de Spark correspondiente.

   spark.jars=/usr/lib/hudi/hudi-spark-bundle.jar
   spark.serializer=org.apache.spark.serializer.KryoSerializer

2. Para sincronizar una tabla de Hudi con el catálogo configurado, designa el catálogo de datos de AWS Glue como metaalmacén o configura un metaalmacén externo. EMR sin servidor admite hms como modo de sincronización de las tablas Hive para las cargas de trabajo de Hudi. EMR sin servidor activa esta propiedad de forma predeterminada. Para obtener más información acerca de cómo configurar su metaalmacén, consulte Configuración de metaalmacenes para EMR sin servidor.

   importante

   EMR sin servidor no admite HIVEQL ni JDBC como opciones de modo de sincronización para que las tablas Hive gestionen las cargas de trabajo de Hudi. Para obtener más información, consulte Modos de sincronización.

   Cuando utilizas el catálogo de datos de AWS Glue como metaalmacén, puedes especificar las siguientes propiedades de configuración para tu trabajo de Hudi.

   --conf spark.jars=/usr/lib/hudi/hudi-spark-bundle.jar,
   --conf spark.serializer=org.apache.spark.serializer.KryoSerializer,
   --conf spark.hadoop.hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory