Especificar la ubicación de la tabla y el nivel de partición - AWS Glue

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Especificar la ubicación de la tabla y el nivel de partición

De forma predeterminada, cuando un rastreador define tablas para los datos almacenados en Amazon S3, intenta fusionar los esquemas y crear tablas de nivel superior (). year=2019 En algunos casos, es posible que espere que el rastreador cree una tabla para la carpeta month=Jan, pero en su lugar el rastreador crea una partición ya que una carpeta “hermana” (month=Mar) se fusionó en la misma tabla.

La opción de rastreador de nivel de tabla proporciona la flexibilidad para indicar al rastreador dónde se encuentran las tablas y cómo desea crear las particiones. Cuando se especifica un Nivel de tabla, la tabla se crea en ese nivel absoluto a partir del bucket de Amazon S3.

Agrupación de rastreadores con nivel de tabla especificado como nivel 2.

Al configurar el rastreador en la consola, puede especificar un valor para la opción del rastreador Nivel de tabla. El valor debe ser un entero positivo que indique la ubicación de la tabla (el nivel absoluto del conjunto de datos). El nivel de la carpeta de nivel superior es 1. Por ejemplo, para la ruta mydataset/year/month/day/hour, si el nivel se establece en 3, la tabla se crea en la ubicación mydataset/year/month.

Console
Especificación de un nivel de tabla en la configuración del rastreador.
API

Cuando configure el rastreador medianteAPI, defina el Configuration campo con una representación en cadena del siguiente JSON objeto; por ejemplo:

configuration = jsonencode( { "Version": 1.0, "Grouping": { TableLevelConfiguration = 2 } })
CloudFormation

En este ejemplo, configuras la opción de nivel de tabla disponible en la consola dentro de tu CloudFormation plantilla:

"Configuration": "{ \"Version\":1.0, \"Grouping\":{\"TableLevelConfiguration\":2} }"