MSCK REPAIR TABLE

Es posible que tarde un tiempo en añadir todas las particiones. Si esta operación agota el tiempo de espera, se encontrará en un estado incompleto en el que solo se habrán añadido unas cuantas particiones al catálogo. Debe ejecutar MSCK REPAIR TABLE en la misma tabla hasta que se hayan agregado todas las particiones. Para obtener más información, consulte Partición de datos.

En el caso de las particiones que no son compatibles con Hive, utilice ALTER TABLE ADD PARTITION para cargar las particiones de modo que pueda consultar los datos.

Las ubicaciones de partición que se van a utilizar con Athena deben utilizar el protocolo s3 (por ejemplo, s3://amzn-s3-demo-bucket/folder/). En Athena, las ubicaciones que utilizan otros protocolos (por ejemplo, s3a://bucket/folder/) producirán errores de consulta cuando se ejecuten consultas MSCK REPAIR TABLE en las tablas que contienen.

Dado que MSCK REPAIR TABLE analiza una carpeta y sus subcarpetas para encontrar un esquema de partición coincidente, asegúrese de mantener los datos de tablas separadas en jerarquías de carpetas separadas. Por ejemplo, supongamos que tiene los datos de la tabla 1 en s3://amzn-s3-demo-bucket1 y los datos de la tabla 2 en s3://amzn-s3-demo-bucket1/table-2-data. Si ambas tablas están particionadas por cadena, MSCK REPAIR TABLE agregará las particiones de la tabla 2 a la tabla 1. Para evitarlo, utilice estructuras de carpetas independientes, como s3://amzn-s3-demo-bucket1 y s3://amzn-s3-demo-bucket2 en su lugar. Tenga en cuenta que este comportamiento es coherente con Amazon EMR y Apache Hive.

Debido a un problema conocido, MSCK REPAIR TABLE falla silenciosamente cuando los valores de partición contienen el carácter de dos puntos (:) (por ejemplo, cuando el valor de la partición es una marca de tiempo). Como alternativa, utilice ALTER TABLE ADD PARTITION.

MSCK REPAIR TABLE no agrega nombres de columnas de particiones que comiencen por un carácter de guion bajo (_). Para evitar este límite, utilice ALTER TABLE ADD PARTITION.

Acceso a AWS Glue: asegúrese de que el rol de AWS Identity and Access Management (IAM) tenga una política que permita la acción glue:BatchCreatePartition. Para obtener más información, consulte Permitir glue:BatchCreatePartition en la política de IAM más adelante en este documento.

Acceso a Amazon S3: asegúrese de que el rol tenga una política con permisos suficientes para acceder a Amazon S3, incluida la acción s3:DescribeJob. Para obtener un ejemplo de las acciones de Amazon S3 que debe permitir, consulte el ejemplo de política de bucket en Configuración del acceso entre cuentas en Athena a los buckets de Amazon S3.

Mayúsculas en las claves de objeto en Amazon S3: asegúrese de que la ruta de Amazon S3 esté escrita en minúsculas en lugar de una combinación de mayúsculas y minúsculas (por ejemplo, userid en lugar de userId) o use ALTER TABLE ADD PARTITION para especificar los nombres de las claves de objeto. Para obtener más información, consulte Cambiar o redefinir la ruta de Amazon S3 más adelante en este documento.

Tiempos de espera de consulta: MSCK REPAIR TABLE se utiliza mejor al crear una tabla por primera vez o cuando hay incertidumbre acerca de la paridad entre los datos y los metadatos de partición. Si utiliza MSCK REPAIR TABLE para agregar particiones nuevas con frecuencia (por ejemplo, a diario) y experimentan tiempos de espera de consulta, considere usar ALTER TABLE ADD PARTITION.

Faltan particiones en el sistema de archivos: si elimina una partición de forma manual en Amazon S3 y, a continuación, ejecuta MSCK REPAIR TABLE, puede recibir el mensaje de error Faltan particiones en el sistema de archivos. Esto sucede porque MSCK REPAIR TABLE no elimina particiones obsoletas de los metadatos de la tabla. Para quitar las particiones eliminadas de los metadatos de la tabla, ejecute ALTER TABLE DROP PARTITION en su lugar. Tenga en cuenta que SHOW PARTITIONS (Mostrar particiones) muestra de manera similar solo las particiones en los metadatos, no las particiones en el sistema de archivos.

Error “NullPointerException name is null” (El nombre NullPointerException es nulo)

Si utiliza la operación de la API CreateTable de AWS Glue o la plantilla AWS::Glue::Table de AWS CloudFormation para crear una tabla para su uso en Athena sin especificar la propiedad TableType, y luego ejecuta una consulta DDL como SHOW CREATE TABLE o MSCK REPAIR TABLE, puede recibir el mensaje de error FAILED: NullPointerException Name is null (ERROR: el nombre NullPointerException es nulo).

Para resolver el error, especifique un valor para el atributo TableType TableInput como parte de la llamada a la API CreateTable de AWS Glue o la plantilla AWS CloudFormation. Entre los valores posibles para TableType, se incluyen EXTERNAL_TABLE o VIRTUAL_VIEW.

Este requisito se aplica únicamente cuando se crea una tabla mediante la operación de la API CreateTable de AWS Glue o la plantilla AWS::Glue::Table. Si crea una tabla para Athena mediante una instrucción DDL o un rastreador de AWS Glue, la propiedad TableType se define automáticamente.

Utilice minúsculas en lugar de una combinación de mayúsculas y minúsculas cuando cree las claves de objeto de Amazon S3:

s3://amzn-s3-demo-bucket/path/userid=1/

s3://amzn-s3-demo-bucket/path/userid=2/

s3://amzn-s3-demo-bucket/path/userid=3/

Use ALTER TABLE ADD PARTITION para redefinir la ubicación, como en el siguiente ejemplo:

ALTER TABLE table_name ADD [IF NOT EXISTS]
PARTITION (userId=1)
LOCATION 's3://amzn-s3-demo-bucket/path/userId=1/'
PARTITION (userId=2)
LOCATION 's3://amzn-s3-demo-bucket/path/userId=2/'
PARTITION (userId=3)
LOCATION 's3://amzn-s3-demo-bucket/path/userId=3/'