MSCK REPAIR TABLE

É possível que demore algum tempo para adicionar todas as partições. Se expirar, essa operação estará em um estado incompleto, quando somente algumas partições são adicionadas ao catálogo. Você deve executar MSCK REPAIR TABLE na mesma tabela até que todas as partições sejam adicionadas. Para ter mais informações, consulte Particionar dados.

Para as partições que não são compatíveis com o Hive, use ALTER TABLE ADD PARTITION para carregá-las para poder consultar os dados.

Os locais das partições que serão usados com o Athena devem aplicar o protocolo do s3 (por exemplo, s3://amzn-s3-demo-bucket/folder/). No Athena, os locais que usam outros protocolos (por exemplo, s3a://bucket/folder/) resultam em falhas nas consultas MSCK REPAIR TABLE quando elas são executadas nas tabelas que os contêm.

Como MSCK REPAIR TABLE verifica uma pasta e as subpastas para encontrar um esquema de partição correspondente, mantenha os dados das tabelas separadas em hierarquias de pastas separadas. Por exemplo, suponha que você tenha dados na tabela 1 em s3://amzn-s3-demo-bucket1 e dados na tabela 2 em s3://amzn-s3-demo-bucket1/table-2-data. Se ambas as tabelas forem particionadas por string, MSCK REPAIR TABLE adicionará as partições da tabela 2 à tabela 1. Para evitar isso, use estruturas de pastas separadas, como s3://amzn-s3-demo-bucket1 e s3://amzn-s3-demo-bucket2. Observe que esse comportamento é consistente com o Amazon EMR e o Apache Hive.

Devido a um problema conhecido, a MSCK REPAIR TABLE falha silenciosamente quando os valores da partição contêm dois pontos (:), por exemplo, quando o valor da partição é um carimbo de data/hora. Como solução alternativa, use ALTER TABLE ADD PARTITION.

MSCK REPAIR TABLE X não adiciona nomes de colunas de partição que começam com um sublinhado (_). Para contornar essa limitação, utilize ALTER TABLE ADD PARTITION.

Acesso do AWS Glue: certifique-se de que o perfil do AWS Identity and Access Management (IAM) tenha uma política que permita a ação glue:BatchCreatePartition. Para obter mais informações, consulte Permitir glue:BatchCreatePartition na política do IAM adiante neste documento.

Acesso do Amazon S3: certifique-se de que o perfil tenha uma política com permissões suficientes para acessar o Amazon S3, incluindo a ação s3:DescribeJob. Para ver um exemplo das ações do Amazon S3 que devem ser permitidas, consulte o exemplo de política de bucket em Configurar o acesso entre contas do Athena aos buckets do Amazon S3.

Uso de maiúsculas e minúsculas em chaves de objeto do Amazon S3: verifique se o caminho do Amazon S3 está em letras minúsculas em vez de minúsculas concatenadas (por exemplo, userid em vez de userId) ou use ALTER TABLE ADD PARTITION para especificar os nomes de chaves de objeto. Para obter mais informações, consulte Alterar ou redefinir o caminho do Amazon S3 adiante neste documento.

Tempo limite de consulta esgotado: é melhor usar MSCK REPAIR TABLE para criar uma tabela pela primeira vez ou quando há incerteza sobre a paridade entre os dados e os metadados da partição. Se você usa MSCK REPAIR TABLE para adicionar novas partições com frequência (por exemplo, diariamente) e sempre enfrenta problemas de tempo limite de consulta esgotado, considere usar ALTER TABLE ADD PARTITION.

Partições ausentes do sistema de arquivos: se você excluir manualmente uma partição do Amazon S3 e executar MSCK REPAIR TABLE, poderá receber a mensagem de erro: Partições ausentes do sistema de arquivos. Isso ocorre porque MSCK REPAIR TABLE não remove partições obsoletas dos metadados da tabela. Em vez disso, execute ALTER TABLE DROP PARTITION para remover as partições excluídas dos metadados da tabela. Do mesmo modo, veja que SHOW PARTITIONS lista apenas as partições nos metadados, e não as partições no sistema de arquivos.

Erro “NullPointerException name is null” (O nome de NullPointerException é nulo)

Se você usar a operação de API do AWS Glue CreateTable ou o modelo AWS::Glue::Table do AWS CloudFormation para criar uma tabela para uso no Athena sem especificar a propriedade TableType e, depois, executar uma consulta DDL, como SHOW CREATE TABLE ou MSCK REPAIR TABLE, poderá receber a mensagem de erro FALHA: o nome de NullPointerException é nulo.

Para resolver o erro, especifique um valor para o atributo TableInput TableType como parte da chamada de API CreateTable do AWS Glue ou do modelo do AWS CloudFormation. Os valores possíveis para TableType são EXTERNAL_TABLE ou VIRTUAL_VIEW.

Esse requisito é aplicado somente quando você cria uma tabela usando a operação de API do AWS Glue CreateTable ou o modelo do AWS::Glue::Table. Se você criar uma tabela do Athena usando uma instrução DDL ou um crawler do AWS Glue, a propriedade TableType será definida automaticamente para você.

Use letras minúsculas em vez de minúsculas concatenadas ao criar chaves de objeto do Amazon S3:

s3://amzn-s3-demo-bucket/path/userid=1/

s3://amzn-s3-demo-bucket/path/userid=2/

s3://amzn-s3-demo-bucket/path/userid=3/

Use ALTER TABLE ADD PARTITION para redefinir o local, como no seguinte exemplo:

ALTER TABLE table_name ADD [IF NOT EXISTS]
PARTITION (userId=1)
LOCATION 's3://amzn-s3-demo-bucket/path/userId=1/'
PARTITION (userId=2)
LOCATION 's3://amzn-s3-demo-bucket/path/userId=2/'
PARTITION (userId=3)
LOCATION 's3://amzn-s3-demo-bucket/path/userId=3/'