Gerar índices de partição - AWS Glue

Gerar índices de partição

O Catálogo de dados é compatível com a criação de índices de partição para fornecer uma pesquisa eficiente de partições específicas. Para obter mais informações, consulte Criar índices de partição. O crawler do AWS Glue cria índices de partição para destinos do Amazon S3 e do Delta Lake por padrão.

AWS Management Console
  1. Faça login no AWS Management Console e abra o console do AWS Glue em https://console.aws.amazon.com/glue/.

  2. Escolha Crawlers no Catálogo de dados.

  3. Quando você define um crawler, a opção Criar índices de partição automaticamente é habilitada por padrão em Opções avançadas na página Definir saída e programação.

    Para desabilitar essa opção, você pode desmarcar a caixa de seleção Criar índices de partição automaticamente no console.

  4. Conclua a configuração do crawler e escolha Criar crawler.

AWS CLI

Também é possível desabilitar essa opção usando a AWS CLI, defina o CreatePartitionIndex no parâmetro configuration. O valor padrão é true.

aws glue update-crawler \ --name myCrawler \ --configuration '{"Version": 1.0, "CreatePartitionIndex": false }'

Notas de uso para índices de partição

  • As tabelas criadas pelo crawler não têm a variável partition_filtering.enabled por padrão. Para obter mais informações, consulte AWS Glue partition indexing and filtering.

  • A criação de índices de partição para partições criptografadas não é compatível.