Ativando o otimizador de compactação - AWS União

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Ativando o otimizador de compactação

Você pode usar: AWS Glue console, AWS CLI, ou AWS APIpara habilitar a compactação de suas tabelas Apache Iceberg no AWS Glue Catálogo de dados. Para novas tabelas, você pode escolher o Apache Iceberg como formato de tabela e ativar a compactação ao criar a tabela. A compactação está desabilitada por padrão para novas tabelas.

Console
Para habilitar a compactação

  1. Abra as AWS Glue use o console https://console.aws.amazon.com/glue/e faça login como administrador do data lake, criador da tabela ou usuário que recebeu as lakeformation:GetDataAccess permissões glue:UpdateTable e na tabela.

  2. No painel de navegação, em catálogo de dados, escolha Tabelas.

  3. Na página Tabelas, escolha uma tabela em formato de tabela aberta para a qual você deseja habilitar a compactação e, em seguida, no menu Ações, escolha Otimização e, em seguida, escolha Habilitar.

    Você também pode ativar a compactação selecionando a guia Otimização da tabela na página de detalhes da tabela. Escolha a guia Otimização de tabela na seção inferior da página e escolha Ativar compactação.

    A opção Ativar otimização também está disponível quando você cria uma nova tabela Iceberg no Catálogo de Dados.

  4. Na página Habilitar otimização, escolha Compactação em Opções de otimização.

    Página de detalhes da tabela do Apache Iceberg com a opção Ativar compactação.

  5. Em seguida, selecione uma IAM função no menu suspenso com as permissões mostradas na Pré-requisitos de otimização de tabelas seção.

    Você também pode escolher a opção Criar uma nova IAM função para criar uma função personalizada com as permissões necessárias para executar a compactação.

    Siga as etapas abaixo para atualizar uma IAM função existente:

    1. Para atualizar a política de permissões da IAM função, no IAM console, acesse a IAM função que está sendo usada para executar a compactação.

    2. Na seção Adicionar permissões, escolha Criar política. Na janela recém-aberta do navegador, crie uma nova política para usar com sua função.

    3. Na página Criar política, escolha a guia JSON. Copie o JSON código mostrado nos Pré-requisitos no campo do editor de políticas.

  6. Escolha Habilitar otimização.

AWS CLI

O exemplo a seguir mostra como habilitar a compactação. Substitua o ID da conta por um válido AWS ID da conta. Substitua o nome do banco de dados e o nome da tabela pelo nome real da tabela do Iceberg e pelo nome do banco de dados. Substitua roleArn o pelo AWS Nome do recurso (ARN) da IAM função e nome da IAM função que tem as permissões necessárias para executar a compactação. 

aws glue create-table-optimizer \
  --catalog-id 123456789012 \
  --database-name iceberg_db \
  --table-name iceberg_table \
  --table-optimizer-configuration '{"roleArn":"arn:aws:iam::123456789012:role/optimizer_role", "enabled":'true'}' \
  --type compaction
AWS API

Chame a operação CreateTableOptimizer para ativar a compactação de uma tabela.

Depois de ativar a compactação, a guia Otimização de tabela mostra os seguintes detalhes da compactação (após aproximadamente 15 a 20 minutos):

Horário de início

A hora em que o processo de compactação iniciou no Catálogo de Dados. O valor é um registro de data e hora. UTC

Horário de término

A hora em que o processo de compactação terminou no catálogo de dados. O valor é um registro de data e hora. UTC

Status

O status de execução da compactação. Os valores são sucesso ou falha.

Arquivos compactados

Número total de arquivos compactados.

Bytes compactados

Número total de bytes compactados.