Sincronizar metadados do Delta Lake - Amazon Athena

Sincronizar metadados do Delta Lake

O Athena sincroniza os metadados da tabela, incluindo o esquema, as colunas com partições e as propriedades da tabela, para o AWS Glue se você usar o Athena para criar a tabela Delta Lake. Com o passar do tempo, esses metadados podem perder a sincronização com os metadados da tabela subjacente no log de transações. Para manter a tabela atualizada, escolha uma das seguintes opções:

Observe que os recursos a seguir exigem que seu esquema do AWS Glue sempre tenha o mesmo esquema do log de transações:

  • Lake Formation

  • Visões

  • Filtros de linha e coluna

Se o seu fluxo de trabalho não exigir nenhuma dessas funcionalidades e você preferir não manter essa compatibilidade, pode usar o DDL CREATE TABLE no Athena e depois adicionar o caminho do Amazon S3 como um parâmetro SerDe no AWS Glue.

Para criar uma tabela Delta Lake usando o Athena e consoles do AWS Glue

  1. Abra o console do Athena em https://console.aws.amazon.com/athena/.

  2. No editor de consultas do Athena, use o seguinte DDL para criar sua tabela Delta Lake. Observe que, ao usar esse método, o valor de TBLPROPERTIES deve ser 'spark.sql.sources.provider' = 'delta', e não'table_type' = 'delta'.

    Observe que esse mesmo esquema (com uma única coluna chamada col de tipo array<string>) é inserido quando você usa o Apache Spark (Athena para Apache Spark) ou a maioria dos outros mecanismos para criar sua tabela.

    CREATE EXTERNAL TABLE
   [db_name.]table_name(col array<string>)
   LOCATION 's3://amzn-s3-demo-bucket/your-folder/'
   TBLPROPERTIES ('spark.sql.sources.provider' = 'delta')

  3. Abra o console do AWS Glue em https://console.aws.amazon.com/glue/.

  4. No painel de navegação, escolha Catálogo de dados, Tabelas.

  5. Na lista de tabelas, escolha o link da sua tabela.

  6. Na página da tabela, escolha Ações, Editar tabela.

  7. Na seção Parâmetros do Serde, adicione a chave path com o valor s3://amzn-s3-demo-bucket/your-folder/.

  8. Escolha Salvar.