As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Usando AWS Lake Formation com o Amazon Athena
Amazon Athena é um serviço de consulta sem servidor que ajuda a analisar dados estruturados, semiestruturados e não estruturados armazenados no Amazon S3. Você pode usar o Athena SQL para consultar dados dos formatos de dadosCSV,JSON, Parquet e Avro. O Athena SQL também oferece suporte a formatos de tabela como Apache Hive, Apache Hudi
Aqui estão alguns casos de uso comuns em que você pode usar o Lake Formation com o Athena.
Use as permissões do Lake Formation para acessar os recursos do catálogo de dados (banco de dados e tabelas) do Athena. Você pode usar o método de recurso nomeado ou as tags do LF para definir permissões no banco de dados e nas tabelas. Para obter mais informações, consulte:
nota
As permissões do Lake Formation se aplicam somente ao usar o Athena SQL para consultar dados de origem do Amazon S3 e metadados no catálogo de dados.
O Athena Spark não é compatível com a consulta de tabelas do Catálogo de Dados com permissões do Lake Formation. As permissões do Lake Formation oferecem suporte a operações de leitura e gravação em bancos de dados e tabelas.
nota
Você não pode aplicar filtros de dados ao usar tags do LF para gerenciar permissões nos recursos do catálogo de dados.
Controle os resultados da consulta usando a Filtros de dados no Lake Formation para proteger tabelas em seus data lakes do Amazon S3, concedendo permissões nos níveis de coluna, linha e célula. Veja a limitação na projeção de partições no Guia do usuário do Amazon Athena.
Aplique um controle de acesso refinado aos dados disponíveis para o usuário baseado no SAML Athena ao executar consultas federadas.
O Athena JDBC e ODBC os drivers oferecem suporte à configuração do acesso federado à sua fonte de dados usando o provedor de identidade (IdP) SAML baseado. Use a Amazon QuickSight integrada ao Lake Formation com sua IAM função, SAML usuários ou grupos existentes para visualizar os resultados da consulta do Athena.
nota
As permissões do Lake Formation para SAML usuários e grupos serão aplicadas somente quando você enviar consultas ao Athena usando JDBC o ODBC driver or.
Para obter mais informações, consulte Usando o Lake Formation e o Athena JDBC e ODBC drivers para acesso federado ao Athena.
nota
Atualmente, não há suporte para autorizar o acesso a SAML identidades em Lake Formation nas seguintes regiões:
-
Oriente Médio (Bahrein): me-south-1
-
Ásia-Pacífico (Hong Kong): ap-east-1
-
África (Cidade do Cabo): af-south-1
-
China (Ningxia): cn-northwest-1
-
Asia Pacific (Osaka): ap-northeast-3
-
Use Compartilhamento de dados entre contas no Lake Formation para consultar tabelas em outra conta.
nota
Para obter mais informações sobre limitações ao usar as permissões do Lake Formation para Views, consulte Considerações e limitações.
Suporte a formatos de tabelas transacionais
A aplicação das permissões do Lake Formation permite que você proteja seus dados transacionais em seus data lakes baseados no Amazon S3. A tabela abaixo lista os formatos de tabela transacional compatíveis com as permissões do Athena e do Lake Formation. O Lake Formation impõe essas permissões quando os usuários do Athena executam suas consultas.
| Formato da tabela | Descrição e operações permitidas | Permissões do Lake Formation possíveis no Athena |
|---|---|---|
|
Apache Hudi |
Um formato usado para simplificar o processamento incremental de dados e o desenvolvimento de pipelines de dados. O Athena oferece suporte a operações de criação e leitura usando formatos de tabela Apache Hudi em conjuntos de dados do Amazon S3 para os tipos de tabela Hudi Copiar na Gravação (CoW) e Mesclar na Leitura (MoR). O Athena não suporta operações de gravação em tabelas Hudi. |
Use Filtragem de dados e segurança por célula no Lake Formation para proteger a tabela Hudi com permissões no nível de tabela, coluna, linha e célula. |
|
Apache Iceberg |
Um formato de tabela aberto que gerencia grandes coleções de arquivos como tabelas e oferece suporte a operações analíticas modernas de data lake, como inserção, atualização, exclusão e consultas de viagem no tempo em nível de registro. Para obter mais informações sobre o suporte do Athena para tabelas Iceberg, consulte Como usar tabelas Iceberg. |
Suporte para permissões em nível de tabela, coluna, linha e célula. Atualmente, o Lake Formation não oferece suporte ao gerenciamento de permissões em operações de gravação como |
|
Linux Foundation Delta Lake |
O Delta Lake é um projeto de código aberto que ajuda a implementar arquiteturas modernas de data lake comumente criadas no Amazon S3 ou no Hadoop Distributed File System (). HDFS O Athena é compatível com tabelas Delta Lake criadas usando uma definição de tabela de manifesto baseada em links simbólicos a AWS Glue Data Catalog partir de uma tabela Delta Lake. Para obter mais informações, consulte Rastrear tabelas do Delta Lake usando AWS Glue O Athena (motor de versão 3) suporta a leitura de tabelas nativas do Delta Lake. Para obter mais informações, consulte Apresentando o suporte de mesa nativo do Delta Lake com AWS Glue rastreadores |
Suporte para permissões em nível de tabela, coluna, linha e célula para tabelas de links simbólicos e tabelas nativas do Delta Lake. |
Recursos adicionais
Publicações em blogs, vídeos e oficinas
-
Como consultar um conjunto de dados do Apache Hudi em um data lake do Amazon S3 com o Amazon Athena
-
Crie um data lake Apache Iceberg usando Amazon Athena, EMR Amazon e AWS Glue
Insira, atualize e exclua no Amazon S3 com Athena e Apache Iceberg
Oficina de Controle de acesso baseado em tag do LF
do Lake Formation sobre como consultar um data lake.
