Considerações e limitações da consulta a dados registrados no Lake Formation

Considere as questões a seguir ao usar o Athena para consultar dados registrados no Lake Formation. Para obter informações adicionais, consulte Problemas conhecidos do AWS Lake Formation no Guia do desenvolvedor do AWS Lake Formation.

Metadados de coluna visíveis para usuários não autorizados em algumas circunstâncias com Avro e SerDe personalizado

A autorização no nível da coluna do Lake Formation impede que os usuários acessem os dados nas colunas para as quais eles não tenham permissões do Lake Formation. No entanto, em determinadas situações, os usuários podem acessar metadados que descrevem todas as colunas na tabela, incluindo as colunas para as quais eles não têm permissões para os dados.

Isso ocorre quando os metadados da coluna são armazenados nas propriedades das tabelas usando o formato de armazenamento Apache Avro ou um serializador/desserializador (SerDe) personalizado no qual o esquema da tabela é definido nas propriedades da tabela juntamente com a definição do SerDe. Ao usar o Athena com o Lake Formation, recomendamos revisar o conteúdo das propriedades da tabela que você registrou no Lake Formation e, sempre que possível, limitar as informações armazenadas nas propriedades da tabela para impedir que metadados confidenciais fiquem visíveis aos usuários.

Entender o Lake Formation e as visualizações

Para dados registrados no Lake Formation, um usuário do Athena poderá criar um VIEW somente se tiver permissões do Lake Formation para as tabelas, as colunas e os locais de dados de origem do Amazon S3 nos quais a VIEW se baseia. Depois que uma VIEW é criada no Athena, as permissões do Lake Formation podem ser aplicadas à VIEW. As permissões no nível da coluna não estão disponíveis para uma VIEW. Os usuários com permissões do Lake Formation para uma VIEW, mas sem permissões para a tabela e as colunas nas quais a visualização foi baseada, não podem usar a VIEW para consultar dados. No entanto, os usuários com essa combinação de permissões podem usar instruções como DESCRIBE VIEW, SHOW CREATE VIEW e SHOW COLUMNS para ver metadados VIEW. Por esse motivo, alinhe as permissões do Lake Formation a cada VIEW com as permissões subjacentes da tabela. Filtros de células definidos em uma tabela não se aplicam a um VIEW para essa tabela. Os nomes de links de recursos devem ter o mesmo nome que o recurso na conta de origem. Há limitações adicionais ao se trabalhar com visualizações em uma configuração entre contas. Para obter mais informações sobre como configurar permissões para visualizações compartilhadas entre contas, consulte Configurar o acesso entre contas ao catálogo de dados.

Suporte ao DDL do Iceberg

Atualmente, o Athena não oferece suporte a operações de DDL em tabelas Iceberg cuja localização esteja registrada no Lake Formation. A tentativa de executar uma consulta DDL em uma dessas tabelas do Iceberg pode retornar um erro de acesso negado ao Amazon S3 ou falhar com o esgotamento do tempo limite da consulta. As operações de DDL nas tabelas do Iceberg exigem que o usuário tenha acesso direto do Amazon S3 à localização da tabela do Iceberg.

Controle de acesso detalhado do Lake Formation e grupos de trabalho do Athena

Os usuários do mesmo grupo de trabalho do Athena podem visualizar os dados que o controle de acesso detalhado do Lake Formation configurou para serem acessíveis ao grupo de trabalho. Para obter mais informações sobre como usar o controle de acesso detalhado no Lake Formation, consulte Gerenciar o controle de acesso detalhado usando o AWS Lake Formation no AWS Big Data Blog.

Local dos resultados de consultas do Athena no Amazon S3 não registrado no Lake Formation

O local dos resultados de consultas do Athena no Amazon S3 não pode ser registrado no Lake Formation. As permissões do Lake Formation não limitam o acesso a esses locais. A menos que você limite o acesso, os usuários do Athena podem acessar arquivos de resultados de consulta e metadados mesmo sem permissões do Lake Formation para os dados. Para evitar isso, recomendamos que você use grupos de trabalho para especificar o local dos resultados das consultas e alinhe a associação do grupo de trabalho com as permissões do Lake Formation. Depois disso, você pode usar as políticas de permissões do IAM para limitar o acesso aos locais de resultados de consultas. Para obter mais informações sobre resultados de consultas, veja Trabalhar com resultados de consultas e consultas recentes.

Usar grupos de trabalho do Athena para limitar o acesso ao histórico de consultas

O histórico de consultas do Athena expõe uma lista de consultas salvas e strings de consulta completas. A menos que você use grupos de trabalho para separar o acesso a históricos de consultas, os usuários do Athena que não estão autorizados a consultar os dados no Lake Formation poderão visualizar as strings de consultas executadas nesses dados, incluindo nomes de coluna, critérios de seleção e etc. Recomendamos que você use grupos de trabalho para separar históricos de consultas e alinhar a associação do grupo de trabalho do Athena com as permissões do Lake Formation para limitar o acesso. Para ter mais informações, consulte Usar grupos de trabalho para controlar o acesso a consultas e os custos.

Consultar as tabelas criptografadas CSE_KMS registradas no Lake Formation

Tabelas em Open Table Format (OTF), como do Apache Iceberg, que têm as seguintes características, não podem ser consultadas com o Athena:

Para consultar tabelas não OTF criptografadas com uma chave CSE_KMS, adicione o bloco a seguir à política da chave AWS KMS que você usa para criptografia CSE. <KMS_KEY_ARN> indica o ARN da chave AWS KMS que criptografa os dados. <IAM-ROLE-ARN> indica o ARN do perfil do IAM que registra a localização do Amazon S3 no Lake Formation.

{
    "Sid": "Allow use of the key",
    "Effect": "Allow",
    "Principal": {
        "AWS": "*"
    },
    "Action": "kms:Decrypt",
    "Resource": "<KMS-KEY-ARN>",
    "Condition": {
        "ArnLike": {
            "aws:PrincipalArn": "<IAM-ROLE-ARN>"
        }
    }
}

Locais de dados particionados registrados no Lake Formation devem estar em subdiretórios de tabela

As tabelas particionadas registradas no Lake Formation devem ter dados particionados em diretórios que são subdiretórios da tabela no Amazon S3. Por exemplo, uma tabela com o local s3://amzn-s3-demo-bucket/mytable e as partições s3://amzn-s3-demo-bucket/mytable/dt=2019-07-11, s3://amzn-s3-demo-bucket/mytable/dt=2019-07-12 etc. pode ser registrada no Lake Formation e consultada com o Athena. Por outro lado, uma tabela com o local s3://amzn-s3-demo-bucket/mytable e as partições localizadas em s3://amzn-s3-demo-bucket/dt=2019-07-11, s3://amzn-s3-demo-bucket/dt=2019-07-12 etc. não pode ser registrada no Lake Formation. Como essas partições não são subdiretórios de s3://amzn-s3-demo-bucket/mytable, elas também não podem ser lidas pelo Athena.

Consultas Create Table As Select (CTAS) exigem permissões de gravação do Amazon S3

As Create Table As Statements (CTAS) exigem acesso de gravação ao local das tabelas do Amazon S3. Para executar consultas CTAS em dados registrados no Lake Formation, os usuários do Athena devem ter as permissões do IAM para gravar nos locais de tabela do Amazon S3 e as devidas permissões do Lake Formation para ler os locais de dados. Para ter mais informações, consulte Criar uma tabela com base em resultados de consultas (CTAS).

A permissão DESCRIBE é necessária no banco de dados padrão

A permissão DESCRIBE do Lake Formation é necessária no banco de dados default para que o Lake Formation possa visualizá-lo. O comando da AWS CLI de exemplo a seguir concede a permissão DESCRIBE no banco de dados default ao usuário datalake_user1 na conta da AWS 111122223333.

aws lakeformation grant-permissions --principal DataLakePrincipalIdentifier=arn:aws:iam::111122223333:user/datalake_user1 --permissions "DESCRIBE" --resource '{ "Database": {"Name":"default"}}

Para obter mais informações, consulte DESCRIBE no Guia do desenvolvedor do AWS Lake Formation.