Use as informações abaixo para diagnosticar e corrigir vários problemas ao configurar o crawler usando as credenciais do Lake Formation.
Erro: The S3 location: s3://examplepath is not registered (O local do S3: s3://examplepath não está registrado)
Para que um crawler seja executado usando as credenciais do Lake Formation, você precisa primeiro configurar as permissões do Lake Formation. Para resolver esse erro, registre o local de destino do Amazon S3 no Lake Formation. Para obter mais informações, consulte Registering an Amazon S3 location (Registrar um local do Amazon S3).
Erro: User/Role is not authorized to perform: lakeformation:GetDataAccess on resource (O usuário/função não está autorizado(a) a executar lakeformation:GetDataAccess no recurso)
Adicione a permissão lakeformation:GetDataAccess
à função do crawler usando o console do IAM ou a AWS CLI. Com essa permissão, o Lake Formation concede a solicitação de credenciais temporárias para acessar os dados. Consulte a política abaixo:
{
"Version": "2012-10-17",
"Statement": {
"Effect": "Allow",
"Action": [
"lakeformation:GetDataAccess"
],
"Resource": "*"
}
}
Erro: Insufficient Lake Formation permission(s) on (Database name: exampleDatabase, Table Name: exampleTable) (Permissão(ões) do Lake Formation insuficiente(s) em (Nome do banco de dados: exampleDatabase, Nome da tabela: exampleTable))
No console do Lake Formation (https://console.aws.amazon.com/lakeformation/ Create
, Describe
, Alter
) no banco de dados, que é especificado como o banco de dados de saída. Você também pode conceder permissões na tabela. Para obter mais informações, consulte Granting database permissions using the named resource method (Conceder permissões de banco de dados usando o método de recurso nomeado).
Erro: Insufficient Lake Formation permission(s) on s3://examplepath (Permissão(ões) insuficiente(s) do Lake Formation em s3://examplepath)
-
Crawling entre contas
-
Faça login no console do Lake Formation (https://console.aws.amazon.com/lakeformation/
) usando a conta em que o bucket do Amazon S3 está registrado (conta B). Conceda permissões de localização de dados para a conta em que o crawler será executado. Isso permitirá que o crawler leia os dados da localização de destino do Amazon S3. -
Na conta na qual o crawler é criado (conta A), conceda permissões de localização de dados na localização de destino do Amazon S3 ao perfil do IAM usado para a execução do crawler, de modo que o crawler possa ler os dados do destino no Lake Formation. Para obter mais informações, consulte Granting data location permissions (same account) (Conceder permissões de localização de dados (mesma conta)).
-
-
Crawling na conta (crawler e localização registrada do Amazon S3 estão na mesma conta): conceda permissões de localização de dados ao perfil do IAM usado para a execução do crawler, de modo que o crawler possa ler os dados do destino no Lake Formation. Para obter mais informações, consulte Granting data location permissions (same account) (Conceder permissões de localização de dados [mesma conta]).
Perguntas frequentes sobre a configuração do crawler usando as credenciais do Lake Formation
-
Como faço para configurar um crawler para ser executado usando as credenciais do Lake Formation por meio do console da AWS?
No console do AWS Glue (https://console.aws.amazon.com/glue/
), ao configurar o crawler, selecione a opção Use Lake Formation credentials for crawling Amazon S3 data source (Usar credenciais do Lake Formation para crawling da fonte de dados do Amazon S3). Para crawling entre contas, especifique o ID da Conta da AWS na qual a localização de destino do Amazon S3 está registrada no Lake Formation. O campo accountId é opcional para crawling na conta. -
Como faço para configurar um crawler para ser executado usando as credenciais do Lake Formation por meio da AWS CLI?
Durante a chamada da API
CreateCrawler
, adicioneLakeFormationConfiguration
:"LakeFormationConfiguration": { "UseLakeFormationCredentials": true, "AccountId": "111111111111" (AWS account ID where the target Amazon S3 location is registered with Lake Formation) }
-
Quais são os destinos compatíveis com um crawler que usa as credenciais do Lake Formation?
Um crawler que usa credenciais do Lake Formation só é compatível com destinos do Amazon S3 (crawling na conta e entre contas) e do catálogo de dados na conta (onde a localização subjacente é o Amazon S3) e em destinos do Apache Iceberg.
-
Posso fazer crawling de vários buckets do Amazon S3 como parte de um único crawler usando as credenciais do Lake Formation?
Não. Para destinos de crawling que utilizam o fornecimento de credenciais do Lake Formation, as localizações subjacentes do Amazon S3 devem pertencer ao mesmo bucket. Por exemplo, os clientes podem usar vários locais de destino
(s3://bucket1/folder1, s3://bucket1/folder2)
se estiverem no mesmo bucket (bucket1). Não existe suporte para a especificação de buckets diferentes (s3://bucket1/folder1, s3://bucket2/folder2).