Uma conexão do AWS Glue é um objeto do Data Catalog que armazena credenciais de login, strings de URI, informações de nuvem privada virtual (VPC) e muito mais para determinado armazenamento de dados. Crawlers, trabalhos e endpoints de desenvolvimento do AWS Glue usam conexões do para acessar determinados tipos de armazenamento de dados. É possível usar conexões para fontes e destinos, além de reutilizar a mesma conexão em vários trabalhos de crawler ou de extração, transformação e carregamento (ETL).
A versão mais recente do esquema de conexões do AWS Glue oferece uma forma unificada de gerenciar conexões de dados entre serviços e aplicações da AWS, como AWS Glue, Amazon Athena e Amazon SageMaker AI Unified Studio.
Visão geral do uso de conectores e conexões
Uma conexão que contém as propriedades necessárias para se conectar a um datastore específico. Ao criar uma conexão, ela é armazenada no AWS Glue Data Catalog. Você escolhe um conector e, em seguida, cria uma conexão com base nele.
É possível assinar conectores para armazenamentos de dados não suportados nativamente no AWS Marketplace e, em seguida, usá-los ao criar conexões. Os desenvolvedores também podem criar seus próprios conectores, e é possível usá-los ao criar conexões.
nota
Conexões criadas usando conectores personalizados ou do AWS Marketplace no AWS Glue Studio aparecem no console do AWS Glue com o tipo definido como UNKNOWN.
As etapas a seguir descrevem o processo geral do uso de conectores no AWS Glue Studio:
-
Assine um conector no AWS Marketplace ou desenvolva seu próprio conector e carregue-o no AWS Glue Studio. Para obter mais informações, consulte Adição de conectores ao AWS Glue Studio.
-
Revise as informações de uso do conector. É possível encontrar essas informações na guia Uso na página de produto do conector. Por exemplo, se clicar na guia Utilização na página deste produto, Conector do AWS Glue para o Google BigQuery
, será possível ver, na seção Recursos adicionais, um link para um blog sobre o uso desse conector. -
Crie uma conexão. Você escolhe qual conector usar e fornece informações adicionais para a conexão, como credenciais de login, strings de URI e informações da nuvem privada virtual (VPC). Para obter mais informações, consulte Criar conexões para conectores.
-
Crie um perfil do IAM para o seu trabalho. O trabalho assume a permissão de IAM role que você especificou ao criá-lo. Esse perfil do IAM precisa ter as permissões obrigatórias para autenticar com, extrair dados de e gravar dados em seus armazenamentos de dados.
-
Crie um trabalho de ETL e configure as propriedades da origem dos dados para o seu trabalho de ETL. Forneça as opções de conexão e as informações de autenticação conforme instruído pelo provedor de conector personalizado. Para obter mais informações, consulte Criação de trabalhos com conectores personalizados.
-
Personalize seu trabalho de ETL adicionando transformações ou armazenamentos de dados adicionais, conforme descrito em Iniciar trabalhos de ETL visual no AWS Glue Studio.
-
Se estiver usando um conector para o destino de dados, configure as propriedades de destino de dados para seu trabalho de ETL. Forneça as opções de conexão e as informações de autenticação conforme instruído pelo provedor de conector personalizado. Para obter mais informações, consulte Criação de trabalhos com conectores personalizados.
-
Personalize o ambiente de execução de trabalho configurando as propriedades do trabalho, conforme descrito em Modificar as propriedades do trabalho.
-
Execute o trabalho.
