Conectar a dados - AWS Glue
Visão geral do uso de conectores e conexões

Conectar a dados

Uma AWS Glue conexão é um objeto do Catálogo de Dados que armazena credenciais de login, URI cadeias de caracteres, informações de nuvem privada virtual (VPC) e muito mais para um armazenamento de dados específico. AWS Glue rastreadores, trabalhos e endpoints de desenvolvimento usam conexões para acessar determinados tipos de armazenamentos de dados. Você pode usar conexões para origens e destinos e reutilizar a mesma conexão em vários rastreadores ou trabalhos de extração, transformação e carregamento ()ETL.

Visão geral do uso de conectores e conexões

Uma conexão que contém as propriedades necessárias para se conectar a um datastore específico. Ao criar uma conexão, ela é armazenada no AWS Glue Data Catalog. Você escolhe um conector e, em seguida, cria uma conexão com base nele.

Você pode assinar conectores para armazenamentos de dados sem suporte nativo e AWS Marketplace, em seguida, usar esses conectores ao criar conexões. Os desenvolvedores também podem criar seus próprios conectores, e você pode usá-los ao criar conexões.

nota

As conexões criadas usando AWS Marketplace conectores personalizados ou em AWS Glue Studio aparecem no AWS Glue console com o tipo definido como. UNKNOWN

As etapas a seguir descrevem o processo geral de uso de conectores em: AWS Glue Studio

  1. Assine um conector em AWS Marketplace, ou desenvolva seu próprio conector e faça o upload para AWS Glue Studio. Para obter mais informações, consulte Adição de conectores ao AWS Glue Studio.

  2. Revise as informações de uso do conector. Você pode encontrar essas informações na guia Usage (Uso) na página de produto do conector. Por exemplo, se você clicar na guia Uso desta página do produto, AWS Glue Connector for Google BigQuery, poderá ver na seção Recursos adicionais um link para um blog sobre o uso desse conector. Outros conectores podem conter links para instruções na seção Visão geral, como mostrado na página de produto do Conector do Cloudwatch Logs para AWS Glue.

  3. Crie uma conexão. Você escolhe qual conector usar e fornece informações adicionais para a conexão, como credenciais de login, URI cadeias de caracteres e informações de nuvem privada virtual (VPC). Para obter mais informações, consulte Criar conexões para conectores.

  4. Crie uma IAM função para seu trabalho. O trabalho pressupõe as permissões da IAM função que você especifica ao criá-la. Essa IAM função deve ter as permissões necessárias para se autenticar, extrair dados e gravar dados em seus armazenamentos de dados.

  5. Crie um ETL trabalho e configure as propriedades da fonte de dados para seu ETL trabalho. Forneça as opções de conexão e as informações de autenticação conforme instruído pelo provedor de conector personalizado. Para obter mais informações, consulte Criação de trabalhos com conectores personalizados.

  6. Personalize seu ETL trabalho adicionando transformações ou armazenamentos de dados adicionais, conforme descrito emIniciar trabalhos de ETL visual no AWS Glue Studio.

  7. Se estiver usando um conector para o destino de dados, configure as propriedades do destino de dados para seu ETL trabalho. Forneça as opções de conexão e as informações de autenticação conforme instruído pelo provedor de conector personalizado. Para obter mais informações, consulte Criação de trabalhos com conectores personalizados.

  8. Personalize o ambiente de execução de trabalho configurando as propriedades do trabalho, conforme descrito em Modificar as propriedades do trabalho.

  9. Execute o trabalho.