Usar as tabelas do Data Catalog para a origem dos dados - AWS Glue

Usar as tabelas do Data Catalog para a origem dos dados

Para todas as origens dos dados, exceto o Amazon S3 e os conectores, uma tabela deve existir noAWS Glue Data Catalog para o tipo de origem que você escolher. O AWS Glue não cria a tabela do Data Catalog.

Para configurar um nó de origem dos dados com base em uma tabela do Data Catalog

  1. Vá para o editor visual para um trabalho novo ou salvo.

  2. Escolha um nó de origem dos dados no diagrama de trabalho.

  3. Escolha a guia Data source properties (Propriedades da origem dos dados) e insira as seguintes informações:

    • S3 source type (Tipo de origem do S3): (somente para origens de dados do Amazon S3) escolha a opção Select a Catalog table (Selecionar uma tabela do catálogo) para usar uma tabela do AWS Glue Data Catalog existente.

    • Database (Banco de dados): escolha o banco de dados no Data Catalog que contém a tabela de origem que você deseja usar para esse trabalho. É possível usar o campo de pesquisa para procurar um banco de dados pelo nome.

    • Table (Tabela): escolha a tabela associada aos dados de origem na lista. Essa tabela já deve existir no AWS Glue Data Catalog. É possível usar o campo de pesquisa para procurar uma tabela pelo nome.

    • Partition predicate (Predicado de partição): (somente para origens de dados do Amazon S3) insira uma expressão booleana baseada no Spark SQL que inclua apenas as colunas de particionamento. Por exemplo: "(year=='2020' and month=='04')"

    • Temporary directory (Diretório temporário): (somente para origens de dados do Amazon RedShift) insira um caminho para o local de um diretório funcional no Amazon S3, onde seu trabalho de ETL possa gravar resultados intermediários temporários.

    • Role associated with the cluster (Função associada ao cluster): (somente para origens de dados do Amazon RedShift) insira uma função para o seu trabalho de ETL usar que contenha permissões para clusters do Amazon Redshift. Para ter mais informações, consulte Permissões de origem e destino dos dados.