Etapa 2: escolher as fontes de dados e os classificadores

Selecione a opção apropriada para Seus dados já estão mapeados para AWS Glue mesas? escolha “Ainda não” ou “Sim”. A opção "Ainda não" está selecionada por padrão.

O crawler pode acessar armazenamentos de dados diretamente como a fonte do crawl ou pode usar tabelas existentes no Data Catalog como a fonte. Se o crawler usa tabelas de catálogos existentes, ele rastreia os armazenamentos de dados que são especificados por essas tabelas do catálogo.

Para usar tabelas Delta, primeiro crie uma tabela Delta usando Athena DDL ou o. AWS Glue API

Usando o Athena, defina a localização da sua pasta Amazon S3 e o tipo de tabela como ''. DELTA

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

Usando o AWS Glue API, especifique o tipo de tabela no mapa de parâmetros da tabela. Os parâmetros da tabela precisam incluir o par chave/valor a seguir. Para obter mais informações sobre como criar uma tabela, consulte a documentação do Boto3 para create_table.

{
    "table_type":"delta"
}

Selecione ou adicione a lista de fontes de dados a serem varridas pelo crawler.

(Opcional) Se você escolher JDBC como fonte de dados, poderá usar seus próprios JDBC drivers ao especificar o acesso à conexão em que as informações do driver são armazenadas.

Ao avaliar o que incluir ou excluir em um crawling, o crawler começa pelo caminho de inclusão obrigatório. Para o Amazon S3, o MongoDB, o MongoDB Atlas, o Amazon DocumentDB (compatível com MongoDB) e armazenamentos de dados relacionais, você deve especificar um caminho de inclusão.

Para armazenamentos de JDBC dados, a sintaxe é database-name/schema-name/table-name oudatabase-name/table-name. A sintaxe depende de o mecanismo de banco de dados ser compatível com esquemas dentro de um banco de dados. Por exemplo, para mecanismos de banco de dados como My SQL ou Oracle, não especifique um schema-name em seu caminho de inclusão. Você pode substituir o sinal de porcentagem (%) por um esquema ou tabela no caminho de inclusão para representar todos os esquemas ou todas as tabelas em um banco de dados. Não é possível substituir o sinal de porcentagem (%) do banco de dados no caminho de inclusão.

A profundidade máxima de caminhos do Amazon S3 que o crawler pode percorrer para descobrir a pasta de metadados do Iceberg ou do Hudi no caminho do Amazon S3. O objetivo desse parâmetro é limitar o run time do crawler. O valor padrão é 10 e o máximo é 20.

Eles permitem que você exclua determinados arquivos ou tabelas do rastreamento. O caminho de exclusão é relativo ao caminho de inclusão. Por exemplo, para excluir uma tabela em seu armazenamento de JDBC dados, digite o nome da tabela no caminho de exclusão.

Um rastreador se conecta a um armazenamento de JDBC dados usando um AWS Glue conexão que contém uma string de JDBC URI conexão. O rastreador só tem acesso aos objetos no mecanismo de banco de dados usando o nome de JDBC usuário e a senha no AWS Glue conexão. O rastreador só pode criar tabelas que ele possa acessar por meio da JDBC conexão. Depois que o rastreador acessa o mecanismo de banco de dados com o JDBCURI, o caminho de inclusão é usado para determinar quais tabelas no mecanismo de banco de dados são criadas no Catálogo de Dados. Por exemplo, com MySQL, se você especificar um caminho de inclusão deMyDatabase/%, todas as tabelas MyDatabase contidas nele serão criadas no Catálogo de Dados. Ao acessar o Amazon Redshift, se você especificar um caminho de inclusão de MyDatabase/%, todas as tabelas dentro de todos os esquemas para o banco de dados MyDatabase serão criadas no Data Catalog. Se você especificar um caminho de inclusão de MyDatabase/MySchema/%, todas as tabelas no banco de dados MyDatabase e o esquema MySchema serão criados.

Depois de especificar um caminho de inclusão, você pode excluir objetos do rastreamento que o seu caminho de inclusão incluiria especificando um ou mais padrões de exclusão glob no estilo Unix. Esses padrões são aplicados ao seu caminho de inclusão para determinar quais objetos serão excluídos. Esses padrões também são armazenados como uma propriedade de tabelas criadas pelo crawler. AWS Glue PySpark extensõescreate_dynamic_frame.from_catalog, como ler as propriedades da tabela e excluir objetos definidos pelo padrão de exclusão.

AWS Glue suporta os seguintes glob padrões no padrão de exclusão.

AWS Glue interpreta padrões de glob exclusão da seguinte forma:

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

Cada tipo de fonte requer um conjunto diferente de parâmetros adicionais.

Selecione ou adicione um AWS Glue conexão. Para obter informações sobre conexões, consulte Conectar a dados.

Selecione propriedades de metadados adicionais para o crawler rastrear.

Digite um nome de classe de JDBC driver personalizado para o rastreador se conectar à fonte de dados:

Escolha um caminho existente do Amazon S3 para um arquivo .jar. É aqui que o .jar arquivo será armazenado ao usar um JDBC driver personalizado para o rastreador se conectar à fonte de dados.

Selecione se deseja rastrear somente uma amostra de dados. Se essa opção não for selecionada, a tabela inteira será rastreada. A verificação de todos os registros pode levar muito tempo quando a tabela não é de throughput alto.

Selecione como você deseja criar as tabelas do Delta Lake:

Especifique a porcentagem das unidades de capacidade de leitura da tabela do DynamoDB a serem usadas pelo crawler. Unidades de capacidade de leitura é um termo definido pelo DynamoDB e é um valor numérico que atua como limitador de taxa para o número de leituras que podem ser executadas nessa tabela por segundo. Insira um valor entre 0,1 e 1,5. Se não for especificado, o padrão será de 0,5 para tabelas provisionadas e 1/4 da capacidade máxima configurada para tabelas sob demanda. Observe que somente o modo de capacidade provisionada deve ser usado com AWS Glue rastreadores.

Opcionalmente, inclua uma conexão de rede para usar com esse destino do Amazon S3. Observe que cada crawler é limitado a uma conexão de rede, portanto, qualquer outro destino do Amazon S3 também usará a mesma conexão (ou nenhuma, se deixada em branco).

Para obter informações sobre conexões, consulte Conectar a dados.

Especifique o número de arquivos em cada pasta de folha a serem rastreados durante o crawling de arquivos de amostra em um conjunto de dados. Quando esse recurso é ativado, em vez de realizar o crawling em todos os arquivos neste conjunto de dados, o crawler seleciona aleatoriamente alguns arquivos em cada pasta de folha para rastrear.

O crawler de amostragem é mais adequado para clientes que têm conhecimento prévio sobre seus formatos de dados e sabem que os esquemas em suas pastas não são alterados. Ativar esse recurso reduzirá significativamente o runtime do crawler.

Um valor válido é um número inteiro entre 1 e 249. Se não for especificado, todos os arquivos serão rastreados.

Esse campo é um campo global que afeta todas as fontes de dados do Amazon S3.

Defina classificadores personalizados antes de definir crawlers. Um classificador verifica se determinado arquivo está em um formato que pode ser processado pelo crawler. Se estiver, o classificador cria um esquema na forma de um objeto StructType que corresponde a esse formato de dados.

Para obter mais informações, consulte Definir e gerenciar classificadores.