Fase 2: Scelta delle origini dei dati e dei classificatori

Seleziona l'opzione appropriata per I tuoi dati sono già mappati su AWS Glue tavoli? scegli «Non ancora» o «Sì». Per impostazione predefinita, è selezionata la risposta "Non ancora".

Il crawler è in grado di accedere agli archivi dati direttamente come origine del crawling oppure utilizza le tabelle di catalogo esistenti come origine. Se il crawler utilizza le tabelle di catalogo esistenti, esegue il crawling degli archivi dati specificati dalle tabelle di catalogo.

Per utilizzare le tabelle Delta, crea prima una tabella Delta usando Athena DDL o il. AWS Glue API

Utilizzando Athena, imposta la posizione della cartella Amazon S3 e il tipo di tabella su ''. DELTA

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

Utilizzando AWS Glue API, specifica il tipo di tabella all'interno della mappa dei parametri della tabella. I parametri della tabella devono includere la seguente coppia chiave/valore. Per ulteriori informazioni su come creare una tabella, consulta la documentazione di Boto3 per create_table.

{
    "table_type":"delta"
}

Seleziona o aggiungi l'elenco di origini dati che devono essere scansionate dal crawler.

(Facoltativo) Se scegli JDBC come fonte di dati, puoi utilizzare i tuoi JDBC driver per specificare l'accesso alla connessione in cui sono archiviate le informazioni sul driver.

Per stabilire cosa includere o escludere dal crawling, il crawler inizia la valutazione del percorso di inclusione richiesto. Per gli archivi dati Amazon S3, MongoDB, MongoDB Atlas, Amazon DocumentDB (compatibile con MongoDB) e relazionali, è necessario specificare un percorso di inclusione.

Per gli archivi JDBC dati, la sintassi è database-name/schema-name/table-name odatabase-name/table-name. La sintassi dipende dal fatto che il motore di database supporti schemi all'interno di un database. Ad esempio, per i motori di database come My SQL o Oracle, non specificate a schema-name nel percorso di inclusione. È possibile sostituire il segno di percentuale (%) per uno schema o una tabella nel percorso di inclusione per rappresentare tutti gli schemi o tutte le tabelle all'interno di un database. Non è possibile sostituire il segno di percentuale (%) per il database nel percorso di inclusione.

Definisce la profondità massima del percorso Amazon S3 che il crawler può percorrere per scoprire la cartella di metadati Iceberg o Hudi nel percorso Amazon S3. Lo scopo di questo parametro è limitare il tempo di esecuzione del crawler. Il valore predefinito è 10, il valore massimo è 20.

Consentono di escludere alcuni file o tabelle dal crawling. Il percorso di esclusione è relativo rispetto al percorso di inclusione. Ad esempio, per escludere una tabella dal tuo JDBC data store, digita il nome della tabella nel percorso di esclusione.

Un crawler si connette a un JDBC data store utilizzando un AWS Glue connessione che contiene una stringa di JDBC URI connessione. Il crawler ha accesso solo agli oggetti nel motore di database utilizzando il nome JDBC utente e la password presenti nel AWS Glue connessione. Il crawler può creare solo tabelle a cui può accedere tramite la JDBC connessione. Dopo che il crawler ha effettuato l'accesso al motore di database con JDBCURI, il percorso di inclusione viene utilizzato per determinare quali tabelle nel motore di database vengono create nel Data Catalog. Ad esempio, con MySQL, se si specifica un percorso di inclusione diMyDatabase/%, tutte le tabelle al suo interno MyDatabase vengono create nel Data Catalog. Se quando accedi ad Amazon Redshift specifichi il percorso di inclusione di MyDatabase/%, nel catalogo dati vengono create tutte le tabelle in tutti gli schemi per il database MyDatabase. Se si specifica un percorso di inclusione di MyDatabase/MySchema/%, vengono create tutte le tabelle nel database MyDatabase e lo schema MySchema.

Dopo aver specificato un percorso di inclusione, puoi quindi escludere dal crawling oggetti che il percorso di inclusione altrimenti includerebbe, specificando uno o più modelli di esclusione glob in stile Unix. Questi modelli vengono applicati al tuo percorso di inclusione per determinare quali oggetti sono esclusi. Questi modelli vengono memorizzati anche come proprietà di tabelle create dal crawler. AWS Glue PySpark le estensioni, ad esempiocreate_dynamic_frame.from_catalog, leggono le proprietà della tabella ed escludono gli oggetti definiti dal modello di esclusione.

AWS Glue supporta i seguenti glob modelli nel pattern di esclusione.

AWS Glue interpreta i modelli di glob esclusione come segue:

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

Ogni tipo di origine richiede un diverso set di parametri aggiuntivi.

Seleziona o aggiungi un AWS Glue connessione. Per informazioni sulle connessioni, consulta Connessione ai dati.

Seleziona proprietà di metadati aggiuntive per il crawler da sottoporre a crawling.

Digitate un nome di classe JDBC driver personalizzato per consentire al crawler di connettersi all'origine dati:

Scegli un percorso Amazon S3 esistente verso un file .jar. Qui è dove verrà archiviato il .jar file quando si utilizza un JDBC driver personalizzato per la connessione del crawler alla fonte di dati.

Selezionare se eseguire il crawling solo di un campione di dati. Se non è selezionata, l'intera tabella viene sottoposta a crawling. La scansione di tutti i registri può richiedere molto tempo quando la tabella non è una tabella di throughput elevato.

Seleziona come desideri creare le tabelle Delta Lake:

Specifica la percentuale delle unità di capacità di lettura della tabella DynamoDB che deve essere utilizzata dal crawler. L'unità di capacità di lettura è un termine definito da DynamoDB ed è un valore numerico che funge da limitatore di velocità per il numero di letture che possono essere eseguite su tale tabella al secondo. Inserire un valore tra 0.1 e 1.5. Se non specificato, il valore predefinito è 0,5 per le tabelle predisposte e 1/4 della capacità massima configurata per le tabelle su richiesta. Tieni presente che con i crawler deve essere utilizzata solo la modalità di capacità assegnata. AWS Glue

Facoltativamente, includi una connessione di rete da utilizzare con questa destinazione Amazon S3. Tieni presente che ogni crawler è limitato a una connessione di rete, quindi anche qualsiasi altra destinazione Amazon S3 utilizzerà la stessa connessione (o nessuna, se lasciata vuota).

Per informazioni sulle connessioni, consulta Connessione ai dati.

Specificare il numero di file in ogni cartella foglia da sottoporre al crawling durante il crawling di file di esempio in un set di dati. Quando questa caratteristica è attivata, invece di eseguire il crawling di tutti i file in questo set di dati, il crawler seleziona in modo casuale alcuni file in ogni cartella foglia da sottoporre a crawling.

Il crawler di campionamento è adatto ai clienti che hanno conoscono i loro formati di dati e sanno che gli schemi nelle loro cartelle non cambiano. L'attivazione di questa funzione ridurrà significativamente il tempo di esecuzione del crawler.

Un valore valido è un numero intero compreso tra 1 e 249. Se non è specificato, tutti i file vengono sottoposti al crawling.

Questo campo è un campo globale che riguarda tutte le origini dati Amazon S3.

Definisci i classificatori personalizzati prima di definire i crawler. Un classificatore verifica se un determinato file è in un formato che può essere gestito dal crawler. In questo caso il classificatore crea uno schema nel formato di un oggetto StructType che corrisponde a quel formato di dati.

Per ulteriori informazioni, consulta Definizione e gestione dei classificatori.