Personalizzazione del comportamento del crawler

Quando definisci un crawler usando la console AWS Glue, puoi scegliere tra diverse opzioni per configurare il comportamento del crawler. Per ulteriori informazioni sull'uso della console AWS Glue per aggiungere un crawler, consulta Configurazione di un crawler.

Quando un crawler viene eseguito su un datastore precedentemente sottoposto a crawling, può rilevare che uno schema è stato modificato o che alcuni oggetti nel datastore sono stati eliminati. Il crawler registra le modifiche in uno schema. A seconda del tipo di origine per il crawler, è possibile che vengano create nuove tabelle e partizioni indipendentemente dalla policy di modifica dello schema.

Per specificare il comportamento del crawler quando trova modifiche nello schema, puoi scegliere una delle operazioni seguenti nella console:

Un crawler potrebbe anche rilevare partizioni nuove o modificate. Per impostazione predefinita, le nuove partizioni vengono aggiunte e le partizioni esistenti vengono aggiornate se sono state modificate. Inoltre, puoi impostare l'opzione di configurazione del crawler Update all new and existing partitions with metadata from the table (Aggiorna tutte le partizioni nuove ed esistenti con metadati della tabella) nella console AWS Glue. Quando questa opzione è impostata, le partizioni ereditano le proprietà dei metadati, come la classificazione, il formato di input, il formato di output, le informazioni e lo schema, dalla tabella principale. SerDe Tutte le modifiche apportate a queste proprietà in una tabella vengono propagate alle partizioni. Quando questa opzione di configurazione è impostata su un crawler esistente, le partizioni esistenti vengono aggiornate in modo che corrispondano alle proprietà della tabella padre alla prossima esecuzione del crawler.

Per specificare il comportamento del crawler quando trova un oggetto eliminato nel datastore, scegli una delle operazioni seguenti:

aws glue create-crawler \
--name "your-crawler-name" \
--role "your-iam-role-arn" \
--database-name "your-database-name" \
--targets 'S3Targets=[{Path="s3://your-bucket-name/path-to-data"}]' \
--configuration '{"Version": 1.0, "CrawlerOutput": {"Partitions": {"AddOrUpdateBehavior": "InheritFromTable"}, "Tables": {"AddOrUpdateBehavior": "MergeNewColumns"}}}'      
    

Quando definisci un crawler utilizzando l' AWS Glue API, puoi scegliere tra diversi campi per configurare il crawler. Il campo SchemaChangePolicy nell'API del crawler determina il comportamento del crawler quando rileva uno schema modificato o un oggetto eliminato. Durante l'esecuzione, il crawler registra le modifiche dello schema.

Esempio di codice Python che mostra le opzioni di configurazione del crawler

import boto3
import json

# Initialize a boto3 client for AWS Glue
glue_client = boto3.client('glue', region_name='us-east-1')  # Replace 'us-east-1' with your desired AWS region

# Define the crawler configuration
crawler_configuration = {
    "Version": 1.0,
    "CrawlerOutput": {
        "Partitions": {
            "AddOrUpdateBehavior": "InheritFromTable"
        },
        "Tables": {
            "AddOrUpdateBehavior": "MergeNewColumns"
        }
    }
}

configuration_json = json.dumps(crawler_configuration)
# Create the crawler with the specified configuration
response = glue_client.create_crawler(
    Name='your-crawler-name',  # Replace with your desired crawler name
    Role='crawler-test-role',  # Replace with the ARN of your IAM role for Glue
    DatabaseName='default',  # Replace with your target Glue database name
    Targets={
        'S3Targets': [
            {
                'Path': "s3://your-bucket-name/path/",  # Replace with your S3 path to the data
            },
        ],
        # Include other target types like 'JdbcTargets' if needed
    },
    Configuration=configuration_json,
    # Include other parameters like Schedule, Classifiers, TablePrefix, SchemaChangePolicy, etc., as needed
)

print(response)a
      
    

Quando viene eseguito un crawler, vengono create sempre nuove tabelle e partizioni indipendentemente dalle policy di modifica dello schema. Puoi scegliere una delle operazioni seguenti nel campo UpdateBehavior nella struttura SchemaChangePolicy per determinare il comportamento del crawler quando trova uno schema di tabella modificato:

Puoi anche sostituire la struttura SchemaChangePolicy usando un oggetto JSON fornito nel campo Configuration dell'API del crawler. Questo oggetto JSON può contenere una coppia chiave/valore per impostare la policy in modo da non aggiornare colonne esistenti e aggiungere solo nuove colonne. Ad esempio, puoi specificare l'oggetto JSON seguente come stringa:

{
   "Version": 1.0,
   "CrawlerOutput": {
      "Tables": { "AddOrUpdateBehavior": "MergeNewColumns" }
   }
}

Questa opzione corrisponde all'opzione Add new columns only (Aggiungi solo nuove colonne) nella console AWS Glue. L'opzione sostituisce la struttura SchemaChangePolicy solo per tabelle derivanti dal crawling di datastore Amazon S3. Scegli questa opzione se vuoi mantenere i metadati esistenti nel catalogo dati ("source of truth"). Le nuove colonne vengono aggiunte man mano che vengono rilevate, inclusi i tipi di dati annidati. Tuttavia, le colonne esistenti non vengono rimosse e i rispettivi tipi non vengono modificati. Se un attributo di una tabella Amazon S3 cambia in misura significativa, puoi contrassegnare la tabella come obsoleta e registrare un avviso riguardo alla necessità di risolvere un attributo non compatibile. Questa opzione non è applicabile al crawler incrementale.

Quando un crawler viene eseguito su un datastore sottoposto precedentemente a crawling, potrebbe scoprire partizioni nuove o modificate. Per impostazione predefinita, le nuove partizioni vengono aggiunte e le partizioni esistenti vengono aggiornate se sono state modificate. Inoltre, puoi impostare l'opzione di configurazione del crawler InheritFromTable, corrispondente all'opzione Update all new and existing partitions with metadata from the table (Aggiorna tutte le partizioni nuove ed esistenti con i metadati della tabella) nella console AWS Glue. Quando questa opzione è impostata, le partizioni ereditano le proprietà dei metadati dalla tabella principale, come la classificazione, il formato di input, il formato di output, le informazioni e lo schema. SerDe Tutte le modifiche di proprietà rilevate nella tabella madre vengono propagate alle partizioni.

Quando questa opzione di configurazione è impostata su un crawler esistente, le partizioni esistenti vengono aggiornate in modo che corrispondano alle proprietà della tabella padre alla prossima esecuzione del crawler. Questo comportamento viene impostato nel campo Configuration dell'API del crawler. Ad esempio, puoi specificare l'oggetto JSON seguente come stringa:

{
   "Version": 1.0,
   "CrawlerOutput": {
      "Partitions": { "AddOrUpdateBehavior": "InheritFromTable" }
   }
}

Il campo Configuration dell'API del crawler può impostare più opzioni di configurazione. Ad esempio, per configurare l'output del crawler per partizioni e tabelle, puoi specificare una rappresentazione di stringa dell'oggetto JSON seguente:

{
    "Version": 1.0,
    "CrawlerOutput": {
       "Partitions": { "AddOrUpdateBehavior": "InheritFromTable" },
       "Tables": {"AddOrUpdateBehavior": "MergeNewColumns" }
    }
}

Puoi scegliere una delle operazioni seguenti per determinare il comportamento del crawler quando trova un oggetto eliminato nel datastore. Il campo DeleteBehavior nella struttura SchemaChangePolicy nell'API del crawler imposta il comportamento del crawler quando rileva un oggetto eliminato.