API crawler

• Struttura dei crawler

• Struttura della pianificazione

• CrawlerTargets struttura

• Struttura S3Target

• S3DeltaCatalogTarget struttura

• S3DeltaDirectTarget struttura

• JdbcTarget struttura

• Struttura MongoDBTarget

• Struttura DynamoDBTarget

• DeltaTarget struttura

• IcebergTarget struttura

• HudiTarget struttura

• CatalogTarget struttura

• CrawlerMetrics struttura

• CrawlerHistory struttura

• CrawlsFilter struttura

• SchemaChangePolicy struttura

• LastCrawlInfo struttura

• RecrawlPolicy struttura

• LineageConfiguration struttura

• LakeFormationConfiguration struttura

Campi

• Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del crawler.

• Role— UTF-8 stringa.

  Il nome della risorsa Amazon (ARN) di un ruolo IAM utilizzato per accedere alle risorse del cliente, ad esempio i dati di Amazon Simple Storage Service (Amazon S3).

• Targets: un oggetto CrawlerTargets.

  Raccolta di destinazioni da sottoporre al crawling.

• DatabaseName— UTF-8 corda.

  Il nome del database di catalogo in cui viene archiviato l'output del crawler.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Descrizione del crawler.

• Classifiers— Una serie di UTF-8 stringhe.

  Un elenco di UTF-8 stringhe che specificano i classificatori personalizzati associati al crawler.

• RecrawlPolicy: un oggetto RecrawlPolicy.

  Una policy che specifica se eseguire nuovamente il crawling dell'intero set di dati o solo delle cartelle aggiunte dall'ultima esecuzione del crawler.

• SchemaChangePolicy: un oggetto SchemaChangePolicy.

  La policy che specifica i comportamenti di aggiornamento ed eliminazione per il crawler.

• LineageConfiguration: un oggetto LineageConfiguration.

  Una configurazione che specifica se la derivazione dei dati è abilitata per il crawler.

• State— UTF-8 stringa (valori validi: | |). READY RUNNING STOPPING

  Indica se il crawler è in esecuzione o se una sessione è in sospeso.

• TablePrefix— UTF-8 stringa, lunga non più di 128 byte.

  Il prefisso aggiunto ai nomi delle tabelle create.

• Schedule: un oggetto Schedule.

  Per i crawler pianificati, la pianificazione dell'esecuzione del crawler.

• CrawlElapsedTime: numero (lungo).

  Se il crawler è in esecuzione, contiene il tempo totale trascorso dall'inizio dell'ultimo crawling.

• CreationTime: timestamp.

  L'ora di creazione del crawler.

• LastUpdated: timestamp.

  L'ora dell'ultimo aggiornamento del crawler.

• LastCrawl: un oggetto LastCrawlInfo.

  Lo stato dell'ultimo crawling ed eventualmente le informazioni sull'errore, se presente.

• Version: numero (lungo).

  La versione del crawler.

• Configuration— UTF-8 stringa.

  Le informazioni di configurazione del crawler. Questa stringa JSON con versione consente agli utenti di specificare gli aspetti del comportamento di un crawler. Per ulteriori informazioni, consulta la pagina Impostazione delle opzioni di configurazione del crawler.

• CrawlerSecurityConfiguration— UTF-8 stringa, lunga non più di 128 byte.

  Il nome della struttura SecurityConfiguration che questo crawler deve utilizzare.

• LakeFormationConfiguration: un oggetto LakeFormationConfiguration.

  Specifica se il crawler deve utilizzare le AWS Lake Formation credenziali per il crawler anziché le credenziali del ruolo IAM.

Campi

• ScheduleExpression— UTF-8 stringa.

  Un'cronespressione utilizzata per specificare la pianificazione (vedere Time-Based Pianificazioni per lavori e crawler). Ad esempio, per eseguire un processo ogni giorno alle 12:15 UTC, devi specificare: cron(15 12 * * ? *).

• State— UTF-8 stringa (valori validi: SCHEDULED | NOT_SCHEDULED |TRANSITIONING).

  Lo stato della pianificazione.

Campi

• S3Targets: una matrice di oggetti S3Target.

  Specifica le destinazioni di Amazon Simple Storage Service (Amazon S3).

• JdbcTargets: una matrice di oggetti JdbcTarget.

  Specifica le destinazioni JDBC.

• MongoDBTargets: una matrice di oggetti MongoDBTarget.

  Specifica destinazioni Amazon DocumentDB o MongoDB.

• DynamoDBTargets: una matrice di oggetti DynamoDBTarget.

  Specifica le destinazioni di Amazon DynamoDB.

• CatalogTargets: una matrice di oggetti CatalogTarget.

  Specifica gli AWS Glue Data Catalog obiettivi.

• DeltaTargets: una matrice di oggetti DeltaTarget.

  Specifica le destinazioni dell'archivio dati Delta.

• IcebergTargets: una matrice di oggetti IcebergTarget.

  Specifica le destinazioni del datastore Apache Iceberg.

• HudiTargets: una matrice di oggetti HudiTarget.

  Specifica le destinazioni del datastore Apache Hudi.

Campi

• Path— UTF-8 stringa.

  Il percorso della destinazione Amazon S3.

• Exclusions— Una serie di UTF-8 stringhe.

  Elenco di modelli globali utilizzati per l'esclusione dal crawling. Per ulteriori informazioni, consulta la sezione relativa alla catalogazione delle tabelle con un crawler.

• ConnectionName— UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 2048 byte.

  Il nome di una connessione che consente a un processo o a un crawler di accedere ai dati in Amazon S3 all'interno di un ambiente Amazon Virtual Private Cloud (Amazon VPC).

• SampleSize: numero (intero).

  Imposta il numero di file in ogni cartella foglia da sottoporre al crawling durante il crawling di file di esempio in un set di dati. Se non è impostato, tutti i file vengono sottoposti al crawling. Un valore valido è un numero intero compreso tra 1 e 249.

• EventQueueArn— stringa UTF-8 .

  Un ARN Amazon SQS valido. Ad esempio, arn:aws:sqs:region:account:sqs.

• DlqEventQueueArn— UTF-8 corda.

  Un ARN Amazon SQS di messaggi non recapitabili valido. Ad esempio, arn:aws:sqs:region:account:deadLetterQueue.

Campi

• Name— Obbligatoria: UTF-8 stringa, corrispondente a. Custom string pattern #68

  Il nome di destinazione dati.

• Inputs— Obbligatorio: una serie di UTF-8 stringhe, non meno di 1 o più di 1 stringa.

  I nodi che sono input per la destinazione di dati.

• PartitionKeys— Una serie di stringhe. UTF-8

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Table— Obbligatorio: UTF-8 stringa, corrispondente a. Custom string pattern #66

  Il nome della tabella del database in cui scrivere.

• Database— Obbligatorio: UTF-8 stringa, corrispondente aCustom string pattern #66.

  Il nome del database in cui scrivere.

• AdditionalOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, corrispondente aCustom string pattern #66.

  Ogni valore è una UTF-8 stringa, corrispondente aCustom string pattern #66.

  Specifica le opzioni di connessione aggiuntive per il connettore.

• SchemaChangePolicy: un oggetto CatalogSchemaChangePolicy.

  Una policy che specifica i comportamenti di aggiornamento per il crawler.

• AutoDataQuality: un oggetto AutoDataQuality.

  Specifica se abilitare automaticamente la valutazione della qualità dei dati per il catalogo S3 Delta di destinazione. Se impostato su true, i controlli di qualità dei dati vengono eseguiti automaticamente durante l'operazione di scrittura.

• OutputSchemas: una matrice di oggetti GlueSchema.

  Specifica lo schema di dati per il catalogo S3 Delta di destinazione.

Campi

• Name— Obbligatorio: UTF-8 stringa, corrispondente a. Custom string pattern #68

  Il nome di destinazione dati.

• Inputs— Obbligatorio: una serie di UTF-8 stringhe, non meno di 1 o più di 1 stringa.

  I nodi che sono input per la destinazione di dati.

• PartitionKeys— Una serie di stringhe. UTF-8

  Specifica il partizionamento nativo utilizzando una sequenza di chiavi.

• Path— Obbligatorio: UTF-8 stringa, corrispondente a. Custom string pattern #66

  Il percorso Amazon S3 dell'origine dati Delta Lake su cui scrivere.

• Compression— Obbligatorio: UTF-8 stringa (valori validi: uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Specifica il modo in cui i dati sono compressi. In genere questo non è necessario se i dati hanno un'estensione del file standard. I valori possibili sono "gzip" e "bzip").

• NumberTargetPartitions— UTF-8 stringa.

  Specifica il numero di partizioni della destinazione per la distribuzione dei file del set di dati Delta Lake in Amazon S3.

• Format— Obbligatorio: UTF-8 stringa (valori validi: json="JSON" csv="CSV" avro="AVRO" | orc="ORC" | | parquet="PARQUET" | hudi="HUDI" | delta="DELTA" | iceberg="ICEBERG" | hyper="HYPER" | |xml="XML").

  Specifica il formato di output dei dati per la destinazione.

• AdditionalOptions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, corrispondente aCustom string pattern #66.

  Ogni valore è una UTF-8 stringa, corrispondente aCustom string pattern #66.

  Specifica le opzioni di connessione aggiuntive per il connettore.

• SchemaChangePolicy: un oggetto DirectSchemaChangePolicy.

  Una policy che specifica i comportamenti di aggiornamento per il crawler.

• AutoDataQuality: un oggetto AutoDataQuality.

  Specifica se abilitare automaticamente la valutazione della qualità dei dati per la destinazione diretta S3 Delta. Se impostato su true, i controlli di qualità dei dati vengono eseguiti automaticamente durante l'operazione di scrittura.

Campi

• ConnectionName— UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 2048 byte.

  Il nome della connessione da usare per connettersi alla destinazione JDBC.

• Path— stringa UTF-8 .

  Il percorso della destinazione JDBC.

• Exclusions— Una serie di UTF-8 stringhe.

  Elenco di modelli globali utilizzati per l'esclusione dal crawling. Per ulteriori informazioni, consulta la sezione relativa alla catalogazione delle tabelle con un crawler.

• EnableAdditionalMetadata— Una serie di UTF-8 stringhe.

  Specifica un valore di RAWTYPES o COMMENTS per abilitare metadati aggiuntivi nelle risposte della tabella. RAWTYPES fornisce il tipo di dati a livello nativo. COMMENTS fornisce commenti associati a una colonna o a una tabella del database.

  Se non hai bisogno di metadati aggiuntivi, lascia il campo vuoto.

Campi

• ConnectionName— UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 2048 byte.

  Il nome della connessione da usare per connettersi alla destinazione Amazon DocumentDB o MongoDB.

• Path— stringa UTF-8 .

  Il percorso del target () di Amazon DocumentDB o MongoDB. database/collection

• ScanAll: booleano.

  Indica se eseguire la scansione di tutti i registri o campionare le righe della tabella. La scansione di tutti i registri può richiedere molto tempo quando la tabella non è una tabella di throughput elevato.

  Un valore di true significa analizzare tutti i registri, mentre un valore di false significa campionare i registri. Se non viene specificato alcun valore, il valore di default è true.

Campi

• Path— stringa. UTF-8

  Nome della tabella DynamoDB di cui eseguire il crawling.

• scanAll: booleano.

  Indica se eseguire la scansione di tutti i registri o campionare le righe della tabella. La scansione di tutti i registri può richiedere molto tempo quando la tabella non è una tabella di throughput elevato.

  Un valore di true significa analizzare tutti i registri, mentre un valore di false significa campionare i registri. Se non viene specificato alcun valore, il valore di default è true.

• scanRate: numero (doppio).

  La percentuale delle unità di capacità di lettura configurate da utilizzare dal AWS Glue crawler. L'unità di capacità di lettura è un termine definito da DynamoDB ed è un valore numerico che funge da limitatore di velocità per il numero di letture che possono essere eseguite su tale tabella al secondo.

  I valori validi sono null o un valore compreso tra 0,1 e 1,5. Un valore null viene utilizzato quando l'utente non fornisce un valore e il valore predefinito è 0,5 dell'unità di capacità di lettura massima configurata (per le tabelle con provisioning) o 0,25 dell'unità di capacità di lettura massima configurata (per le tabelle che utilizzano la modalità on demand).

Campi

• DeltaTables— Una serie di UTF-8 stringhe.

  Un elenco dei percorsi Amazon S3 alle tabelle Delta.

• ConnectionName— UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 2048 byte.

  Il nome della connessione da usare per connettersi alla destinazione della tabella Delta.

• WriteManifest: booleano.

  Specifica se scrivere i file manifest sul percorso della tabella Delta.

• CreateNativeDeltaTable: booleano.

  Specifica se il crawler creerà tabelle native per consentire l'integrazione con i motori di query che supportano l'interrogazione diretta del log delle transazioni Delta.

Campi

• Paths— Una serie di UTF-8 stringhe.

  Uno o più Amazon S3 percorsi che contengono cartelle di metadati Iceberg come. s3://bucket/prefix

• ConnectionName— UTF-8 stringa, lunga non meno di 1 o più di 2048 byte.

  Il nome della connessione da utilizzare per connettersi alla destinazione Iceberg.

• Exclusions— Una serie di stringhe. UTF-8

  Elenco di modelli globali utilizzati per l'esclusione dal crawling. Per ulteriori informazioni, consulta la sezione relativa alla catalogazione delle tabelle con un crawler.

• MaximumTraversalDepth: numero (intero).

  La profondità massima dei Amazon S3 percorsi che il crawler può percorrere per scoprire la cartella di metadati Iceberg contenuta nel percorso. Amazon S3 Viene utilizzata per limitare il tempo di esecuzione del crawler.

Campi

• Paths— Una serie di UTF-8 stringhe.

  Una serie di stringhe di Amazon S3 posizione per Hudi, ognuna delle quali indica la cartella principale in cui risiedono i file di metadati per una tabella Hudi. La cartella Hudi può trovarsi in una cartella figlia della principale.

  Il crawler scansionerà tutte le cartelle al di sotto del percorso di una cartella Hudi.

• ConnectionName— UTF-8 stringa lunga non meno di 1 o più di 2048 byte.

  Il nome della connessione da utilizzare per connettersi alla destinazione Hudi. Se i tuoi file Hudi sono archiviati in bucket che richiedono l'autorizzazione VPC, puoi impostarne le proprietà di connessione qui.

• Exclusions— Una serie di stringhe. UTF-8

  Elenco di modelli globali utilizzati per l'esclusione dal crawling. Per ulteriori informazioni, consulta la sezione relativa alla catalogazione delle tabelle con un crawler.

• MaximumTraversalDepth: numero (intero).

  La profondità massima dei Amazon S3 percorsi che il crawler può percorrere per scoprire la cartella di metadati Hudi contenuta nel percorso. Amazon S3 Viene utilizzata per limitare il tempo di esecuzione del crawler.

Campi

• DatabaseName— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del database da sincronizzare.

• Tables— Obbligatorio: una matrice di UTF-8 stringhe, almeno 1 stringa.

  Elenco di tabelle da sincronizzare.

• ConnectionName— UTF-8 stringa, lunga non meno di 1 o più di 2048 byte.

  Il nome della connessione per una tabella di Amazon S3-backed Data Catalog da utilizzare come destinazione della scansione quando si utilizza un tipo di Catalog connessione associato a un tipo di connessione. NETWORK

• EventQueueArn— stringa UTF-8 .

  Un ARN Amazon SQS valido. Ad esempio, arn:aws:sqs:region:account:sqs.

• DlqEventQueueArn— UTF-8 corda.

  Un ARN Amazon SQS di messaggi non recapitabili valido. Ad esempio, arn:aws:sqs:region:account:deadLetterQueue.

Campi

• CrawlerName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del crawler.

• TimeLeftSeconds: numero (doppio).

  Il tempo stimato che rimane per completare un crawling in esecuzione.

• StillEstimating: booleano.

  True se il crawler sta ancora valutando il tempo necessario per completare la sessione.

• LastRuntimeSeconds: numero (doppio).

  La durata in secondi della sessione più recente del crawler.

• MedianRuntimeSeconds: numero (doppio).

  La durata media in secondi delle sessioni del crawler.

• TablesCreated: numero (intero).

  Il numero di tabelle create dal crawler.

• TablesUpdated: numero (intero).

  Il numero di tabelle aggiornate dal crawler.

• TablesDeleted: numero (intero).

  Il numero di tabelle eliminate dal crawler.

Campi

• CrawlId— UTF-8 corda.

  Un identificatore UUID per ogni crawling.

• State— UTF-8 stringa (valori validi: RUNNING | COMPLETED | FAILED |STOPPED).

  Lo stato del crawling.

• StartTime: timestamp.

  La data e l'ora in cui è stata avviata l'esecuzione del crawler.

• EndTime: timestamp.

  La data e l'ora in cui è terminato il crawling.

• Summary— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un riepilogo dell'esecuzione per il crawling in JSON. Contiene le tabelle e le partizioni del catalogo che sono state aggiunte, aggiornate o eliminate.

• ErrorMessage: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Se si è verificato un errore, il messaggio di errore è associato al crawling.

• LogGroup— UTF-8 stringa, lunga non meno di 1 o più di 512 byte, corrispondente a. Log group string pattern

  Il gruppo di log associato al crawler.

• LogStream— UTF-8 stringa, lunga non meno di 1 o più di 512 byte, corrispondente a. Log-stream string pattern

  Il flusso di log associato all'esecuzione del crawler.

• MessagePrefix— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il prefisso di un CloudWatch messaggio relativo a questa scansione.

• DPUHour: numero (doppio).

  Il numero di unità di elaborazione dati (DPU) utilizzate in ore per la ricerca per indicizzazione.

Campi

• FieldName— UTF-8 stringa (valori validi: CRAWL_ID | STATE | START_TIME | END_TIME |DPU_HOUR).

  Una chiave utilizzata per filtrare le esecuzioni del crawler per un crawler specificato. I valori validi per ciascuno dei nomi di campo sono:

  • CRAWL_ID: una stringa che rappresenta l'identificatore UUID per un crawling.

  • STATE: una stringa che rappresenta lo stato del crawling.

  • START_TIME e END_TIME: il timestamp epoch in millisecondi.

  • DPU_HOUR: il numero di unità di elaborazione dati (DPU) utilizzate in ore per il crawling.

• FilterOperator— UTF-8 stringa (valori validi: GT | GE | LT | LE | EQ |NE).

  Un comparatore definito che opera sul valore. Gli operatori disponibili sono:

  • GT: maggiore di.

  • GE: maggiore o uguale a.

  • LT: minore di.

  • LE: minore o uguale a.

  • EQ: uguale a.

  • NE: non uguale a.

• FieldValue— UTF-8 stringa.

  Il valore fornito per il confronto nel campo del crawling.

Campi

• UpdateBehavior— UTF-8 stringa (valori validi: LOG |UPDATE_IN_DATABASE).

  Il comportamento di aggiornamento quando il crawler riscontra una variazione dello schema.

• DeleteBehavior— UTF-8 stringa (valori validi: LOG | DELETE_FROM_DATABASE |DEPRECATE_IN_DATABASE).

  Il comportamento di eliminazione quando il crawler riscontra un oggetto eliminato.

Campi

• Status— UTF-8 stringa (valori validi: SUCCEEDED | CANCELLED |FAILED).

  Stato dell'ultimo crawling.

• ErrorMessage: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Le informazioni sull'errore dell'ultimo crawling, se presente.

• LogGroup— UTF-8 stringa, lunga non meno di 1 o più di 512 byte, corrispondente a. Log group string pattern

  Il gruppo di log per l'ultimo crawling.

• LogStream— UTF-8 stringa, lunga non meno di 1 o più di 512 byte, corrispondente a. Log-stream string pattern

  Il flusso di log per l'ultimo crawling.

• MessagePrefix— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il prefisso per un messaggio sul crawling.

• StartTime: timestamp.

  L'ora di inizio del crawling.

Campi

• RecrawlBehavior— UTF-8 stringa (valori validi: CRAWL_EVERYTHING | CRAWL_NEW_FOLDERS_ONLY |CRAWL_EVENT_MODE).

  Specifica se eseguire nuovamente il crawling dell'intero set di dati o solo delle cartelle aggiunte dall'ultima esecuzione del crawler.

  Un valore di CRAWL_EVERYTHING specifica nuovamente il crawling dell'intero set di dati.

  Un valore di CRAWL_NEW_FOLDERS_ONLY specifica il crawling solo delle cartelle che sono state aggiunte dopo l'ultima esecuzione del crawler.

  Un valore di CRAWL_EVENT_MODE specifica il crawling solo delle modifiche identificate dagli eventi Amazon S3.

Campi

• CrawlerLineageSettings— UTF-8 stringa (valori validi: ENABLE |DISABLE).

  Specifica se la derivazione dei dati è abilitata per il crawler. I valori validi sono:

  • ENABLE: abilita la derivazione dei dati per il crawler

  • DISABLE: disabilita la derivazione dei dati per il crawler

Campi

• UseLakeFormationCredentials: booleano.

  Specifica se utilizzare le AWS Lake Formation credenziali per il crawler anziché le credenziali del ruolo IAM.

• AccountId— UTF-8 stringa, lunga non più di 12 byte.

  Obbligatorio per i crawling tra più account. Per il crawling degli stessi account dei dati di destinazione, può essere lasciato come null.

• CreateCrawler azione (Python: create_crawler)

• DeleteCrawler azione (Python: delete_crawler)

• GetCrawler azione (Python: get_crawler)

• GetCrawlers azione (Python: get_crawlers)

• GetCrawlerMetrics azione (Python: get_crawler_metrics)

• UpdateCrawler azione (Python: update_crawler)

• StartCrawler azione (Python: start_crawler)

• StopCrawler azione (Python: stop_crawler)

• BatchGetCrawlers azione (Python: batch_get_crawlers)

• ListCrawlers azione (Python: list_crawlers)

• ListCrawls azione (Python: list_crawls)

Richiesta

• Name— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del nuovo crawler.

• Role— Obbligatorio: UTF-8 stringa.

  Il ruolo IAM o il nome della risorsa Amazon (ARN) di un ruolo IAM utilizzato dal nuovo crawler per accedere alle risorse dei clienti.

• DatabaseName— UTF-8 stringa.

  Il AWS Glue database in cui vengono scritti i risultati, ad esempio:arn:aws:daylight:us-east-1::database/sometable/*.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Descrizione del nuovo crawler.

• Targets - obbligatorio: un oggetto CrawlerTargets.

  Elenco della raccolta di destinazioni da sottoporre al crawling.

• Schedule— UTF-8 stringa.

  Un'cronespressione utilizzata per specificare la pianificazione (vedere Time-Based Pianificazioni per lavori e crawler). Ad esempio, per eseguire un processo ogni giorno alle 12:15 UTC, devi specificare: cron(15 12 * * ? *).

• Classifiers— Una serie di stringhe. UTF-8

  Elenco di classificatori personalizzati registrati dall'utente. Per impostazione predefinita, tutti i classificatori integrati sono inclusi in un crawling, ma i classificatori personalizzati sovrascrivono sempre i classificatori predefiniti per una determinata classificazione.

• TablePrefix— UTF-8 stringa lunga non più di 128 byte.

  Il prefisso di tabella utilizzato per le tabelle di catalogo create.

• SchemaChangePolicy: un oggetto SchemaChangePolicy.

  Policy per il comportamento di aggiornamento ed eliminazione del crawler.

• RecrawlPolicy: un oggetto RecrawlPolicy.

  Una policy che specifica se eseguire nuovamente il crawling dell'intero set di dati o solo delle cartelle aggiunte dall'ultima esecuzione del crawler.

• LineageConfiguration: un oggetto LineageConfiguration.

  Specifica le impostazioni di configurazione della derivazione dei dati per il crawler.

• LakeFormationConfiguration: un oggetto LakeFormationConfiguration.

  Specifica le impostazioni AWS Lake Formation di configurazione per il crawler.

• Configuration— stringa. UTF-8

  Le informazioni di configurazione del crawler. Questa stringa JSON con versione consente agli utenti di specificare gli aspetti del comportamento di un crawler. Per ulteriori informazioni, consulta la pagina Impostazione delle opzioni di configurazione del crawler.

• CrawlerSecurityConfiguration— UTF-8 stringa, lunga non più di 128 byte.

  Il nome della struttura SecurityConfiguration che questo crawler deve utilizzare.

• Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 128 byte.

  Ogni valore è una UTF-8 stringa, lunga non più di 256 byte.

  I tag da usare con questa richiesta crawler. Puoi usare i tag per limitare l'accesso al crawler. Per ulteriori informazioni sui tag in AWS Glue, consulta AWS Tags in AWS Glue nella guida per gli sviluppatori.

Risposta

• Nessun parametro di risposta.

Errori

• InvalidInputException

• AlreadyExistsException

• OperationTimeoutException

• ResourceNumberLimitExceededException

Richiesta

• Name— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Nome del crawler da rimuovere.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• CrawlerRunningException

• SchedulerTransitioningException

• OperationTimeoutException

Richiesta

• Name— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Nome del crawler per cui recuperare i metadati.

Risposta

• Crawler: un oggetto Crawler.

  I metadati per il crawler specificato.

Errori

• EntityNotFoundException

• OperationTimeoutException

Richiesta

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  Il numero di crawler da restituire per ciascuna chiamata.

• NextToken UTF-8 — stringa.

  Token di continuazione, se si tratta di una richiesta di continuazione.

Risposta

• Crawlers: una matrice di oggetti Crawler.

  Elenco di metadati di crawler.

• NextToken— UTF-8 corda.

  Token di continuazione, se l'elenco restituito non ha raggiunto la fine delle voci definite in questo account del cliente.

Errori

• OperationTimeoutException

Richiesta

• CrawlerNameList— Una serie di stringhe, non più di 100 UTF-8 stringhe.

  Elenco di nomi di crawler su cui recuperare i parametri.

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  La dimensione massima di un elenco da restituire.

• NextToken— stringa UTF-8 .

  Un token di continuazione, se si tratta di una chiamata di continuazione.

Risposta

• CrawlerMetricsList: una matrice di oggetti CrawlerMetrics.

  Elenco di parametri per il crawler specificato.

• NextToken— UTF-8 corda.

  Token di continuazione, se l'elenco restituito non contiene l'ultimo parametro disponibile.

Errori

• OperationTimeoutException

Richiesta

• Name— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del nuovo crawler.

• Role— UTF-8 stringa.

  Il ruolo IAM o il nome della risorsa Amazon (ARN) di un ruolo IAM utilizzato dal nuovo crawler per accedere alle risorse dei clienti.

• DatabaseName— UTF-8 corda.

  Il AWS Glue database in cui vengono archiviati i risultati, ad esempio:arn:aws:daylight:us-east-1::database/sometable/*.

• Description— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string pattern

  Descrizione del nuovo crawler.

• Targets: un oggetto CrawlerTargets.

  Elenco di destinazioni da sottoporre al crawling.

• Schedule— stringa UTF-8 .

  Un'cronespressione utilizzata per specificare la pianificazione (vedere Time-Based Pianificazioni per lavori e crawler). Ad esempio, per eseguire un processo ogni giorno alle 12:15 UTC, devi specificare: cron(15 12 * * ? *).

• Classifiers— Una serie di stringhe. UTF-8

  Elenco di classificatori personalizzati registrati dall'utente. Per impostazione predefinita, tutti i classificatori integrati sono inclusi in un crawling, ma i classificatori personalizzati sovrascrivono sempre i classificatori predefiniti per una determinata classificazione.

• TablePrefix— UTF-8 stringa lunga non più di 128 byte.

  Il prefisso di tabella utilizzato per le tabelle di catalogo create.

• SchemaChangePolicy: un oggetto SchemaChangePolicy.

  Policy per il comportamento di aggiornamento ed eliminazione del crawler.

• RecrawlPolicy: un oggetto RecrawlPolicy.

  Una policy che specifica se eseguire nuovamente il crawling dell'intero set di dati o solo delle cartelle aggiunte dall'ultima esecuzione del crawler.

• LineageConfiguration: un oggetto LineageConfiguration.

  Specifica le impostazioni di configurazione della derivazione dei dati per il crawler.

• LakeFormationConfiguration: un oggetto LakeFormationConfiguration.

  Specifica le impostazioni AWS Lake Formation di configurazione per il crawler.

• Configuration— stringa. UTF-8

  Le informazioni di configurazione del crawler. Questa stringa JSON con versione consente agli utenti di specificare gli aspetti del comportamento di un crawler. Per ulteriori informazioni, consulta la pagina Impostazione delle opzioni di configurazione del crawler.

• CrawlerSecurityConfiguration— UTF-8 stringa, lunga non più di 128 byte.

  Il nome della struttura SecurityConfiguration che questo crawler deve utilizzare.

Risposta

• Nessun parametro di risposta.

Errori

• InvalidInputException

• VersionMismatchException

• EntityNotFoundException

• CrawlerRunningException

• OperationTimeoutException

Richiesta

• Name— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Nome del crawler da avviare.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• CrawlerRunningException

• OperationTimeoutException

Richiesta

• Name— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Nome del crawler da arrestare.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• CrawlerNotRunningException

• CrawlerStoppingException

• OperationTimeoutException

Richiesta

• CrawlerNames— Obbligatorio: un array di stringhe, non più di 100 UTF-8 stringhe.

  L'elenco dei nomi di crawler che potrebbero essere i nomi restituiti dall'operazione ListCrawlers.

Risposta

• Crawlers: una matrice di oggetti Crawler.

  Un elenco di definizioni di crawler.

• CrawlersNotFound— Un array di UTF-8 stringhe, non più di 100 stringhe.

  Un elenco di nomi di crawler non trovati.

Errori

• InvalidInputException

• OperationTimeoutException

Richiesta

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  La dimensione massima di un elenco da restituire.

• NextToken— stringa. UTF-8

  Token di continuazione, se si tratta di una richiesta di continuazione.

• Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.

  Ogni chiave è una UTF-8 stringa lunga non meno di 1 o più di 128 byte.

  Ogni valore è una UTF-8 stringa, lunga non più di 256 byte.

  Specifica che vengono restituite solo le risorse con tag.

Risposta

• CrawlerNames— Una matrice di UTF-8 stringhe, non più di 100 stringhe.

  I nomi di tutti i crawler nell'account oppure i crawler con i tag specificati.

• NextToken— stringa UTF-8 .

  Token di continuazione, se l'elenco restituito non contiene l'ultimo parametro disponibile.

Errori

• OperationTimeoutException

• Recuperare tutti i crawling di un determinato crawler.

• Recuperare tutti i crawling di un crawler specificato entro un conteggio limitato.

• Recuperare tutti i crawling di un crawler specificato in un intervallo di tempo specifico.

• Recuperare tutti i crawling di un crawler specificato con uno stato particolare, un ID di crawling o un valore orario della DPU.

Richiesta

• CrawlerName— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del crawler di cui vuoi recuperare le esecuzioni.

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  Numero massimo di risultati da restituire. Il valore predefinito è 20 e il valore massimo è 100.

• Filters: una matrice di oggetti CrawlsFilter.

  Filtra i crawling in base ai criteri specificati in un elenco di oggetti CrawlsFilter.

• NextToken— UTF-8 stringa.

  Un token di continuazione, se si tratta di una chiamata di continuazione.

Risposta

• Crawls: una matrice di oggetti CrawlerHistory.

  Un elenco di oggetti CrawlerHistory che rappresentano le esecuzioni del crawling che soddisfano i criteri specificati.

• NextToken— UTF-8 corda.

  Un token di continuazione per impaginare l'elenco restituito di token, restituiti se il segmento corrente dell'elenco non è l'ultimo.

Errori

• EntityNotFoundException

• OperationTimeoutException

• InvalidInputException