API du crawler

• Structure du crawler

• Structure du planificateur

• CrawlerTargets structure

• Structure de la S3Target

• S3DeltaCatalogTarget structure

• S3DeltaDirectTarget structure

• JdbcTarget structure

• Structure MongoDbTarget

• Structure DynamoDBTarget

• DeltaTarget structure

• IcebergTarget structure

• HudiTarget structure

• CatalogTarget structure

• CrawlerMetrics structure

• CrawlerHistory structure

• CrawlsFilter structure

• SchemaChangePolicy structure

• LastCrawlInfo structure

• RecrawlPolicy structure

• LineageConfiguration structure

• LakeFormationConfiguration structure

Champs

• Name— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom du crawler.

• Role— UTF-8 ficelle.

  L'Amazon Resource Name (ARN) d'un rôle IAM utilisé pour accéder aux ressources client, par exemple des données Amazon Simple Storage Service (Amazon S3).

• Targets – Un objet CrawlerTargets.

  Ensemble de cibles à analyser.

• DatabaseName— UTF-8 ficelle.

  Nom de la base de données dans laquelle le résultat de l'crawler est stockée.

• Description – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Description du crawler.

• Classifiers— Un tableau de UTF-8 chaînes.

  Liste de UTF-8 chaînes qui spécifient les classificateurs personnalisés associés au robot d'exploration.

• RecrawlPolicy – Un objet RecrawlPolicy.

  Stratégie qui spécifie s'il faut analyser à nouveau le jeu de données entier ou analyser uniquement les dossiers ajoutés depuis la dernière exécution du crawler.

• SchemaChangePolicy – Un objet SchemaChangePolicy.

  Stratégie qui spécifie la mise à jour et la suppression des comportements pour l'crawler.

• LineageConfiguration – Un objet LineageConfiguration.

  Configuration qui spécifie si la lignée de données est activée pour le crawler.

• State— UTF-8 chaîne (valeurs valides : READY | RUNNING |STOPPING).

  Indique si le crawler est en cours d'exécution, ou si une exécution est en attente.

• TablePrefix— UTF-8 chaîne ne dépassant pas 128 octets.

  Préfixe ajouté aux noms des tables créées.

• Schedule – Un objet Planificateur.

  Pour les crawlers planifiés, planification de l'exécution du crawler.

• CrawlElapsedTime – Nombre (long).

  Si le crawler est en cours d'exécution, contient le temps écoulé total depuis le début de la dernière analyse.

• CreationTime – Horodatage.

  Heure de création du crawler.

• LastUpdated – Horodatage.

  Heure de la dernière mise à jour du crawler.

• LastCrawl – Un objet LastCrawlInfo.

  État de la dernière analyse, et éventuellement informations d'erreur si une erreur s'est produite.

• Version – Nombre (long).

  Version de l'crawler.

• Configuration— UTF-8 ficelle.

  Informations sur la configuration du crawler. Cette chaîne JSON avec gestion des versions permet aux utilisateurs de spécifier des aspects du comportement d'un crawler. Pour plus d'informations, consultez Setting Crawler configuration options (Définition d'options de configuration du crawler).

• CrawlerSecurityConfiguration— UTF-8 chaîne ne dépassant pas 128 octets.

  Nom de la structure SecurityConfiguration qui sera utilisée par ce crawler.

• LakeFormationConfiguration – Un objet LakeFormationConfiguration.

  Spécifie si le robot d'exploration doit utiliser les AWS Lake Formation informations d'identification du robot au lieu des informations d'identification du rôle IAM.

Champs

• ScheduleExpression— UTF-8 ficelle.

  cronExpression utilisée pour spécifier le calendrier (voir Time-Based Horaires pour les tâches et les robots d'exploration). Par exemple, pour exécuter un élément tous les jours à 12h15 UTC, vous devez spécifier : cron(15 12 * * ? *).

• State— UTF-8 chaîne (valeurs valides : SCHEDULED | NOT_SCHEDULED |TRANSITIONING).

  État de la planification.

Champs

• S3Targets : un tableau d’objets S3Target.

  Spécifie des cibles Amazon Simple Storage Service (Amazon S3).

• JdbcTargets : un tableau d’objets JdbcTarget.

  Spécifie les cibles JDBC.

• MongoDBTargets – Un tableau d'objets MongoDBTarget.

  Spécifie les cibles Amazon DocumentDB ou MongoDB.

• DynamoDBTargets – Un tableau d'objets DynamoDBTarget.

  Spécifie des cibles Amazon DynamoDB.

• CatalogTargets – Un tableau d'objets CatalogTarget.

  Spécifie AWS Glue Data Catalog les cibles.

• DeltaTargets – Un tableau d'objets DeltaTarget.

  Spécifie les cibles du stockage de données Delta.

• IcebergTargets : un tableau d’objets IcebergTarget.

  Spécifie les cibles du magasin de données Apache Iceberg.

• HudiTargets : un tableau d’objets HudiTarget.

  Spécifie les cibles du magasin de données Hudi Iceberg.

Champs

• Path— UTF-8 ficelle.

  Chemin vers la cible Amazon S3.

• Exclusions— Un tableau de UTF-8 chaînes.

  Liste de modèles glob utilisés à exclure de l'analyse. Pour en savoir plus, consultez Catalog Tables with a Crawler (Tables de catalogues avec un crawler).

• ConnectionName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets.

  Nom d'une connexion qui permet à une tâche ou à un crawler d'accéder aux données dans Amazon S3 au sein d'un environnement Amazon Virtual Private Cloud (Amazon VPC).

• SampleSize : nombre (entier).

  Définit le nombre de fichiers dans chaque dossier feuille à analyser lors de l'analyse d'échantillons de fichiers dans un jeu de données. Si ce paramètre n'est pas défini, tous les fichiers sont analysés. Une valeur valide est un entier compris entre 1 et 249.

• EventQueueArn— UTF-8 ficelle.

  Un ARN Amazon SQS valide. Par exemple, arn:aws:sqs:region:account:sqs.

• DlqEventQueueArn— UTF-8 ficelle.

  Un ARN SQS de lettres mortes Amazon valide. Par exemple, arn:aws:sqs:region:account:deadLetterQueue.

Champs

• Name— Obligatoire : UTF-8 chaîne correspondant àCustom string pattern #68.

  Le nom de la cible de données.

• Inputs— Obligatoire : un tableau de UTF-8 chaînes, pas moins d'une ou plus d'une chaîne.

  Les nœuds qui constituent des entrées pour la cible de données.

• PartitionKeys— Un tableau de UTF-8 chaînes.

  Indique le partitionnement natif à l'aide d'une séquence de clés.

• Table— Obligatoire : UTF-8 chaîne correspondant àCustom string pattern #66.

  Le nom de la table de la base de données dans laquelle écrire les données.

• Database— Obligatoire : UTF-8 chaîne correspondant àCustom string pattern #66.

  Le nom de la base de données dans laquelle écrire les données.

• AdditionalOptions – Tableau de mappage de paires valeur-clé.

  Chaque touche est une UTF-8 chaîne correspondant àCustom string pattern #66.

  Chaque valeur est une UTF-8 chaîne correspondant àCustom string pattern #66.

  Indique des options de connexion supplémentaires pour le connecteur.

• SchemaChangePolicy – Un objet CatalogSchemaChangePolicy.

  Une politique qui indique les évolutions de mise à jour pour le crawler.

• AutoDataQuality : un objet AutoDataQuality.

  Indique s’il faut activer automatiquement l’évaluation de la qualité des données pour la cible du catalogue S3 Delta. Lorsque ce paramètre est défini sur true, les contrôles de qualité des données sont effectués automatiquement pendant l’opération d’écriture.

• OutputSchemas : un tableau d’objets GlueSchema.

  Indique le schéma de données de la cible du catalogue S3 Delta.

Champs

• Name— Obligatoire : UTF-8 chaîne correspondant àCustom string pattern #68.

  Le nom de la cible de données.

• Inputs— Obligatoire : un tableau de UTF-8 chaînes, pas moins d'une ou plus d'une chaîne.

  Les nœuds qui constituent des entrées pour la cible de données.

• PartitionKeys— Un tableau de UTF-8 chaînes.

  Indique le partitionnement natif à l'aide d'une séquence de clés.

• Path— Obligatoire : UTF-8 chaîne correspondant àCustom string pattern #66.

  Le chemin d'accès Amazon S3 de votre source de données Delta Lake sur laquelle écrire.

• Compression— Obligatoire : UTF-8 chaîne (valeurs valides : uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Indique la manière dont les données sont comprimées. Ce n'est généralement pas nécessaire si le fichier de données a une extension standard. Les valeurs possibles sont "gzip" et "bzip").

• NumberTargetPartitions— UTF-8 ficelle.

  Indique le nombre de partitions cible pour distribuer les fichiers de jeux de données Delta Lake sur Amazon S3.

• Format— Obligatoire : UTF-8 chaîne (valeurs valides : json="JSON" csv="CSV" avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA" | iceberg="ICEBERG" | hyper="HYPER" |xml="XML").

  Définit le format de sortie des données pour la cible.

• AdditionalOptions – Tableau de mappage de paires valeur-clé.

  Chaque touche est une UTF-8 chaîne correspondant àCustom string pattern #66.

  Chaque valeur est une UTF-8 chaîne correspondant àCustom string pattern #66.

  Indique des options de connexion supplémentaires pour le connecteur.

• SchemaChangePolicy – Un objet DirectSchemaChangePolicy.

  Une politique qui indique les évolutions de mise à jour pour le crawler.

• AutoDataQuality : un objet AutoDataQuality.

  Indique s’il faut activer automatiquement l’évaluation de la qualité des données pour la cible directe S3 Delta. Lorsque ce paramètre est défini sur true, les contrôles de qualité des données sont effectués automatiquement pendant l’opération d’écriture.

Champs

• ConnectionName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets.

  Nom de la connexion à utiliser pour se connecter à la cible JDBC.

• Path— UTF-8 ficelle.

  Le chemin de la cible JDBC.

• Exclusions— Un tableau de UTF-8 chaînes.

  Liste de modèles glob utilisés à exclure de l'analyse. Pour en savoir plus, consultez Catalog Tables with a Crawler (Tables de catalogues avec un crawler).

• EnableAdditionalMetadata— Un tableau de UTF-8 chaînes.

  Spécifiez une valeur de RAWTYPES ou COMMENTS pour activer des métadonnées supplémentaires dans les réponses des tables. RAWTYPES fournit le type de données de niveau natif. COMMENTS fournit des commentaires associés à une colonne ou à une table de la base de données.

  Si vous n'avez pas besoin d'autres métadonnées, laissez le champ vide.

Champs

• ConnectionName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets.

  Nom de la connexion à utiliser pour se connecter à la cible Amazon DocumentDB ou MongoDB.

• Path— UTF-8 ficelle.

  Le chemin de la cible Amazon DocumentDB ou MongoDB ()database/collection.

• ScanAll : booléen.

  Indique s'il faut analyser tous les enregistrements ou échantillonner les lignes de la table. L'analyse de tous les enregistrements peut prendre beaucoup de temps lorsque la table n'est pas à haut débit.

  La valeur true implique l'analyse de tous les enregistrements, tandis que la valeur false implique l'échantillonnage des enregistrements. Si aucune valeur n'est spécifiée, la valeur par défaut est true.

Champs

• Path— UTF-8 ficelle.

  Nom de la table DynamoDB à analyser.

• scanAll : booléen.

  Indique s'il faut analyser tous les enregistrements ou échantillonner les lignes de la table. L'analyse de tous les enregistrements peut prendre beaucoup de temps lorsque la table n'est pas à haut débit.

  La valeur true implique l'analyse de tous les enregistrements, tandis que la valeur false implique l'échantillonnage des enregistrements. Si aucune valeur n'est spécifiée, la valeur par défaut est true.

• scanRate – Nombre (double).

  Le pourcentage des unités de capacité de lecture configurées à utiliser par le AWS Glue robot d'exploration. Unités de capacité de lecture est un terme défini par DynamoDB et est une valeur numérique qui sert de limiteur de vitesse pour le nombre de lectures pouvant être effectuées sur cette table par seconde.

  Les valeurs valides sont nulles ou une valeur comprise entre 0,1 et 1,5. Une valeur NULL est utilisée lorsque l'utilisateur ne fournit pas de valeur et que la valeur par défaut est 0,5 de l'unité de capacité de lecture configurée (pour les tables provisionnées) ou 0,25 de l'unité de capacité de lecture maximale configurée (pour les tables utilisant le mode à la demande).

Champs

• DeltaTables— Un tableau de UTF-8 chaînes.

  Une liste de chemins Amazon S3 vers les tableaux Delta.

• ConnectionName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets.

  Nom de la connexion à utiliser pour se connecter à la cible Delta.

• WriteManifest : booléen.

  Spécifie s'il faut écrire les fichiers manifestes dans le chemin d'accès au tableau Delta.

• CreateNativeDeltaTable : booléen.

  Spécifie si le crawler va créer des tables natives pour permettre l'intégration avec les moteurs de requêtes qui prennent directement en charge l'interrogation du journal de transactions Delta.

Champs

• Paths— Un tableau de UTF-8 chaînes.

  Un ou plusieurs Amazon S3 chemins contenant des dossiers de métadonnées Iceberg tels ques3://bucket/prefix.

• ConnectionName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets.

  Nom de la connexion à utiliser pour se connecter à la cible Iceberg.

• Exclusions— Un tableau de UTF-8 chaînes.

  Liste de modèles glob utilisés à exclure de l'analyse. Pour en savoir plus, consultez Catalog Tables with a Crawler (Tables de catalogues avec un crawler).

• MaximumTraversalDepth : nombre (entier).

  Profondeur maximale des Amazon S3 chemins que le robot d'exploration peut parcourir pour découvrir le dossier de métadonnées Iceberg dans votre Amazon S3 chemin. Utilisé pour limiter le temps d'exécution du Crawler.

Champs

• Paths— Un tableau de UTF-8 chaînes.

  Tableau de chaînes d' Amazon S3 emplacement pour Hudi, chacune indiquant le dossier racine dans lequel se trouvent les fichiers de métadonnées d'une table Hudi. Le dossier Hudi peut se trouver dans un dossier enfant du dossier racine.

  Le Crawler examine tous les dossiers situés sous un chemin à la recherche d'un dossier Hudi.

• ConnectionName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets.

  Nom de la connexion à utiliser pour se connecter à la cible Hudi. Si vos fichiers Hudi sont stockés dans des compartiments nécessitant une autorisation VPC, vous pouvez définir leurs propriétés de connexion ici.

• Exclusions— Un tableau de UTF-8 chaînes.

  Liste de modèles glob utilisés à exclure de l'analyse. Pour en savoir plus, consultez Catalog Tables with a Crawler (Tables de catalogues avec un crawler).

• MaximumTraversalDepth : nombre (entier).

  Profondeur maximale des Amazon S3 chemins que le robot d'exploration peut parcourir pour découvrir le dossier de métadonnées Hudi dans votre Amazon S3 chemin. Utilisé pour limiter le temps d'exécution du Crawler.

Champs

• DatabaseName— Obligatoire : UTF-8 chaîne d'au moins 1 ou plus de 255 octets, correspondant àSingle-line string pattern.

  Le nom de la base de données à synchroniser.

• Tables— Obligatoire : un tableau de UTF-8 chaînes, au moins une chaîne.

  Une liste des tables à synchroniser.

• ConnectionName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets.

  Le nom de la connexion pour qu'une table Amazon S3-backed Data Catalog soit la cible du crawl lors de l'utilisation d'un type de Catalog connexion associé à un type de NETWORK connexion.

• EventQueueArn— UTF-8 ficelle.

  Un ARN Amazon SQS valide. Par exemple, arn:aws:sqs:region:account:sqs.

• DlqEventQueueArn— UTF-8 ficelle.

  Un ARN SQS de lettres mortes Amazon valide. Par exemple, arn:aws:sqs:region:account:deadLetterQueue.

Champs

• CrawlerName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom du crawler.

• TimeLeftSeconds – Nombre (double).

  Estimation du temps restant pour terminer une analyse en cours d'exécution.

• StillEstimating : booléen.

  True si le crawler est toujours en cours d'estimation du temps nécessaire pour terminer cette exécution.

• LastRuntimeSeconds – Nombre (double).

  Durée de l'exécution la plus récente de l'crawler, en secondes.

• MedianRuntimeSeconds – Nombre (double).

  Durée médiane des exécutions de cet crawler, en secondes.

• TablesCreated : nombre (entier).

  Nombre de tables créées par cet crawler.

• TablesUpdated : nombre (entier).

  Nombre de tables mises à jour par cet crawler.

• TablesDeleted : nombre (entier).

  Nombre de tables supprimées par cet crawler.

Champs

• CrawlId— UTF-8 ficelle.

  Un identifiant UUID pour chaque analyse.

• State— UTF-8 chaîne (valeurs valides : RUNNING | COMPLETED | FAILED |STOPPED).

  État de l'analyse.

• StartTime – Horodatage.

  Date et heure auxquelles le crawler a démarré.

• EndTime – Horodatage.

  Date et heure auxquelles l'analyse s'est achevée.

• Summary— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Un résumé d'exécution pour l'analyse spécifique dans JSON. Contient les tables de catalogue et les partitions qui ont été ajoutées, mises à jour ou supprimées.

• ErrorMessage – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Si une erreur s'est produite, le message d'erreur associé à l'analyse.

• LogGroup— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 512 octets, correspondant àLog group string pattern.

  Groupe de journaux associés au crawler.

• LogStream— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 512 octets, correspondant àLog-stream string pattern.

  Flux de journaux associé au crawler.

• MessagePrefix— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Le préfixe d'un CloudWatch message concernant ce crawl.

• DPUHour – Nombre (double).

  Nombre d'unités de traitement de données (DPU) utilisées en heures pour l'analyse.

Champs

• FieldName— UTF-8 chaîne (valeurs valides : CRAWL_ID | STATE | START_TIME | END_TIME |DPU_HOUR).

  Une clé utilisée pour filtrer les exécutions de Crawler pour un Crawler spécifié. Les valeurs valides pour chacun des noms de champs sont les suivantes :

  • CRAWL_ID : une chaîne représentant l'identifiant UUID d'une analyse.

  • STATE : une chaîne représentant l'état de l'analyse.

  • START_TIME et END_TIME : l'horodatage de l'époque en millisecondes.

  • DPU_HOUR : le nombre d'heures d'unité de traitement de données (DPU) utilisées pour l'analyse.

• FilterOperator— UTF-8 chaîne (valeurs valides : GT | GE | LT | LE | EQ |NE).

  Un comparateur défini qui agit sur la valeur. Les opérateurs disponibles sont les suivants :

  • GT : Supérieur à.

  • GE : Supérieur ou égal à.

  • LT : Inférieur à.

  • LE : Inférieur ou égal à.

  • EQ : Égal à.

  • NE : Pas égal à.

• FieldValue— UTF-8 ficelle.

  La valeur fournie pour la comparaison dans le champ d'analyse.

Champs

• UpdateBehavior— UTF-8 chaîne (valeurs valides : LOG |UPDATE_IN_DATABASE).

  Comportement de mise à jour lorsque le crawler détecte un schéma modifié.

• DeleteBehavior— UTF-8 chaîne (valeurs valides : LOG | DELETE_FROM_DATABASE |DEPRECATE_IN_DATABASE).

  Comportement de suppression lorsque le crawler détecte un objet supprimé.

Champs

• Status— UTF-8 chaîne (valeurs valides : SUCCEEDED | CANCELLED |FAILED).

  État de la dernière analyse.

• ErrorMessage – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Si une erreur s'est produite, informations d'erreur sur la dernière analyse.

• LogGroup— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 512 octets, correspondant àLog group string pattern.

  Groupe de journaux de la dernière analyse.

• LogStream— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 512 octets, correspondant àLog-stream string pattern.

  Flux de journal de la dernière analyse.

• MessagePrefix— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Préfixe d'un message sur cette analyse.

• StartTime – Horodatage.

  Heure à laquelle l'analyse a commencé.

Champs

• RecrawlBehavior— UTF-8 chaîne (valeurs valides : CRAWL_EVERYTHING | CRAWL_NEW_FOLDERS_ONLY |CRAWL_EVENT_MODE).

  Spécifie s'il faut indexer à nouveau le jeu de données ou uniquement les dossiers ajoutés depuis la dernière exécution du crawler.

  Une valeur de CRAWL_EVERYTHING indique que l'ensemble du jeu de données doit être analysé à nouveau.

  Une valeur de CRAWL_NEW_FOLDERS_ONLY indique que seuls les dossiers ajoutés depuis la dernière exécution du crawler doivent être indexés.

  Une valeur de CRAWL_EVENT_MODE spécifie uniquement l'analyse des modifications identifiées par les événements Amazon S3.

Champs

• CrawlerLineageSettings— UTF-8 chaîne (valeurs valides : ENABLE |DISABLE).

  Indique si la lignée de données est activée pour le crawler. Les valeurs valides sont :

  • ENABLE : active la lignée des données pour le crawler

  • DISABLE : désactive la lignée de données pour le crawler

Champs

• UseLakeFormationCredentials : booléen.

  Spécifie s'il faut utiliser les AWS Lake Formation informations d'identification pour le robot d'exploration au lieu des informations d'identification du rôle IAM.

• AccountId— UTF-8 chaîne ne dépassant pas 12 octets.

  Obligatoire pour les analyses de compte croisées. Pour les mêmes analyses de compte que les données cibles, cela peut être laissé nul.

• CreateCrawler action (Python : create_crawler)

• DeleteCrawler action (Python : delete_crawler)

• GetCrawler action (Python : get_crawler)

• GetCrawlers action (Python : get_crawlers)

• GetCrawlerMetrics action (Python : get_crawler_metrics)

• UpdateCrawler action (Python : update_crawler)

• StartCrawler action (Python : start_crawler)

• StopCrawler action (Python : stop_crawler)

• BatchGetCrawlers action (Python : batch_get_crawlers)

• ListCrawlers action (Python : list_crawlers)

• ListCrawls action (Python : list_crawls)

Demande

• Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom du nouveau crawler.

• Role— Obligatoire : UTF-8 chaîne.

  Rôle IAM ou Amazon Resource Name (ARN) d'un rôle IAM utilisé par le nouveau crawler pour accéder aux ressources client.

• DatabaseName— UTF-8 ficelle.

  La AWS Glue base de données dans laquelle les résultats sont écrits, par exemple :arn:aws:daylight:us-east-1::database/sometable/*.

• Description – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Description du nouvel crawler.

• Targets – Obligatoire : un objet CrawlerTargets.

  Liste de l'ensemble de cibles à analyser.

• Schedule— UTF-8 ficelle.

  cronExpression utilisée pour spécifier le calendrier (voir Time-Based Horaires pour les tâches et les robots d'exploration). Par exemple, pour exécuter un élément tous les jours à 12h15 UTC, vous devez spécifier : cron(15 12 * * ? *).

• Classifiers— Un tableau de UTF-8 chaînes.

  Liste des classifieurs personnalisés que l'utilisateur a enregistrés. Par défaut, tous les classificateurs intégrés sont inclus dans une analyse, mais ces classificateurs personnalisés se substituent toujours aux classificateurs par défaut pour une classification donnée.

• TablePrefix— UTF-8 chaîne ne dépassant pas 128 octets.

  Préfixe de table utilisé pour les tables catalogue créées.

• SchemaChangePolicy – Un objet SchemaChangePolicy.

  Stratégie du comportement de mise à jour et de suppression de l'crawler.

• RecrawlPolicy – Un objet RecrawlPolicy.

  Stratégie qui spécifie s'il faut analyser à nouveau le jeu de données entier ou analyser uniquement les dossiers ajoutés depuis la dernière exécution du crawler.

• LineageConfiguration – Un objet LineageConfiguration.

  Spécifie les paramètres de configuration de la lignée de données pour le crawler.

• LakeFormationConfiguration – Un objet LakeFormationConfiguration.

  Spécifie les paramètres AWS Lake Formation de configuration pour le robot d'exploration.

• Configuration— UTF-8 ficelle.

  Informations sur la configuration du crawler. Cette chaîne JSON avec gestion des versions permet aux utilisateurs de spécifier des aspects du comportement d'un crawler. Pour plus d'informations, consultez Setting Crawler configuration options (Définition d'options de configuration du crawler).

• CrawlerSecurityConfiguration— UTF-8 chaîne ne dépassant pas 128 octets.

  Nom de la structure SecurityConfiguration qui sera utilisée par ce crawler.

• Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 128 octets.

  Chaque valeur est une UTF-8 chaîne ne dépassant pas 256 octets.

  Balises à utiliser avec cette demande d'crawler. Vous pouvez utiliser des balises pour limiter l'accès à l'crawler. Pour plus d'informations sur les tags in AWS Glue, voir AWS Tags in AWS Glue dans le guide du développeur.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• InvalidInputException

• AlreadyExistsException

• OperationTimeoutException

• ResourceNumberLimitExceededException

Demande

• Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom de l'crawler à supprimer.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• CrawlerRunningException

• SchedulerTransitioningException

• OperationTimeoutException

Demande

• Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom de l'crawler pour lequel récupérer les métadonnées.

Réponse

• Crawler – Un objet crawler.

  Métadonnées pour l'crawler spécifié.

Erreurs

• EntityNotFoundException

• OperationTimeoutException

Demande

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  Nombre d'crawlers à renvoyer à chaque appel.

• NextToken— UTF-8 ficelle.

  Jeton de continuation, s’il s’agit d’une requête de continuation.

Réponse

• Crawlers : un tableau d’objets crawler.

  Liste des métadonnées de l'crawler.

• NextToken— UTF-8 ficelle.

  Jeton de continuation, si la liste renvoyée n'a pas atteint la fin de ceux définis dans ce compte client.

Erreurs

• OperationTimeoutException

Demande

• CrawlerNameList— Tableau de UTF-8 chaînes, pas plus de 100 chaînes.

  Liste des noms des crawlers sur lesquels récupérer les métriques.

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  La taille maximale d’une liste à renvoyer.

• NextToken— UTF-8 ficelle.

  Jeton de continuation, s’il s’agit d’un appel de continuation.

Réponse

• CrawlerMetricsList : un tableau d’objets CrawlerMetrics.

  Liste des métriques pour l'crawler spécifié.

• NextToken— UTF-8 ficelle.

  Jeton continuation, si la liste renvoyée ne contient pas la dernière métrique disponible.

Erreurs

• OperationTimeoutException

Demande

• Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom du nouveau crawler.

• Role— UTF-8 ficelle.

  Rôle IAM ou Amazon Resource Name (ARN) d'un rôle IAM qui est utilisé par le nouvel crawler pour accéder aux ressources client.

• DatabaseName— UTF-8 ficelle.

  La AWS Glue base de données dans laquelle les résultats sont stockés, telle que :arn:aws:daylight:us-east-1::database/sometable/*.

• Description— UTF-8 chaîne, d'une longueur maximale de 2 048 octets, correspondant à. URI address multi-line string pattern

  Description du nouvel crawler.

• Targets – Un objet CrawlerTargets.

  Liste des cibles à analyser.

• Schedule— UTF-8 ficelle.

  cronExpression utilisée pour spécifier le calendrier (voir Time-Based Horaires pour les tâches et les robots d'exploration). Par exemple, pour exécuter un élément tous les jours à 12h15 UTC, vous devez spécifier : cron(15 12 * * ? *).

• Classifiers— Un tableau de UTF-8 chaînes.

  Liste des classifieurs personnalisés que l'utilisateur a enregistrés. Par défaut, tous les classificateurs intégrés sont inclus dans une analyse, mais ces classificateurs personnalisés se substituent toujours aux classificateurs par défaut pour une classification donnée.

• TablePrefix— UTF-8 chaîne ne dépassant pas 128 octets.

  Préfixe de table utilisé pour les tables catalogue créées.

• SchemaChangePolicy – Un objet SchemaChangePolicy.

  Stratégie du comportement de mise à jour et de suppression de l'crawler.

• RecrawlPolicy – Un objet RecrawlPolicy.

  Stratégie qui spécifie s'il faut analyser à nouveau le jeu de données entier ou analyser uniquement les dossiers ajoutés depuis la dernière exécution du crawler.

• LineageConfiguration – Un objet LineageConfiguration.

  Spécifie les paramètres de configuration de la lignée de données pour le crawler.

• LakeFormationConfiguration – Un objet LakeFormationConfiguration.

  Spécifie les paramètres AWS Lake Formation de configuration pour le robot d'exploration.

• Configuration— UTF-8 ficelle.

  Informations sur la configuration du crawler. Cette chaîne JSON avec gestion des versions permet aux utilisateurs de spécifier des aspects du comportement d'un crawler. Pour plus d'informations, consultez Setting Crawler configuration options (Définition d'options de configuration du crawler).

• CrawlerSecurityConfiguration— UTF-8 chaîne ne dépassant pas 128 octets.

  Nom de la structure SecurityConfiguration qui sera utilisée par cet crawler.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• InvalidInputException

• VersionMismatchException

• EntityNotFoundException

• CrawlerRunningException

• OperationTimeoutException

Demande

• Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom de l'crawler à démarrer.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• CrawlerRunningException

• OperationTimeoutException

Demande

• Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom de l'crawler à arrêter.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• CrawlerNotRunningException

• CrawlerStoppingException

• OperationTimeoutException

Demande

• CrawlerNames— Obligatoire : tableau de UTF-8 chaînes, pas plus de 100 chaînes.

  Liste des noms d'crawler, qui peuvent être les noms renvoyés à partir de l'opération ListCrawlers.

Réponse

• Crawlers : un tableau d’objets crawler.

  Liste des définitions d'crawler.

• CrawlersNotFound— Tableau de UTF-8 chaînes, pas plus de 100 chaînes.

  Liste de noms d'crawler qui n'ont pas été trouvés.

Erreurs

• InvalidInputException

• OperationTimeoutException

Demande

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  La taille maximale d’une liste à renvoyer.

• NextToken— UTF-8 ficelle.

  Jeton de continuation, s’il s’agit d’une requête de continuation.

• Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 128 octets.

  Chaque valeur est une UTF-8 chaîne ne dépassant pas 256 octets.

  Spécifie de renvoyer uniquement les ressources balisées.

Réponse

• CrawlerNames— Tableau de UTF-8 chaînes, pas plus de 100 chaînes.

  Noms de tous les crawlers dans le compte ou des crawlers avec les balises spécifiées.

• NextToken— UTF-8 ficelle.

  Jeton continuation, si la liste renvoyée ne contient pas la dernière métrique disponible.

Erreurs

• OperationTimeoutException

• Récupère toutes les analyse d'un Crawler spécifié.

• Récupère toutes les analyse d'un Crawler spécifié dans un nombre limité.

• Récupère toutes les analyse d'un Crawler spécifié dans une plage de temps spécifique.

• Récupère toutes les analyse d'un Crawler spécifié avec un état, un ID d'analyse ou une valeur d'heure DPU particuliers.

Demande

• CrawlerName— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom du Crawler dont vous voulez récupérer les exécutions.

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  Nombre maximal de résultats à renvoyer. La valeur par défaut est 20 et la valeur maximale est 100.

• Filters : un tableau d’objets CrawlsFilter.

  Filtre les analyse en fonction de critères que vous spécifiez dans une liste objets CrawlsFilter.

• NextToken— UTF-8 ficelle.

  Jeton de continuation, s’il s’agit d’un appel de continuation.

Réponse

• Crawls : un tableau d’objets CrawlerHistory.

  Une liste d'objets CrawlerHistory représentant les cycles d'analyse qui répondent à vos critères.

• NextToken— UTF-8 ficelle.

  Jeton de continuation pour la pagination de la liste des jetons renvoyés, renvoyé si le segment actuel de la liste n’est pas le dernier.

Erreurs

• EntityNotFoundException

• OperationTimeoutException

• InvalidInputException