Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
API du classifieur
L'API Classifier décrit les types de données des AWS Glue classificateurs et inclut l'API permettant de créer, de supprimer, de mettre à jour et de répertorier les classificateurs.
Types de données
Structure du classifieur
Les classifieurs sont déclenchés durant une tâche d'analyse. Un classifieur vérifie si un fichier donné est dans un format qu'il peut gérer. Si c'est le cas, le classifieur crée un schéma sous la forme d'un objet StructType correspondant à ce format de données.
Vous pouvez utiliser les classificateurs standard AWS Glue fournis, ou vous pouvez créer vos propres classificateurs pour classer au mieux vos sources de données et spécifier les schémas appropriés à utiliser pour celles-ci. Un classifieur peut être un classifieur grok, un classifieur XML, un classifieur JSON ou un classifieur CSV personnalisé, selon ce qui est spécifié dans l'un des champs de l'objet Classifier.
Champs
-
GrokClassifier– Un objet GrokClassifier.Classificateur qui utilise
grok. -
XMLClassifier– Un objet XMLClassifier.Classificateur de contenu XML.
-
JsonClassifier– Un objet JsonClassifier.Classificateur de contenu JSON.
-
CsvClassifier– Un objet CsvClassifier.Classificateur pour les valeurs séparées par des virgules (CSV).
GrokClassifier structure
Classifieur qui utilise des modèles grok.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
Classification— Obligatoire : UTF-8 chaîne.Identifiant du format des données auquel le classifieur correspond, comme les journaux Twitter, JSON, Omniture, etc.
-
CreationTime– Horodatage.Heure à laquelle ce classificateur a été enregistré.
-
LastUpdated– Horodatage.Heure de la dernière mise à jour de ce classifieur.
-
Version– Nombre (long).Version de ce classifieur.
-
GrokPattern— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets, correspondant à. A Logstash Grok string patternModèle grok appliqué à un magasin de données par ce classifieur. Pour plus d'informations, consultez les modèles intégrés dans Writing Custom Classifiers (Écriture de classifieurs personnalisés).
-
CustomPatterns— UTF-8 chaîne de caractères ne dépassant pas 16 000 octets, correspondant à. URI address multi-line string patternModèles grok personnalisés facultatifs définis par ce classifieur. Pour plus d'informations, consultez les modèles personnalisés dans Writing Custom Classifiers (Écriture de classifieurs personnalisés).
Structure du XMLClassifier
Classifieur de contenu XML.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
Classification— Obligatoire : UTF-8 chaîne.Identifiant du format des données que le classifieur fait correspondre.
-
CreationTime– Horodatage.Heure à laquelle ce classificateur a été enregistré.
-
LastUpdated– Horodatage.Heure de la dernière mise à jour de ce classifieur.
-
Version– Nombre (long).Version de ce classifieur.
-
RowTag— UTF-8 ficelle.Balise XML désignant l'élément contenant chaque enregistrement d'un document XML en cours d'analyse. Cela ne permet pas d'identifier un élément à fermeture automatique (fermé par
/>). Un élément de ligne vide contenant uniquement des attributs peut être analysé tant qu'il se termine par une balise de fermeture (par exemple,<row item_a="A" item_b="B"></row>est correct, mais<row item_a="A" item_b="B" />ne l'est pas).
JsonClassifier structure
Classifieur de contenu JSON.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
CreationTime– Horodatage.Heure à laquelle ce classificateur a été enregistré.
-
LastUpdated– Horodatage.Heure de la dernière mise à jour de ce classifieur.
-
Version– Nombre (long).Version de ce classifieur.
-
JsonPath— Obligatoire : UTF-8 chaîne.JsonPathChaîne définissant les données JSON que le classificateur doit classer. AWS Glue prend en charge un sous-ensemble de JsonPath, comme décrit dans Écrire des JsonPath classificateurs personnalisés.
CsvClassifier structure
Classifieur de contenu CSV personnalisé.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
CreationTime– Horodatage.Heure à laquelle ce classificateur a été enregistré.
-
LastUpdated– Horodatage.Heure de la dernière mise à jour de ce classifieur.
-
Version– Nombre (long).Version de ce classifieur.
-
Delimiter— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.Symbole personnalisé pour indiquer ce qui sépare chaque entrée de colonne dans la ligne.
-
QuoteSymbol— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.Symbole personnalisé pour indiquer ce qui combine le contenu en une seule valeur de colonne. Doit être différent du délimiteur de colonne.
-
ContainsHeader— UTF-8 chaîne (valeurs valides :UNKNOWN|PRESENT|ABSENT).Indique si le fichier CSV contient un en-tête.
-
Header— Un tableau de UTF-8 chaînes.Liste des chaînes représentant les noms des colonnes.
-
DisableValueTrimming: booléen.Spécifie de ne pas couper les valeurs avant d'identifier le type des valeurs de colonne. La valeur par défaut est
true. -
AllowSingleColumn: booléen.Active le traitement des fichiers qui ne contiennent qu'une seule colonne.
-
CustomDatatypeConfigured: booléen.Permet de configurer le type de données personnalisé.
-
CustomDatatypes— Un tableau de UTF-8 chaînes.Liste de types de données personnalisés, notamment « BINARY », « BOOLEAN », « DATE », « DECIMAL », « DOUBLE », « FLOAT », « INT », « LONG », « SHORT », « STRING », « TIMESTAMP ».
-
Serde— UTF-8 chaîne (valeurs valides :OpenCSVSerDe|LazySimpleSerDe|None).Définit SerDe le format CSV à traiter dans le classificateur, qui sera appliqué dans le catalogue de données. Les valeurs valides sont
OpenCSVSerDe,LazySimpleSerDeetNone. Vous pouvez spécifier la valeurNonelorsque vous souhaitez que le Crawler effectue la détection.
CreateGrokClassifierRequest structure
Spécifie un classifieur grok que CreateClassifier doit créer.
Champs
-
Classification— Obligatoire : UTF-8 chaîne.Identifiant du format de données auquel le classificateur correspond, tel que Twitter, JSON, Omniture logs, Amazon CloudWatch Logs, etc.
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du nouveau classifieur.
-
GrokPattern— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets, correspondant à. A Logstash Grok string patternModèle grok utilisé par ce classifieur.
-
CustomPatterns— UTF-8 chaîne de caractères ne dépassant pas 16 000 octets, correspondant à. URI address multi-line string patternModèles grok personnalisés facultatifs utilisés par ce classifieur.
UpdateGrokClassifierRequest structure
Spécifie un classifieur grok à mettre à jour lorsqu'il est transmis à UpdateClassifier.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Le nom de l'
GrokClassifier. -
Classification— UTF-8 ficelle.Identifiant du format de données auquel le classificateur correspond, tel que Twitter, JSON, Omniture logs, Amazon CloudWatch Logs, etc.
-
GrokPattern— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets, correspondant à. A Logstash Grok string patternModèle grok utilisé par ce classifieur.
-
CustomPatterns— UTF-8 chaîne de caractères ne dépassant pas 16 000 octets, correspondant à. URI address multi-line string patternModèles grok personnalisés facultatifs utilisés par ce classifieur.
CreateXMLClassifierRequest structure
Spécifie un classifieur XML que CreateClassifier doit créer.
Champs
-
Classification— Obligatoire : UTF-8 chaîne.Identifiant du format des données que le classifieur fait correspondre.
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
RowTag— UTF-8 ficelle.Balise XML désignant l'élément contenant chaque enregistrement d'un document XML en cours d'analyse. Cela ne permet pas d'identifier un élément à fermeture automatique (fermé par
/>). Un élément de ligne vide contenant uniquement des attributs peut être analysé tant qu'il se termine par une balise de fermeture (par exemple,<row item_a="A" item_b="B"></row>est correct, mais<row item_a="A" item_b="B" />ne l'est pas).
UpdateXMLClassifierRequest structure
Spécifie un classifieur XML à mettre à jour.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
Classification— UTF-8 ficelle.Identifiant du format des données que le classifieur fait correspondre.
-
RowTag— UTF-8 ficelle.Balise XML désignant l'élément contenant chaque enregistrement d'un document XML en cours d'analyse. Cela ne permet pas d’identifier un élément à fermeture automatique (fermé par
/>). Un élément de ligne vide contenant uniquement des attributs peut être analysé tant qu'il se termine par une balise de fermeture (par exemple,<row item_a="A" item_b="B"></row>est correct, mais<row item_a="A" item_b="B" />ne l'est pas).
CreateJsonClassifierRequest structure
Spécifie un classifieur JSON que CreateClassifier doit créer.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
JsonPath— Obligatoire : UTF-8 chaîne.JsonPathChaîne définissant les données JSON que le classificateur doit classer. AWS Glue prend en charge un sous-ensemble de JsonPath, comme décrit dans Écrire des JsonPath classificateurs personnalisés.
UpdateJsonClassifierRequest structure
Spécifie un classifieur JSON à mettre à jour.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
JsonPath— UTF-8 ficelle.JsonPathChaîne définissant les données JSON que le classificateur doit classer. AWS Glue prend en charge un sous-ensemble de JsonPath, comme décrit dans Écrire des JsonPath classificateurs personnalisés.
CreateCsvClassifierRequest structure
Spécifie un classifieur CSV personnalisé que CreateClassifier doit créer.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
Delimiter— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.Symbole personnalisé pour indiquer ce qui sépare chaque entrée de colonne dans la ligne.
-
QuoteSymbol— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.Symbole personnalisé pour indiquer ce qui combine le contenu en une seule valeur de colonne. Doit être différent du délimiteur de colonne.
-
ContainsHeader— UTF-8 chaîne (valeurs valides :UNKNOWN|PRESENT|ABSENT).Indique si le fichier CSV contient un en-tête.
-
Header— Un tableau de UTF-8 chaînes.Liste des chaînes représentant les noms des colonnes.
-
DisableValueTrimming: booléen.Spécifie de ne pas couper les valeurs avant d'identifier le type des valeurs de colonne. La valeur par défaut est True.
-
AllowSingleColumn: booléen.Active le traitement des fichiers qui ne contiennent qu'une seule colonne.
-
CustomDatatypeConfigured: booléen.Permet la configuration du type de données personnalisé.
-
CustomDatatypes— Un tableau de UTF-8 chaînes.Crée une liste des types de données personnalisés pris en charge.
-
Serde— UTF-8 chaîne (valeurs valides :OpenCSVSerDe|LazySimpleSerDe|None).Définit SerDe le format CSV à traiter dans le classificateur, qui sera appliqué dans le catalogue de données. Les valeurs valides sont
OpenCSVSerDe,LazySimpleSerDeetNone. Vous pouvez spécifier la valeurNonelorsque vous souhaitez que le Crawler effectue la détection.
UpdateCsvClassifierRequest structure
Spécifie un classifieur CSV personnalisé à mettre à jour.
Champs
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur.
-
Delimiter— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.Symbole personnalisé pour indiquer ce qui sépare chaque entrée de colonne dans la ligne.
-
QuoteSymbol— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.Symbole personnalisé pour indiquer ce qui combine le contenu en une seule valeur de colonne. Doit être différent du délimiteur de colonne.
-
ContainsHeader— UTF-8 chaîne (valeurs valides :UNKNOWN|PRESENT|ABSENT).Indique si le fichier CSV contient un en-tête.
-
Header— Un tableau de UTF-8 chaînes.Liste des chaînes représentant les noms des colonnes.
-
DisableValueTrimming: booléen.Spécifie de ne pas couper les valeurs avant d'identifier le type des valeurs de colonne. La valeur par défaut est True.
-
AllowSingleColumn: booléen.Active le traitement des fichiers qui ne contiennent qu'une seule colonne.
-
CustomDatatypeConfigured: booléen.Spécifie la configuration du type de données personnalisé.
-
CustomDatatypes— Un tableau de UTF-8 chaînes.Spécifie une liste des types de données personnalisés pris en charge.
-
Serde— UTF-8 chaîne (valeurs valides :OpenCSVSerDe|LazySimpleSerDe|None).Définit SerDe le format CSV à traiter dans le classificateur, qui sera appliqué dans le catalogue de données. Les valeurs valides sont
OpenCSVSerDe,LazySimpleSerDeetNone. Vous pouvez spécifier la valeurNonelorsque vous souhaitez que le Crawler effectue la détection.
Opérations
CreateClassifier action (Python : create_classifier)
Crée un classifieur dans le compte de l'utilisateur. Cela peut être un GrokClassifier, un XMLClassifier, un JsonClassifier ou un CsvClassifier, selon le champ de la demande qui est présent.
Demande
-
GrokClassifier– Un objet CreateGrokClassifierRequest.Un
GrokClassifierobjet spécifiant le classifieur à créer. -
XMLClassifier– Un objet CreateXMLClassifierRequest.Un
XMLClassifierobjet spécifiant le classifieur à créer. -
JsonClassifier– Un objet CreateJsonClassifierRequest.Un
JsonClassifierobjet spécifiant le classifieur à créer. -
CsvClassifier– Un objet CreateCsvClassifierRequest.Un
CsvClassifierobjet spécifiant le classifieur à créer.
Réponse
Paramètres d’absence de réponse.
Erreurs
AlreadyExistsExceptionInvalidInputExceptionOperationTimeoutException
DeleteClassifier action (Python : delete_classifier)
Supprime un classifieur du catalogue de données.
Demande
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur à supprimer.
Réponse
Paramètres d’absence de réponse.
Erreurs
EntityNotFoundExceptionOperationTimeoutException
GetClassifier action (Python : get_classifier)
Récupérer un classifieur par son nom.
Demande
-
Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.Nom du classifieur à récupérer.
Réponse
-
Classifier– Un objet Classifieur.Classifieur demandé.
Erreurs
EntityNotFoundExceptionOperationTimeoutException
GetClassifiers action (Python : get_classifiers)
Répertorie toutes les objets Classifieur du catalogue de données.
Demande
-
MaxResults– Nombre (entier), compris entre 1 et 1 000.Taille de la liste à renvoyer (facultatif).
-
NextToken— UTF-8 ficelle.Jeton de continuation facultatif.
Réponse
-
Classifiers: un tableau d’objets Classifieur.Liste des objets Classifier demandée.
-
NextToken— UTF-8 ficelle.Jeton de continuation.
Erreurs
OperationTimeoutException
UpdateClassifier action (Python : update_classifier)
Modifie un classifieur existant (GrokClassifier, XMLClassifier, JsonClassifier ou CsvClassifier, selon le champ qui est présent).
Demande
-
GrokClassifier– Un objet UpdateGrokClassifierRequest.Un objet
GrokClassifieravec des champs mis à jour. -
XMLClassifier– Un objet UpdateXMLClassifierRequest.Un objet
XMLClassifieravec des champs mis à jour. -
JsonClassifier– Un objet UpdateJsonClassifierRequest.Un objet
JsonClassifieravec des champs mis à jour. -
CsvClassifier– Un objet UpdateCsvClassifierRequest.Un objet
CsvClassifieravec des champs mis à jour.
Réponse
Paramètres d’absence de réponse.
Erreurs
InvalidInputExceptionVersionMismatchExceptionEntityNotFoundExceptionOperationTimeoutException