View a markdown version of this page

API du classifieur - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

API du classifieur

L'API Classifier décrit les types de données des AWS Glue classificateurs et inclut l'API permettant de créer, de supprimer, de mettre à jour et de répertorier les classificateurs.

Types de données

Structure du classifieur

Les classifieurs sont déclenchés durant une tâche d'analyse. Un classifieur vérifie si un fichier donné est dans un format qu'il peut gérer. Si c'est le cas, le classifieur crée un schéma sous la forme d'un objet StructType correspondant à ce format de données.

Vous pouvez utiliser les classificateurs standard AWS Glue fournis, ou vous pouvez créer vos propres classificateurs pour classer au mieux vos sources de données et spécifier les schémas appropriés à utiliser pour celles-ci. Un classifieur peut être un classifieur grok, un classifieur XML, un classifieur JSON ou un classifieur CSV personnalisé, selon ce qui est spécifié dans l'un des champs de l'objet Classifier.

Champs
  • GrokClassifier – Un objet GrokClassifier.

    Classificateur qui utilise grok.

  • XMLClassifier – Un objet XMLClassifier.

    Classificateur de contenu XML.

  • JsonClassifier – Un objet JsonClassifier.

    Classificateur de contenu JSON.

  • CsvClassifier – Un objet CsvClassifier.

    Classificateur pour les valeurs séparées par des virgules (CSV).

GrokClassifier structure

Classifieur qui utilise des modèles grok.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • Classification Obligatoire : UTF-8 chaîne.

    Identifiant du format des données auquel le classifieur correspond, comme les journaux Twitter, JSON, Omniture, etc.

  • CreationTime – Horodatage.

    Heure à laquelle ce classificateur a été enregistré.

  • LastUpdated – Horodatage.

    Heure de la dernière mise à jour de ce classifieur.

  • Version – Nombre (long).

    Version de ce classifieur.

  • GrokPattern Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets, correspondant à. A Logstash Grok string pattern

    Modèle grok appliqué à un magasin de données par ce classifieur. Pour plus d'informations, consultez les modèles intégrés dans Writing Custom Classifiers (Écriture de classifieurs personnalisés).

  • CustomPatterns— UTF-8 chaîne de caractères ne dépassant pas 16 000 octets, correspondant à. URI address multi-line string pattern

    Modèles grok personnalisés facultatifs définis par ce classifieur. Pour plus d'informations, consultez les modèles personnalisés dans Writing Custom Classifiers (Écriture de classifieurs personnalisés).

Structure du XMLClassifier

Classifieur de contenu XML.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • Classification Obligatoire : UTF-8 chaîne.

    Identifiant du format des données que le classifieur fait correspondre.

  • CreationTime – Horodatage.

    Heure à laquelle ce classificateur a été enregistré.

  • LastUpdated – Horodatage.

    Heure de la dernière mise à jour de ce classifieur.

  • Version – Nombre (long).

    Version de ce classifieur.

  • RowTag— UTF-8 ficelle.

    Balise XML désignant l'élément contenant chaque enregistrement d'un document XML en cours d'analyse. Cela ne permet pas d'identifier un élément à fermeture automatique (fermé par />). Un élément de ligne vide contenant uniquement des attributs peut être analysé tant qu'il se termine par une balise de fermeture (par exemple, <row item_a="A" item_b="B"></row> est correct, mais <row item_a="A" item_b="B" /> ne l'est pas).

JsonClassifier structure

Classifieur de contenu JSON.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • CreationTime – Horodatage.

    Heure à laquelle ce classificateur a été enregistré.

  • LastUpdated – Horodatage.

    Heure de la dernière mise à jour de ce classifieur.

  • Version – Nombre (long).

    Version de ce classifieur.

  • JsonPath Obligatoire : UTF-8 chaîne.

    JsonPathChaîne définissant les données JSON que le classificateur doit classer. AWS Glue prend en charge un sous-ensemble de JsonPath, comme décrit dans Écrire des JsonPath classificateurs personnalisés.

CsvClassifier structure

Classifieur de contenu CSV personnalisé.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • CreationTime – Horodatage.

    Heure à laquelle ce classificateur a été enregistré.

  • LastUpdated – Horodatage.

    Heure de la dernière mise à jour de ce classifieur.

  • Version – Nombre (long).

    Version de ce classifieur.

  • Delimiter— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.

    Symbole personnalisé pour indiquer ce qui sépare chaque entrée de colonne dans la ligne.

  • QuoteSymbol— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.

    Symbole personnalisé pour indiquer ce qui combine le contenu en une seule valeur de colonne. Doit être différent du délimiteur de colonne.

  • ContainsHeader— UTF-8 chaîne (valeurs valides : UNKNOWN | PRESENT |ABSENT).

    Indique si le fichier CSV contient un en-tête.

  • Header— Un tableau de UTF-8 chaînes.

    Liste des chaînes représentant les noms des colonnes.

  • DisableValueTrimming : booléen.

    Spécifie de ne pas couper les valeurs avant d'identifier le type des valeurs de colonne. La valeur par défaut est true.

  • AllowSingleColumn : booléen.

    Active le traitement des fichiers qui ne contiennent qu'une seule colonne.

  • CustomDatatypeConfigured : booléen.

    Permet de configurer le type de données personnalisé.

  • CustomDatatypes— Un tableau de UTF-8 chaînes.

    Liste de types de données personnalisés, notamment « BINARY », « BOOLEAN », « DATE », « DECIMAL », « DOUBLE », « FLOAT », « INT », « LONG », « SHORT », « STRING », « TIMESTAMP ».

  • Serde— UTF-8 chaîne (valeurs valides : OpenCSVSerDe | LazySimpleSerDe |None).

    Définit SerDe le format CSV à traiter dans le classificateur, qui sera appliqué dans le catalogue de données. Les valeurs valides sont OpenCSVSerDe, LazySimpleSerDe et None. Vous pouvez spécifier la valeur None lorsque vous souhaitez que le Crawler effectue la détection.

CreateGrokClassifierRequest structure

Spécifie un classifieur grok que CreateClassifier doit créer.

Champs
  • Classification Obligatoire : UTF-8 chaîne.

    Identifiant du format de données auquel le classificateur correspond, tel que Twitter, JSON, Omniture logs, Amazon CloudWatch Logs, etc.

  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du nouveau classifieur.

  • GrokPattern Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets, correspondant à. A Logstash Grok string pattern

    Modèle grok utilisé par ce classifieur.

  • CustomPatterns— UTF-8 chaîne de caractères ne dépassant pas 16 000 octets, correspondant à. URI address multi-line string pattern

    Modèles grok personnalisés facultatifs utilisés par ce classifieur.

UpdateGrokClassifierRequest structure

Spécifie un classifieur grok à mettre à jour lorsqu'il est transmis à UpdateClassifier.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Le nom de l'GrokClassifier.

  • Classification— UTF-8 ficelle.

    Identifiant du format de données auquel le classificateur correspond, tel que Twitter, JSON, Omniture logs, Amazon CloudWatch Logs, etc.

  • GrokPattern— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 2 048 octets, correspondant à. A Logstash Grok string pattern

    Modèle grok utilisé par ce classifieur.

  • CustomPatterns— UTF-8 chaîne de caractères ne dépassant pas 16 000 octets, correspondant à. URI address multi-line string pattern

    Modèles grok personnalisés facultatifs utilisés par ce classifieur.

CreateXMLClassifierRequest structure

Spécifie un classifieur XML que CreateClassifier doit créer.

Champs
  • Classification Obligatoire : UTF-8 chaîne.

    Identifiant du format des données que le classifieur fait correspondre.

  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • RowTag— UTF-8 ficelle.

    Balise XML désignant l'élément contenant chaque enregistrement d'un document XML en cours d'analyse. Cela ne permet pas d'identifier un élément à fermeture automatique (fermé par />). Un élément de ligne vide contenant uniquement des attributs peut être analysé tant qu'il se termine par une balise de fermeture (par exemple, <row item_a="A" item_b="B"></row> est correct, mais <row item_a="A" item_b="B" /> ne l'est pas).

UpdateXMLClassifierRequest structure

Spécifie un classifieur XML à mettre à jour.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • Classification— UTF-8 ficelle.

    Identifiant du format des données que le classifieur fait correspondre.

  • RowTag— UTF-8 ficelle.

    Balise XML désignant l'élément contenant chaque enregistrement d'un document XML en cours d'analyse. Cela ne permet pas d’identifier un élément à fermeture automatique (fermé par />). Un élément de ligne vide contenant uniquement des attributs peut être analysé tant qu'il se termine par une balise de fermeture (par exemple, <row item_a="A" item_b="B"></row> est correct, mais <row item_a="A" item_b="B" /> ne l'est pas).

CreateJsonClassifierRequest structure

Spécifie un classifieur JSON que CreateClassifier doit créer.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • JsonPath Obligatoire : UTF-8 chaîne.

    JsonPathChaîne définissant les données JSON que le classificateur doit classer. AWS Glue prend en charge un sous-ensemble de JsonPath, comme décrit dans Écrire des JsonPath classificateurs personnalisés.

UpdateJsonClassifierRequest structure

Spécifie un classifieur JSON à mettre à jour.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • JsonPath— UTF-8 ficelle.

    JsonPathChaîne définissant les données JSON que le classificateur doit classer. AWS Glue prend en charge un sous-ensemble de JsonPath, comme décrit dans Écrire des JsonPath classificateurs personnalisés.

CreateCsvClassifierRequest structure

Spécifie un classifieur CSV personnalisé que CreateClassifier doit créer.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • Delimiter— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.

    Symbole personnalisé pour indiquer ce qui sépare chaque entrée de colonne dans la ligne.

  • QuoteSymbol— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.

    Symbole personnalisé pour indiquer ce qui combine le contenu en une seule valeur de colonne. Doit être différent du délimiteur de colonne.

  • ContainsHeader— UTF-8 chaîne (valeurs valides : UNKNOWN | PRESENT |ABSENT).

    Indique si le fichier CSV contient un en-tête.

  • Header— Un tableau de UTF-8 chaînes.

    Liste des chaînes représentant les noms des colonnes.

  • DisableValueTrimming : booléen.

    Spécifie de ne pas couper les valeurs avant d'identifier le type des valeurs de colonne. La valeur par défaut est True.

  • AllowSingleColumn : booléen.

    Active le traitement des fichiers qui ne contiennent qu'une seule colonne.

  • CustomDatatypeConfigured : booléen.

    Permet la configuration du type de données personnalisé.

  • CustomDatatypes— Un tableau de UTF-8 chaînes.

    Crée une liste des types de données personnalisés pris en charge.

  • Serde— UTF-8 chaîne (valeurs valides : OpenCSVSerDe | LazySimpleSerDe |None).

    Définit SerDe le format CSV à traiter dans le classificateur, qui sera appliqué dans le catalogue de données. Les valeurs valides sont OpenCSVSerDe, LazySimpleSerDe et None. Vous pouvez spécifier la valeur None lorsque vous souhaitez que le Crawler effectue la détection.

UpdateCsvClassifierRequest structure

Spécifie un classifieur CSV personnalisé à mettre à jour.

Champs
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur.

  • Delimiter— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.

    Symbole personnalisé pour indiquer ce qui sépare chaque entrée de colonne dans la ligne.

  • QuoteSymbol— UTF-8 chaîne d'une longueur d'au moins 1 octet ou supérieure à 1 octet, correspondant àCustom string pattern #31.

    Symbole personnalisé pour indiquer ce qui combine le contenu en une seule valeur de colonne. Doit être différent du délimiteur de colonne.

  • ContainsHeader— UTF-8 chaîne (valeurs valides : UNKNOWN | PRESENT |ABSENT).

    Indique si le fichier CSV contient un en-tête.

  • Header— Un tableau de UTF-8 chaînes.

    Liste des chaînes représentant les noms des colonnes.

  • DisableValueTrimming : booléen.

    Spécifie de ne pas couper les valeurs avant d'identifier le type des valeurs de colonne. La valeur par défaut est True.

  • AllowSingleColumn : booléen.

    Active le traitement des fichiers qui ne contiennent qu'une seule colonne.

  • CustomDatatypeConfigured : booléen.

    Spécifie la configuration du type de données personnalisé.

  • CustomDatatypes— Un tableau de UTF-8 chaînes.

    Spécifie une liste des types de données personnalisés pris en charge.

  • Serde— UTF-8 chaîne (valeurs valides : OpenCSVSerDe | LazySimpleSerDe |None).

    Définit SerDe le format CSV à traiter dans le classificateur, qui sera appliqué dans le catalogue de données. Les valeurs valides sont OpenCSVSerDe, LazySimpleSerDe et None. Vous pouvez spécifier la valeur None lorsque vous souhaitez que le Crawler effectue la détection.

Opérations

CreateClassifier action (Python : create_classifier)

Crée un classifieur dans le compte de l'utilisateur. Cela peut être un GrokClassifier, un XMLClassifier, un JsonClassifier ou un CsvClassifier, selon le champ de la demande qui est présent.

Demande
Réponse
  • Paramètres d’absence de réponse.

Erreurs
  • AlreadyExistsException

  • InvalidInputException

  • OperationTimeoutException

DeleteClassifier action (Python : delete_classifier)

Supprime un classifieur du catalogue de données.

Demande
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur à supprimer.

Réponse
  • Paramètres d’absence de réponse.

Erreurs
  • EntityNotFoundException

  • OperationTimeoutException

GetClassifier action (Python : get_classifier)

Récupérer un classifieur par son nom.

Demande
  • Name Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

    Nom du classifieur à récupérer.

Réponse
  • Classifier – Un objet Classifieur.

    Classifieur demandé.

Erreurs
  • EntityNotFoundException

  • OperationTimeoutException

GetClassifiers action (Python : get_classifiers)

Répertorie toutes les objets Classifieur du catalogue de données.

Demande
  • MaxResults – Nombre (entier), compris entre 1 et 1 000.

    Taille de la liste à renvoyer (facultatif).

  • NextToken— UTF-8 ficelle.

    Jeton de continuation facultatif.

Réponse
  • Classifiers : un tableau d’objets Classifieur.

    Liste des objets Classifier demandée.

  • NextToken— UTF-8 ficelle.

    Jeton de continuation.

Erreurs
  • OperationTimeoutException

UpdateClassifier action (Python : update_classifier)

Modifie un classifieur existant (GrokClassifier, XMLClassifier, JsonClassifier ou CsvClassifier, selon le champ qui est présent).

Demande
Réponse
  • Paramètres d’absence de réponse.

Erreurs
  • InvalidInputException

  • VersionMismatchException

  • EntityNotFoundException

  • OperationTimeoutException