View a markdown version of this page

API classificatore - AWS Aderenza

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

API classificatore

L'API Classifier descrive i tipi di dati dei AWS Glue classificatori e include l'API per la creazione, l'eliminazione, l'aggiornamento e l'elenco dei classificatori.

Tipi di dati

Struttura classificatore

I classificatori vengono attivati durante un'attività di crawling. Un classificatore verifica se un determinato file è in un formato che è in grado di gestire. In questo caso il classificatore crea uno schema nel formato di un oggetto StructType che corrisponde a quel formato di dati.

È possibile utilizzare i classificatori standard AWS Glue forniti oppure creare classificatori personalizzati per classificare al meglio le fonti di dati e specificare gli schemi appropriati da utilizzare per esse. Un classificatore può essere di tipo grok, XML, JSON o CSV personalizzato come specificato in uno dei campi dell'oggetto Classifier.

Campi
  • GrokClassifier: un oggetto GrokClassifier.

    Un classificatore che utilizza grok.

  • XMLClassifier: un oggetto XMLClassifier.

    Classificatore per contenuto XML.

  • JsonClassifier: un oggetto JsonClassifier.

    Classificatore per contenuto JSON.

  • CsvClassifier: un oggetto CsvClassifier.

    Un classificatore per i valori separati da virgole (CSV).

GrokClassifier struttura

Un classificatore che utilizza i pattern grok.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • Classification Obbligatorio: UTF-8 stringa.

    Identificatore del formato di dati corrisposto dal classificatore, ad esempio log Twitter, JSON, Omniture e così via.

  • CreationTime: timestamp.

    L'ultima volta in cui è stato registrato il classificatore.

  • LastUpdated: timestamp.

    L'ultima volta in cui è stato aggiornato il classificatore.

  • Version: numero (lungo).

    La versione del classificatore.

  • GrokPattern UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 2048 byte, corrispondente al. A Logstash Grok string pattern

    Il pattern grok applicato a un datastore da questo classificatore. Per ulteriori informazioni, consulta i pattern integrati in Scrittura di classificatori personalizzati.

  • CustomPatterns— UTF-8 stringa, lunga non più di 16000 byte, corrispondente a. URI address multi-line string pattern

    Pattern grok personalizzati opzionali definiti da questo classificatore. Per ulteriori informazioni, consulta i pattern personalizzati in Scrittura di classificatori personalizzati.

Struttura XMLClassifier

Classificatore per contenuto XML.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • Classification Obbligatorio: UTF-8 stringa.

    Identificatore del formato di dati corrisposto dal classificatore.

  • CreationTime: timestamp.

    L'ultima volta in cui è stato registrato il classificatore.

  • LastUpdated: timestamp.

    L'ultima volta in cui è stato aggiornato il classificatore.

  • Version: numero (lungo).

    La versione del classificatore.

  • RowTag— UTF-8 stringa.

    Il tag XML che designa l'elemento contenente ogni record in un documento XML da analizzare. Non è in grado di identificare un elemento con chiusura automatica (chiuso da />). Un elemento riga vuota contenente solo attributi può essere analizzato fintantoché termina con un tag di chiusura (ad esempio, <row item_a="A" item_b="B"></row> è corretto, mentre <row item_a="A" item_b="B" /> non lo è).

JsonClassifier struttura

Classificatore per contenuto JSON.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • CreationTime: timestamp.

    L'ultima volta in cui è stato registrato il classificatore.

  • LastUpdated: timestamp.

    L'ultima volta in cui è stato aggiornato il classificatore.

  • Version: numero (lungo).

    La versione del classificatore.

  • JsonPath Obbligatorio: UTF-8 stringa.

    Una JsonPath stringa che definisce i dati JSON per il classificatore da classificare. AWS Glue supporta un sottoinsieme di JsonPath, come descritto in Writing Custom Classifiers. JsonPath

CsvClassifier struttura

Classificatore per contenuto CSV personalizzato.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • CreationTime: timestamp.

    L'ultima volta in cui è stato registrato il classificatore.

  • LastUpdated: timestamp.

    L'ultima volta in cui è stato aggiornato il classificatore.

  • Version: numero (lungo).

    La versione del classificatore.

  • Delimiter— UTF-8 stringa, lunga non meno di 1 o più di 1 byte, corrispondente a. Custom string pattern #31

    Un simbolo personalizzato per indicare il separatore di ogni voce di colonna nella riga.

  • QuoteSymbol— UTF-8 stringa, lunga non meno di 1 o più di 1 byte, corrispondente a. Custom string pattern #31

    Un simbolo personalizzato per indicare la combinazione dei contenuti in un singolo valore di colonna. Deve essere diverso dal delimitatore di colonna.

  • ContainsHeader— UTF-8 stringa (valori validi: UNKNOWN | PRESENT |ABSENT).

    Indica se il file CSV contiene un'intestazione.

  • Header— Una serie di UTF-8 stringhe.

    Un elenco di stringhe che rappresenta i nomi delle colonne.

  • DisableValueTrimming: booleano.

    Specifica di non tagliare i valori prima di individuare il tipo di valori di colonna. Il valore predefinito è true.

  • AllowSingleColumn: booleano.

    Abilita l'elaborazione dei file che contengono una sola colonna.

  • CustomDatatypeConfigured: booleano.

    Consente di configurare il tipo di dati personalizzato.

  • CustomDatatypes— Una serie di UTF-8 stringhe.

    Un elenco di tipi di dati personalizzati tra cui "BINARY", "BOOLEAN", "DATE", "DECIMAL", "DOUBLE", "FLOAT", "INT", "LONG", "SHORT", "STRING", "TIMESTAMP".

  • Serde— UTF-8 stringa (valori validi: OpenCSVSerDe | LazySimpleSerDe |None).

    Imposta il SerDe valore per l'elaborazione del CSV nel classificatore, che verrà applicato nel catalogo dati. I valori validi sono OpenCSVSerDe, LazySimpleSerDe e None. È possibile specificare il valore None quando si desidera che il crawler esegua il rilevamento.

CreateGrokClassifierRequest struttura

Specifica un classificatore grok per CreateClassifier.

Campi
  • Classification Obbligatorio: UTF-8 stringa.

    Un identificatore del formato di dati a cui corrisponde il classificatore, ad esempio Twitter, JSON, Omniture logs, Amazon CloudWatch Logs e così via.

  • Name Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del nuovo classificatore.

  • GrokPattern UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 2048 byte, corrispondente a. A Logstash Grok string pattern

    Il pattern grok utilizzato da questo classificatore.

  • CustomPatterns— UTF-8 stringa, lunga non più di 16000 byte, corrispondente a. URI address multi-line string pattern

    Pattern grok personalizzati opzionali utilizzati da questo classificatore.

UpdateGrokClassifierRequest struttura

Specifica un classificatore grok da aggiornare quando viene passato a UpdateClassifier.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Nome della GrokClassifier.

  • Classification— UTF-8 stringa.

    Un identificatore del formato di dati a cui corrisponde il classificatore, ad esempio Twitter, JSON, Omniture logs, Amazon CloudWatch Logs e così via.

  • GrokPattern— UTF-8 stringa, lunga non meno di 1 o più di 2048 byte, corrispondente a. A Logstash Grok string pattern

    Il pattern grok utilizzato da questo classificatore.

  • CustomPatterns— UTF-8 stringa, lunga non più di 16000 byte, corrispondente a. URI address multi-line string pattern

    Pattern grok personalizzati opzionali utilizzati da questo classificatore.

CreateXMLClassifierRequest struttura

Specifica un classificatore XML per CreateClassifier.

Campi
  • Classification Obbligatorio: UTF-8 stringa.

    Identificatore del formato di dati corrisposto dal classificatore.

  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • RowTag— UTF-8 stringa.

    Il tag XML che designa l'elemento contenente ogni record in un documento XML da analizzare. Non è in grado di identificare un elemento con chiusura automatica (chiuso da />). Un elemento riga vuota contenente solo attributi può essere analizzato fintantoché termina con un tag di chiusura (ad esempio, <row item_a="A" item_b="B"></row> è corretto, mentre <row item_a="A" item_b="B" /> non lo è).

UpdateXMLClassifierRequest struttura

Specifica un classificatore XML da aggiornare.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • Classification— UTF-8 stringa.

    Identificatore del formato di dati corrisposto dal classificatore.

  • RowTag— UTF-8 corda.

    Il tag XML che designa l'elemento contenente ogni record in un documento XML da analizzare. Non è in grado di identificare un elemento con chiusura automatica (chiuso da />). Un elemento riga vuota contenente solo attributi può essere analizzato fintantoché termina con un tag di chiusura (ad esempio, <row item_a="A" item_b="B"></row> è corretto, mentre <row item_a="A" item_b="B" /> non lo è).

CreateJsonClassifierRequest struttura

Specifica un classificatore JSON per CreateClassifier.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • JsonPath Obbligatorio: UTF-8 stringa.

    Una JsonPath stringa che definisce i dati JSON per il classificatore da classificare. AWS Glue supporta un sottoinsieme di JsonPath, come descritto in Writing Custom Classifiers. JsonPath

UpdateJsonClassifierRequest struttura

Specifica un classificatore JSON da aggiornare.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • JsonPath— UTF-8 stringa.

    Una JsonPath stringa che definisce i dati JSON per il classificatore da classificare. AWS Glue supporta un sottoinsieme di JsonPath, come descritto in Writing Custom Classifiers. JsonPath

CreateCsvClassifierRequest struttura

Specifica un classificatore CSV personalizzato per CreateClassifier.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • Delimiter— UTF-8 stringa, lunga non meno di 1 o più di 1 byte, corrispondente a. Custom string pattern #31

    Un simbolo personalizzato per indicare il separatore di ogni voce di colonna nella riga.

  • QuoteSymbol— UTF-8 stringa, lunga non meno di 1 o più di 1 byte, corrispondente a. Custom string pattern #31

    Un simbolo personalizzato per indicare la combinazione dei contenuti in un singolo valore di colonna. Deve essere diverso dal delimitatore di colonna.

  • ContainsHeader— UTF-8 stringa (valori validi: UNKNOWN | PRESENT |ABSENT).

    Indica se il file CSV contiene un'intestazione.

  • Header— Una serie di UTF-8 stringhe.

    Un elenco di stringhe che rappresenta i nomi delle colonne.

  • DisableValueTrimming: booleano.

    Specifica di non tagliare i valori prima di individuare il tipo di valori di colonna. Il valore di default è true.

  • AllowSingleColumn: booleano.

    Abilita l'elaborazione dei file che contengono una sola colonna.

  • CustomDatatypeConfigured: booleano.

    Consente di configurare tipi di dati personalizzati.

  • CustomDatatypes— Una serie di UTF-8 stringhe.

    Crea un elenco di tipi di dati personalizzati supportati.

  • Serde— UTF-8 stringa (valori validi: OpenCSVSerDe | LazySimpleSerDe |None).

    Imposta il SerDe valore per l'elaborazione del CSV nel classificatore, che verrà applicato nel catalogo dati. I valori validi sono OpenCSVSerDe, LazySimpleSerDe e None. È possibile specificare il valore None quando si desidera che il crawler esegua il rilevamento.

UpdateCsvClassifierRequest struttura

Specifica un classificatore CSV personalizzato da aggiornare.

Campi
  • Name UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Il nome del classificatore.

  • Delimiter— UTF-8 stringa, lunga non meno di 1 o più di 1 byte, corrispondente a. Custom string pattern #31

    Un simbolo personalizzato per indicare il separatore di ogni voce di colonna nella riga.

  • QuoteSymbol— UTF-8 stringa, lunga non meno di 1 o più di 1 byte, corrispondente a. Custom string pattern #31

    Un simbolo personalizzato per indicare la combinazione dei contenuti in un singolo valore di colonna. Deve essere diverso dal delimitatore di colonna.

  • ContainsHeader— UTF-8 stringa (valori validi: UNKNOWN | PRESENT |ABSENT).

    Indica se il file CSV contiene un'intestazione.

  • Header— Una serie di UTF-8 stringhe.

    Un elenco di stringhe che rappresenta i nomi delle colonne.

  • DisableValueTrimming: booleano.

    Specifica di non tagliare i valori prima di individuare il tipo di valori di colonna. Il valore di default è true.

  • AllowSingleColumn: booleano.

    Abilita l'elaborazione dei file che contengono una sola colonna.

  • CustomDatatypeConfigured: booleano.

    Specifica la configurazione di tipi di dati personalizzati.

  • CustomDatatypes— Una serie di UTF-8 stringhe.

    Specifica un elenco di tipi di dati personalizzati supportati.

  • Serde— UTF-8 stringa (valori validi: OpenCSVSerDe | LazySimpleSerDe |None).

    Imposta il SerDe valore per l'elaborazione del CSV nel classificatore, che verrà applicato nel catalogo dati. I valori validi sono OpenCSVSerDe, LazySimpleSerDe e None. È possibile specificare il valore None quando si desidera che il crawler esegua il rilevamento.

Operazioni

CreateClassifier azione (Python: create_classifier)

Crea un classificatore nell'account utente. L'operazione può essere un GrokClassifier, un XMLClassifier, un JsonClassifier o un CsvClassifier a seconda del campo in cui è presente la richiesta.

Richiesta
Risposta
  • Nessun parametro di risposta.

Errori
  • AlreadyExistsException

  • InvalidInputException

  • OperationTimeoutException

DeleteClassifier azione (Python: delete_classifier)

Rimuove un classificatore dal catalogo dati.

Richiesta
  • Name Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Nome del classificatore da rimuovere.

Risposta
  • Nessun parametro di risposta.

Errori
  • EntityNotFoundException

  • OperationTimeoutException

GetClassifier azione (Python: get_classifier)

Recupera un classificatore per nome.

Richiesta
  • Name Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

    Nome del classificatore da recuperare.

Risposta
Errori
  • EntityNotFoundException

  • OperationTimeoutException

GetClassifiers azione (Python: get_classifiers)

Visualizza l'elenco di tutti gli oggetti classificatore nel catalogo dati.

Richiesta
  • MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

    Dimensione dell'elenco da restituire (opzionale).

  • NextToken UTF-8 — stringa.

    Token di continuazione opzionale.

Risposta
  • Classifiers: una matrice di oggetti Classificatore.

    L'elenco richiesto di tutti gli oggetti classificatore.

  • NextToken— UTF-8 corda.

    Token di continuazione.

Errori
  • OperationTimeoutException

UpdateClassifier azione (Python: update_classifier)

Modifica un classificatore esistente (GrokClassifier, XMLClassifier, JsonClassifier o CsvClassifier a seconda del campo in cui è presente).

Richiesta
Risposta
  • Nessun parametro di risposta.

Errori
  • InvalidInputException

  • VersionMismatchException

  • EntityNotFoundException

  • OperationTimeoutException