API script ETL auto-generanti - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

API script ETL auto-generanti

L'API di generazione degli script ETL descrive i tipi di dati e l'API per la generazione di script ETL in AWS Glue.

Tipi di dati

Struttura CodeGenNode

Rappresenta un nodo in un grafo aciclico orientato (DAG)

Campi
  • Id: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Identifier string pattern.

    Un identificatore del nodo univoco all'interno del grafo del nodo.

  • NodeType. Obbligatorio: stringa UTF-8.

    Il tipo di nodo.

  • Args: obbligatorio: una matrice di oggetti CodeGenNodeArg, non superiore a 50 strutture.

    Proprietà del nodo sotto forma di coppie nome-valore.

  • LineNumber: numero (intero).

    Il numero di riga del nodo.

Struttura CodeGenNodeArg

Un argomento o una proprietà di un nodo.

Campi
  • Name. Obbligatorio: stringa UTF-8.

    Il nome dell'argomento o della proprietà.

  • Value. Obbligatorio: stringa UTF-8.

    Il valore dell'argomento o della proprietà.

  • Param: booleano.

    True se il valore viene utilizzato come parametro.

Struttura CodeGenEdge

Rappresenta un edge direzionale in un grafo aciclico orientato (DAG).

Campi
  • Source: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Identifier string pattern.

    L'ID del nodo in cui inizia l'edge.

  • Target: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Identifier string pattern.

    L'ID del nodo in cui termina l'edge.

  • TargetParameter: stringa UTF-8.

    La destinazione dell'edge.

Struttura della posizione

La posizione delle risorse.

Campi
  • Jdbc: una matrice di oggetti CodeGenNodeArg, non superiore a 50 strutture.

    Una posizione JDBC.

  • S3: una matrice di oggetti CodeGenNodeArg, non superiore a 50 strutture.

    Posizione Amazon Simple Storage Service (Amazon S3).

  • DynamoDB: una matrice di oggetti CodeGenNodeArg, non superiore a 50 strutture.

    Posizione di una tabella Amazon DynamoDB.

Struttura CatalogEntry

Specifica una definizione di tabella in AWS Glue Data Catalog.

Campi
  • DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Il database in cui risiedono i metadata della tabella.

  • TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

    Nome della tabella in questione.

Struttura MappingEntry

Definisce una mappatura.

Campi
  • SourceTable: stringa UTF-8.

    Il nome della tabella di origine.

  • SourcePath: stringa UTF-8.

    Il percorso di origine .

  • SourceType: stringa UTF-8.

    Il tipo di sorgente.

  • TargetTable: stringa UTF-8.

    La tabella di destinazione.

  • TargetPath: stringa UTF-8.

    Il percorso di destinazione.

  • TargetType: stringa UTF-8.

    Il tipo di destinazione.

Operazioni

Operazione CreateScript (Python: create_script)

Trasforma un grafo aciclico orientato (DAG) in codice.

Richiesta
  • DagNodes: una matrice di oggetti CodeGenNode.

    Un elenco dei nodi del DAG.

  • DagEdges: una matrice di oggetti CodeGenEdge.

    Un elenco dei confini del DAG.

  • Language: stringa UTF-8 (valori validi: PYTHON | SCALA).

    Il linguaggio di programmazione del codice derivante dal DAG.

Risposta
  • PythonScript: stringa UTF-8.

    Lo script in Python generato dal DAG.

  • ScalaCode: stringa UTF-8.

    Il codice Scala generato dal DAG.

Errori
  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

Operazione GetDataflowGraph (Python: get_dataflow_graph)

Trasforma uno script in Python in un grafo aciclico orientato (DAG).

Richiesta
  • PythonScript: stringa UTF-8.

    Lo script in Python da trasformare.

Risposta
  • DagNodes: una matrice di oggetti CodeGenNode.

    Un elenco dei nodi del DAG risultante.

  • DagEdges: una matrice di oggetti CodeGenEdge.

    Un elenco dei confini del DAG risultante.

Errori
  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

Operazione GetMapping (Python: get_mapping)

Crea mappature.

Richiesta
  • Source: obbligatorio: un oggetto CatalogEntry.

    Specifica la tabella di origine.

  • Sinks: una matrice di oggetti CatalogEntry.

    Un elenco di tabelle di destinazione.

  • Location: un oggetto Ubicazione.

    Parametri per la mappatura.

Risposta
  • Mapping: obbligatorio: una matrice di oggetti MappingEntry.

    Un elenco delle mappature per le destinazioni specificate.

Errori
  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • EntityNotFoundException

Operazione GetPlan (Python: get_plan)

Ottiene il codice per eseguire una mappatura specificata.

Richiesta
  • Mapping: obbligatorio: una matrice di oggetti MappingEntry.

    L'elenco delle mappature da una tabella di origine per le tabelle di destinazione.

  • Source: obbligatorio: un oggetto CatalogEntry.

    La tabella di origine.

  • Sinks: una matrice di oggetti CatalogEntry.

    Le tabelle di destinazione.

  • Location: un oggetto Ubicazione.

    Parametri per la mappatura.

  • Language: stringa UTF-8 (valori validi: PYTHON | SCALA).

    Il linguaggio di programmazione del codice per eseguire la mappatura.

  • AdditionalPlanOptionsMap: una matrice della mappa di coppie chiave-valore.

    Ogni chiave è una stringa UTF-8.

    Ogni valore è una stringa UTF-8.

    Una mappa per contenere parametri facoltativi chiave-valore aggiuntivi.

    Attualmente, vengono supportate queste coppie chiave-valore:

    • inferSchema :  specifica se impostare inferSchema su true o false per lo script predefinito generato da un processo AWS Glue. Ad esempio, per impostare inferSchema su true, bisogna fornire la seguente coppia di chiave-valore:

      --additional-plan-options-map '{"inferSchema":"true"}'

Risposta
  • PythonScript: stringa UTF-8.

    Uno script in Python per eseguire la mappatura.

  • ScalaCode: stringa UTF-8.

    Codice Scala per eseguire la mappatura.

Errori
  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException