Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione e utilizzo AWS Glue DataBrew recipes

In DataBrew, una ricetta è un insieme di passaggi di trasformazione dei dati. Puoi applicare questi passaggi a un campione di dati o applicare la stessa ricetta a un set di dati.

Il modo più semplice per sviluppare una ricetta è creare un DataBrew progetto, in cui puoi lavorare in modo interattivo con un campione dei tuoi dati. Per ulteriori informazioni, consulta. Creazione e utilizzo AWS Glue DataBrew progetti Come parte del flusso di lavoro per la creazione del progetto, viene creata e allegata al progetto una nuova ricetta (vuota). Puoi quindi iniziare a creare la tua ricetta aggiungendo trasformazioni di dati.

Man mano che procedi con lo sviluppo della ricetta, puoi salvare il lavoro pubblicando la ricetta. DataBrew mantiene un elenco di versioni pubblicate della ricetta. Puoi utilizzare qualsiasi versione pubblicata in un processo di ricetta, per eseguire la ricetta (in un processo di ricetta) per trasformare il tuo set di dati. Puoi anche scaricare una copia dei passaggi della ricetta, in modo da riutilizzare la ricetta in altri progetti o altre trasformazioni di set di dati.

Puoi anche sviluppare DataBrew ricette a livello di codice, utilizzando AWS Command Line Interface(AWS CLI) o uno degli SDK.AWSNell' DataBrew API, le trasformazioni sono note come azioni di ricetta.

Anche se non sei un programmatore, è utile comprendere la struttura di una ricetta e come DataBrew organizza le azioni della ricetta.

Pubblicazione di una nuova versione della ricetta

Pubblichi nuove versioni di una ricetta in una sessione interattiva DataBrew del progetto.

Puoi visualizzare tutte le ricette pubblicate e le relative versioni scegliendo PROGETTI dal pannello di navigazione.

Definizione della struttura di una ricetta

Quando crei per la prima volta un progetto utilizzando la DataBrew console, definisci una ricetta da associare a quel progetto. Se non hai una ricetta esistente, la console ne crea una per te.

Mentre lavori con il tuo progetto nella console, usi la barra degli strumenti di trasformazione per applicare azioni ai dati di esempio del tuo set di dati. La console mostra i passaggi della ricetta e l'ordine di tali passaggi, man mano che continui a creare la ricetta. Puoi iterare e rifinire la ricetta finché non sei soddisfatto dei passaggi.

NelNozioni di base su AWS Glue DataBrew, crei una ricetta per trasformare un set di dati di famose partite di scacchi. Puoi scaricare una copia dei passaggi della ricetta, scegliendo Scarica come JSON o Scarica come YAML, come mostrato nella schermata seguente.

Il file JSON scaricato contiene le azioni relative alla ricetta corrispondenti alle trasformazioni che hai aggiunto alla ricetta.

Una nuova ricetta non prevede passaggi. Puoi rappresentare una nuova ricetta come un elenco JSON vuoto, come mostrato di seguito.

[ ]

Di seguito è riportato un esempio di tale file, perchess-project-recipe. L'elenco JSON contiene diversi oggetti che descrivono i passaggi della ricetta. Ogni oggetto nell'elenco JSON è racchiuso tra parentesi graffe (). { } Le righe JSON sono delimitate da virgole.

[
    {
        "Action": {
            "Operation": "REMOVE_VALUES",
            "Parameters": {
                "sourceColumn": "black_rating"
            }
        },
        "ConditionExpressions": [
            {
                "Condition": "LESS_THAN",
                "Value": "1800",
                "TargetColumn": "black_rating"
            }
        ]
    },
    {
        "Action": {
            "Operation": "REMOVE_VALUES",
            "Parameters": {
                "sourceColumn": "white_rating"
            }
        },
        "ConditionExpressions": [
            {
                "Condition": "LESS_THAN",
                "Value": "1800",
                "TargetColumn": "white_rating"
            }
        ]
    },
    {
        "Action": {
            "Operation": "GROUP_BY",
            "Parameters": {
                "groupByAggFunctionOptions": "[{\"sourceColumnName\":\"winner\",\"targetColumnName\":\"winner_count\",\"targetColumnDataType\":\"int\",\"functionName\":\"COUNT\"}]",
                "sourceColumns": "[\"winner\",\"victory_status\"]",
                "useNewDataFrame": "true"
            }
        }
    },
    {
        "Action": {
            "Operation": "REMOVE_VALUES",
            "Parameters": {
                "sourceColumn": "winner"
            }
        },
        "ConditionExpressions": [
            {
                "Condition": "IS",
                "Value": "[\"draw\"]",
                "TargetColumn": "winner"
            }
        ]
    },
    {
        "Action": {
            "Operation": "REPLACE_TEXT",
            "Parameters": {
                "pattern": "mate",
                "sourceColumn": "victory_status",
                "value": "checkmate"
            }
        }
    },
    {
        "Action": {
            "Operation": "REPLACE_TEXT",
            "Parameters": {
                "pattern": "resign",
                "sourceColumn": "victory_status",
                "value": "other player resigned"
            }
        }
    },
    {
        "Action": {
            "Operation": "REPLACE_TEXT",
            "Parameters": {
                "pattern": "outoftime",
                "sourceColumn": "victory_status",
                "value": "ran out of time"
            }
        }
    }
]

È più facile vedere che ogni azione è una riga individuale se aggiungiamo solo nuove righe per nuove azioni, come mostrato di seguito.

[
 { "Action": { "Operation": "REMOVE_VALUES", "Parameters": { "sourceColumn": "black_rating" } }, "ConditionExpressions": [ { "Condition": "LESS_THAN", "Value": "1800", "TargetColumn": "black_rating" } ] },
 { "Action": { "Operation": "REMOVE_VALUES", "Parameters": { "sourceColumn": "white_rating" } }, "ConditionExpressions": [ { "Condition": "LESS_THAN", "Value": "1800", "TargetColumn": "white_rating" } ] },
 { "Action": { "Operation": "GROUP_BY", "Parameters": { "groupByAggFunctionOptions": "[{\"sourceColumnName\":\"winner\",\"targetColumnName\":\"winner_count\",\"targetColumnDataType\":\"int\",\"functionName\":\"COUNT\"}]", "sourceColumns": "[\"winner\",\"victory_status\"]", "useNewDataFrame": "true" } } },
 { "Action": { "Operation": "REMOVE_VALUES", "Parameters": { "sourceColumn": "winner" } }, "ConditionExpressions": [ { "Condition": "IS", "Value": "[\"draw\"]", "TargetColumn": "winner" } ] },
 { "Action": { "Operation": "REPLACE_TEXT", "Parameters": { "pattern": "mate", "sourceColumn": "victory_status", "value": "checkmate" } } },
 { "Action": { "Operation": "REPLACE_TEXT", "Parameters": { "pattern": "resign", "sourceColumn": "victory_status", "value": "other player resigned" } } },
 { "Action": { "Operation": "REPLACE_TEXT", "Parameters": { "pattern": "outoftime", "sourceColumn": "victory_status", "value": "ran out of time" } } }
]

Le azioni vengono eseguite in sequenza, nello stesso ordine del file:

In una sessione interattiva DataBrew del progetto, ciascuna RecipeAction corrisponde a una trasformazione dei dati che si applica a un campione di dati.

DataBrew fornisce oltre 200 azioni relative alle ricette. Per ulteriori informazioni, consulta Fase della ricetta e riferimento alla funzione.

Utilizzo delle condizioni

È possibile utilizzare le condizioni per restringere l'ambito di un'azione relativa alla ricetta. Le condizioni vengono utilizzate nelle trasformazioni che filtrano i dati, ad esempio rimuovendo le righe indesiderate in base a un particolare valore di colonna.

Diamo un'occhiata più da vicino alle azioni di una ricetta. chess-project-recipe

  {
    "Action": {
      "Operation": "REMOVE_VALUES",
      "Parameters": {
        "sourceColumn": "black_rating"
      }
    },
    "ConditionExpressions": [
      {
        "Condition": "LESS_THAN",
        "Value": "1800",
        "TargetColumn": "black_rating"
      }
    ]
  }

Questa trasformazione legge i valori nella black_rating colonna. L'ConditionExpressionselenco determina i criteri di filtro: qualsiasi riga con un black_rating valore inferiore a 1.800 viene rimossa dal set di dati.

Una successiva trasformazione nella ricetta fa la stessa cosa, per. white_rating In questo modo, i dati sono limitati ai giochi in cui ogni giocatore (bianco o nero) è classificato nella classe A o superiore.

Ecco un altro esempio di condizione, applicata a una colonna di dati relativi a un personaggio.

  {
    "Action": {
      "Operation": "REMOVE_VALUES",
      "Parameters": {
        "sourceColumn": "winner"
      }
    },
    "ConditionExpressions": [
      {
        "Condition": "IS",
        "Value": "[\"draw\"]",
        "TargetColumn": "winner"
      }
    ]
  }

Questa trasformazione legge i valori nella winner colonna, cerca il valore draw e rimuove quelle righe. In questo modo, i dati sono limitati solo ai giochi in cui c'è stato un chiaro vincitore.

DataBrew supporta le seguenti condizioni: