Nodi di dati - AWS Data Pipeline

AWS Data Pipeline non è più disponibile per i nuovi clienti. I clienti esistenti di AWS Data Pipeline possono continuare a utilizzare il servizio normalmente. Ulteriori informazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Nodi di dati

Questo esempio utilizza un nodo di dati di input, un nodo di dati di output e un database.

Nodo di dati di input

Il componente della S3DataNode pipeline di input definisce la posizione dei dati di input in Amazon S3 e il formato dei dati di input. Per ulteriori informazioni, consulta S3 DataNode.

Questo componente di input è definito dai campi seguenti:

{ "id": "S3DataNodeId1", "schedule": { "ref": "ScheduleId1" }, "filePath": "s3://datapipeline-us-east-1/samples/hive-ads-samples.csv", "name": "DefaultS3DataNode1", "dataFormat": { "ref": "CSVId1" }, "type": "S3DataNode" },
id

L'ID definito dall'utente, un'etichetta solo di riferimento.

schedule

Un riferimento al componente di pianificazione.

filePath

Il percorso ai dati associati al nodo di dati, cioè il file di input CSV in questo esempio.

name

Il nome definito dall'utente, un'etichetta solo di riferimento.

dataFormat

Un riferimento al formato dei dati dell'attività da elaborare.

Nodo dei dati di output

Il componente della RedshiftDataNode pipeline di output definisce una posizione per i dati di output; in questo caso, una tabella in un database Amazon Redshift. Per ulteriori informazioni, consulta RedshiftDataNode. Questo componente di output è definito dai campi seguenti:

{ "id": "RedshiftDataNodeId1", "schedule": { "ref": "ScheduleId1" }, "tableName": "orders", "name": "DefaultRedshiftDataNode1", "createTableSql": "create table StructuredLogs (requestBeginTime CHAR(30) PRIMARY KEY DISTKEY SORTKEY, requestEndTime CHAR(30), hostname CHAR(100), requestDate varchar(20));", "type": "RedshiftDataNode", "database": { "ref": "RedshiftDatabaseId1" } },
id

L'ID definito dall'utente, un'etichetta solo di riferimento.

schedule

Un riferimento al componente di pianificazione.

tableName

Nome della tabella Amazon Redshift.

name

Il nome definito dall'utente, un'etichetta solo di riferimento.

createTableSql

Un'espressione SQL per creare la tabella nel database.

database

Un riferimento al database Amazon Redshift.

Database

Questo componente RedshiftDatabase è definito dai campi seguenti. Per ulteriori informazioni, consulta RedshiftDatabase.

{ "id": "RedshiftDatabaseId1", "databaseName": "dbname", "username": "user", "name": "DefaultRedshiftDatabase1", "*password": "password", "type": "RedshiftDatabase", "clusterId": "redshiftclusterId" },
id

L'ID definito dall'utente, un'etichetta solo di riferimento.

databaseName

Il nome del database logico.

username

Il nome utente da fornire durante la connessione al database.

name

Il nome definito dall'utente, un'etichetta solo di riferimento.

password

La password per la connessione al database.

clusterId

L'ID del cluster Redshift.