Nœuds de données - AWS Data Pipeline

AWS Data Pipeline n'est plus disponible pour les nouveaux clients. Les clients existants de AWS Data Pipeline peuvent continuer à utiliser le service normalement. En savoir plus

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Nœuds de données

L'exemple utilise un nœud de données d'entrée, un nœud de données de sortie et une base de données.

Nœud de données d'entrée

Le composant du S3DataNode pipeline d'entrée définit l'emplacement des données d'entrée dans Amazon S3 et le format des données d'entrée. Pour plus d'informations, veuillez consulter S3 DataNode.

Le composant d'entrée est défini par les champs suivants :

{
  "id": "S3DataNodeId1",
  "schedule": {
    "ref": "ScheduleId1"
  },
  "filePath": "s3://datapipeline-us-east-1/samples/hive-ads-samples.csv",
  "name": "DefaultS3DataNode1",
  "dataFormat": {
    "ref": "CSVId1"
  },
  "type": "S3DataNode"
},
id

ID défini par l'utilisateur (libellé fourni à titre de référence uniquement).

schedule

Référence au composant planification.

filePath

Chemin d'accès aux données associées au nœud de données (fichier d'entrée CSV dans l'exemple).

name

Nom défini par l'utilisateur (libellé fourni à titre de référence uniquement).

dataFormat

Référence au format des données de l'activité à traiter.

Nœud de données de sortie

Le composant du RedshiftDataNode pipeline de sortie définit un emplacement pour les données de sortie ; dans ce cas, une table dans une base de données Amazon Redshift. Pour plus d'informations, veuillez consulter RedshiftDataNode. Le composant de sortie est défini par les champs suivants : 

{
  "id": "RedshiftDataNodeId1",
  "schedule": {
    "ref": "ScheduleId1"
  },
  "tableName": "orders",
  "name": "DefaultRedshiftDataNode1",
  "createTableSql": "create table StructuredLogs (requestBeginTime CHAR(30) PRIMARY KEY DISTKEY SORTKEY, requestEndTime CHAR(30), hostname CHAR(100), requestDate varchar(20));",
  "type": "RedshiftDataNode",
  "database": {
    "ref": "RedshiftDatabaseId1"
  }
},
id

ID défini par l'utilisateur (libellé fourni à titre de référence uniquement).

schedule

Référence au composant planification.

tableName

Nom de la table Amazon Redshift.

name

Nom défini par l'utilisateur (libellé fourni à titre de référence uniquement).

createTableSql

Expression SQL permettant de créer la table dans la base de données.

database

Une référence à la base de données Amazon Redshift.

Database (Base de données)

Le composant RedshiftDatabase est défini par les champs ci-après. Pour plus d'informations, veuillez consulter RedshiftDatabase.

{
  "id": "RedshiftDatabaseId1",
  "databaseName": "dbname",
  "username": "user",
  "name": "DefaultRedshiftDatabase1",
  "*password": "password",
  "type": "RedshiftDatabase",
  "clusterId": "redshiftclusterId"
},
id

ID défini par l'utilisateur (libellé fourni à titre de référence uniquement).

databaseName

Nom de la base de données logique.

username

Nom d'utilisateur pour la connexion à la base de données.

name

Nom défini par l'utilisateur (libellé fourni à titre de référence uniquement).

password

Mot de passe pour la connexion à la base de données.

clusterId

ID du cluster Redshift.