資料節點 - AWS Data Pipeline

AWS Data Pipeline 不再提供給新客戶。現有客戶 AWS Data Pipeline 可繼續正常使用此服務。進一步了解

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

資料節點

此範例使用輸入資料節點、輸出資料節點和資料庫。

輸入資料節點

輸入S3DataNode管道元件會定義 Amazon S3 中輸入資料的位置以及輸入資料的資料格式。如需詳細資訊，請參閱S3 DataNode。

此輸入元件是由下列欄位定義：

{
  "id": "S3DataNodeId1",
  "schedule": {
    "ref": "ScheduleId1"
  },
  "filePath": "s3://datapipeline-us-east-1/samples/hive-ads-samples.csv",
  "name": "DefaultS3DataNode1",
  "dataFormat": {
    "ref": "CSVId1"
  },
  "type": "S3DataNode"
},
id

使用者定義的 ID，這是僅供您參考的標籤。

schedule

對排程元件的參考。

filePath

與資料節點相關聯資料的路徑，在此範例中是 CSV 輸入檔。

name

使用者定義的名稱，這是僅供您參考的標籤。

dataFormat

對要處理之活動資料格式的參考。

輸出資料節點

輸出RedshiftDataNode管線元件會定義輸出資料的位置；在此情況下，是 Amazon Redshift 資料庫中的資料表。如需詳細資訊，請參閱RedshiftDataNode。此輸出元件是由下列欄位定義：

{
  "id": "RedshiftDataNodeId1",
  "schedule": {
    "ref": "ScheduleId1"
  },
  "tableName": "orders",
  "name": "DefaultRedshiftDataNode1",
  "createTableSql": "create table StructuredLogs (requestBeginTime CHAR(30) PRIMARY KEY DISTKEY SORTKEY, requestEndTime CHAR(30), hostname CHAR(100), requestDate varchar(20));",
  "type": "RedshiftDataNode",
  "database": {
    "ref": "RedshiftDatabaseId1"
  }
},
id

使用者定義的 ID，這是僅供您參考的標籤。

schedule

對排程元件的參考。

tableName

Amazon Redshift 資料表的名稱。

name

使用者定義的名稱，這是僅供您參考的標籤。

createTableSql

在資料庫建立資料表的 SQL 表達式。

database

對亞馬遜紅移數據庫的引用。

資料庫

RedshiftDatabase 元件是由下列欄位定義。如需詳細資訊，請參閱RedshiftDatabase。

{
  "id": "RedshiftDatabaseId1",
  "databaseName": "dbname",
  "username": "user",
  "name": "DefaultRedshiftDatabase1",
  "*password": "password",
  "type": "RedshiftDatabase",
  "clusterId": "redshiftclusterId"
},
id

使用者定義的 ID，這是僅供您參考的標籤。

databaseName

邏輯資料庫的名稱。

username

連線至資料庫的使用者名稱。

name

使用者定義的名稱，這是僅供您參考的標籤。

password

連線至資料庫的密碼。

clusterId

Redshift 叢集的 ID。