데이터 노드 - AWS Data Pipeline

AWS Data Pipeline 신규 고객은 더 이상 이용할 수 없습니다. 의 기존 고객 AWS Data Pipeline 정상적으로 서비스를 계속 사용할 수 있습니다. 자세히 알아보기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

데이터 노드

이 예제에서는 입력 데이터 노드, 출력 데이터 노드 및 데이터베이스를 사용합니다.

입력 데이터 노드

입력 S3DataNode파이프라인 구성요소는 Amazon S3의 입력 데이터 위치와 입력 데이터의 데이터 형식을 정의합니다. 자세한 내용은 S3 DataNode 섹션을 참조하세요.

이 입력 구성요소는 다음 필드로 정의됩니다.

{ "id": "S3DataNodeId1", "schedule": { "ref": "ScheduleId1" }, "filePath": "s3://datapipeline-us-east-1/samples/hive-ads-samples.csv", "name": "DefaultS3DataNode1", "dataFormat": { "ref": "CSVId1" }, "type": "S3DataNode" },
id

참조 전용 레이블인 사용자 정의 ID입니다.

schedule

일정 구성요소 참조입니다.

filePath

이 예제에서 CSV 입력 파일인 데이터 노드와 연결된 데이터로 가는 경로입니다.

name

참조 전용 라벨인 사용자 정의 이름입니다.

dataFormat

이 활동에서 처리할 데이터 형식의 참조입니다.

출력 데이터 노드

출력 RedshiftDataNode파이프라인 구성요소는 출력 데이터의 위치를 정의합니다. 이 경우에는 Amazon Redshift 데이터베이스에 있는 테이블입니다. 자세한 내용은 RedshiftDataNode 섹션을 참조하세요. 이 출력 구성요소는 다음 필드로 정의됩니다.

{ "id": "RedshiftDataNodeId1", "schedule": { "ref": "ScheduleId1" }, "tableName": "orders", "name": "DefaultRedshiftDataNode1", "createTableSql": "create table StructuredLogs (requestBeginTime CHAR(30) PRIMARY KEY DISTKEY SORTKEY, requestEndTime CHAR(30), hostname CHAR(100), requestDate varchar(20));", "type": "RedshiftDataNode", "database": { "ref": "RedshiftDatabaseId1" } },
id

참조 전용 레이블인 사용자 정의 ID입니다.

schedule

일정 구성요소 참조입니다.

tableName

Amazon Redshift 테이블의 이름입니다.

name

참조 전용 라벨인 사용자 정의 이름입니다.

createTableSql

데이터베이스에서 테이블을 생성하는 SQL 표현식입니다.

database

Amazon Redshift 데이터베이스에 대한 참조입니다.

데이터베이스

RedshiftDatabase 구성요소는 다음 필드로 정의됩니다. 자세한 내용은 RedshiftDatabase 섹션을 참조하세요.

{ "id": "RedshiftDatabaseId1", "databaseName": "dbname", "username": "user", "name": "DefaultRedshiftDatabase1", "*password": "password", "type": "RedshiftDatabase", "clusterId": "redshiftclusterId" },
id

참조 전용 레이블인 사용자 정의 ID입니다.

databaseName

논리 데이터베이스의 이름입니다.

username

데이터베이스에 연결할 사용자 이름입니다.

name

참조 전용 라벨인 사용자 정의 이름입니다.

password

데이터베이스에 연결할 비밀번호입니다.

clusterId

Redshift 클러스터의 ID입니다.