SqlActivity - AWS Data Pipeline

AWS Data Pipeline 신규 고객은 더 이상 이용할 수 없습니다. 의 기존 고객 AWS Data Pipeline 정상적으로 서비스를 계속 사용할 수 있습니다. 자세히 알아보기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

SqlActivity

데이터베이스에서 SQL 쿼리 (스크립트) 를 실행합니다.

다음은 이 객체 유형의 예제입니다.

{ "id" : "MySqlActivity", "type" : "SqlActivity", "database" : { "ref": "MyDatabaseID" }, "script" : "SQLQuery" | "scriptUri" : s3://scriptBucket/query.sql, "schedule" : { "ref": "MyScheduleID" }, }

구문

필수 필드 설명 슬롯 유형
데이터베이스 제공된 SQL 스크립트를 실행할 데이터베이스입니다. 참조 개체, 예: “데이터베이스”: {"ref”:” myDatabaseId “}

액체 호출 필드 설명 슬롯 유형
schedule

이 객체는 예약 간격을 실행할 때 호출됩니다. 이 객체의 종속 실행 순서를 설정하려면 다른 객체로 일정 참조를 지정해야 합니다. 예컨대 "schedule": {"ref": "DefaultSchedule"}을 지정하여 객체에서 일정을 명시적으로 설정할 수 있습니다.

대부분의 경우에서는 모든 객체가 상속할 수 있도록 일정 참조를 기본 파이프라인 객체에 두는 것이 좋습니다.

파이프라인에 마스터 일정 내에서 중첩된 일정 트리가 있는 경우, 일정 참조가 있는 부모 객체를 생성합니다. 선택형 일정 구성 예제에 대한 자세한 내용은 https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html 단원을 참조하십시오.

참조 개체, 예: “스케줄”: {"ref”:” myScheduleId “}

필수 그룹(다음 중 하나를 제공해야 함) 설명 슬롯 유형
스크립트 실행할 SQL 스크립트. 스크립트 또는 를 지정해야 scriptUri 합니다. 스크립트가 Amazon S3에 저장되면, 해당 스크립트는 표현식으로 평가되지 않습니다. 스크립트가 Amazon S3에 저장되어 있을 때는 에 대해 여러 값을 지정하는 scriptArgument 것이 유용합니다. String
scriptUri A: 이 활동에서 실행할 SQL 스크립트의 위치를 URI 지정합니다. String

필수 그룹(다음 중 하나를 제공해야 함) 설명 슬롯 유형
runsOn 활동 또는 명령을 실행할 전산 리소스입니다. 아마존 EC2 인스턴스 또는 아마존 EMR 클러스터를 예로 들 수 있습니다. 참조 객체, 예: "runsOn“: {" ref”:” myResourceId “}
workerGroup 작업자 그룹입니다. 이것은 작업 라우팅에 사용됩니다. workerGroup이 있을 때 runsOn 값을 제공하면 workerGroup이 무시됩니다. String

선택 필드 설명 슬롯 유형
attemptStatus 원격 활동에서 가장 최근에 보고된 상태입니다. String
attemptTimeout 원격 작업 완료의 제한 시간입니다. 이 필드를 설정하면 설정된 시작 시간 이내에 완료되지 않는 원격 활동을 재시도할 수 있습니다. 기간
dependsOn 실행 가능한 다른 객체의 종속성을 지정합니다. 참조 객체, 예: "dependsOn“: {" ref”:” myActivityId “}
failureAndRerun모드 종속 요소에 장애가 있거나 재시도될 때의 소비자 노드 거동을 설명합니다. 열거
입력 입력 데이터의 위치입니다. 참조 객체, 예: “입력”: {"ref”:” myDataNode Id "}
lateAfterTimeout 객체 실행이 시작되어야 하는 예약된 파이프라인 시작 후 기간입니다. 기간
maxActiveInstances 구성요소의 동시 활성 인스턴스 최대수입니다. 재실행은 활성 인스턴스의 수에 포함되지 않습니다. Integer
maximumRetries 장애 시 재시도 최대 횟수 Integer
onFail 현재 객체 장애 시 실행할 작업입니다. 참조 객체, 예: "onFail“: {" ref”:” myActionId “}
onLateAction lateAfterTimeout''에 지정된 파이프라인의 예정된 시작 이후 일정 기간 동안 객체가 아직 스케줄링되지 않았거나 아직 완료되지 않은 경우 트리거되어야 하는 작업입니다. 참조 객체, 예: "onLateAction“: {" ref”:” myActionId “}
onSuccess 현재 객체 성공 시 실행할 작업입니다. 참조 객체, 예: "onSuccess“: {" ref”:” myActionId “}
output 출력 데이터의 위치입니다. 이는 스크립트 내에서 참조하고 (예:#{output.tablename}) 출력 데이터 노드에서 createTableSql ''를 설정하여 출력 테이블을 만드는 경우에만 유용합니다. SQL쿼리의 출력은 출력 데이터 노드에 기록되지 않습니다. 참조 객체, 예: “출력”: {"ref”:” myDataNode Id "}
parent 슬롯을 상속할 현재 객체의 부모입니다. 참조 객체, 예: “부모”: {"ref”:” myBaseObject Id "}
pipelineLogUri 파이프라인 로그를 업로드하기 위한 S3 URI (예: 's3://BucketName/Key/ ') String
precondition 또는 사전 조건을 정의합니다. 모든 사전 조건이 충족될 때까지 데이터 노드는 READY "“로 표시되지 않습니다. 참조 객체, 예: “전제 조건”: {"ref”:” “} myPreconditionId
대기열 [Amazon Redshift만 해당] Amazon Redshift에서 쿼리 그룹 설정에 해당하며, 이것을 사용하여 쿼리 내 위치에 따라 동시 실행 활동을 할당하고 우선 순위를 정할 수 있습니다. Amazon Redshift는 동시 연결 수를 15로 제한합니다. 자세한 내용은 Amazon Redshift 데이터베이스 개발자 안내서의 대기열에 쿼리 할당을 참조하십시오. String
reportProgressTimeout 에 대한 원격 작업 연속 호출의 제한 시간이 초과되었습니다. reportProgress 이 필드를 설정하면 지정된 기간 동안 진행 상황을 보고하지 않는 원격 활동은 중단된 것으로 간주하고 재시도할 수 있습니다. 기간
retryDelay 두 번의 재시도 사이의 제한 시간 간격입니다. 기간
scheduleType

일정 유형을 사용하여 파이프라인 정의에 있는 객체의 일정을 간격 시작 시점으로 또는 종료 시점으로 지정할 수 있습니다. 값은 cron, ondemandtimeseries입니다.

timeseries 일정 조정은 각 간격이 종료될 때 인스턴스 일정이 지정됩니다.

cron 일정 조정은 각 간격이 시작될 때 인스턴스 일정이 지정됩니다.

ondemand 일정을 사용하면 활성화될 때마다 한 번씩 파이프라인을 실행할 수 있습니다. 이 경우 다시 실행하기 위해 파이프라인을 복제하거나 다시 생성할 필요가 없습니다. ondemand 일정을 사용하려면 기본 객체에서 지정해야 하며, 이것이 파이프라인의 객체에 지정된 유일한 scheduleType이어야 합니다. ondemand 파이프라인을 사용하려면 후속 실행마다 ActivatePipeline 작업을 호출합니다.

열거
scriptArgument 스크립트에 사용되는 변수의 목록입니다. 아니면 표현식을 스크립트 영역에 직접 입력할 수도 있습니다. Amazon S3에 스크립트를 저장할 때는 에 대한 scriptArgument 값이 여러 개 있으면 유용합니다. 예: # {format (@scheduledStartTime, “YY-MM-DD HH:MM:SS”}\n# {format (plusPeriod(@, “1일”)scheduledStartTime, “YY-MM-DD HH:MM:SS”} String

실행 시간 필드 설명 슬롯 유형
@activeInstances 현재 예약되어 있는 활성 인스턴스 객체의 목록입니다. 참조 객체, 예: activeInstances "“: {" ref”:” Id "} myRunnableObject
@actualEndTime 이 객체의 실행이 완료된 시간입니다. DateTime
@actualStartTime 이 객체의 실행이 시작된 시간입니다. DateTime
cancellationReason 이 객체가 취소된 cancellationReason 경우 String
@cascadeFailedOn 객체 실패가 발생한 종속 체인에 대한 설명입니다. 참조 객체, 예: "cascadeFailedOn“: {" ref”:” myRunnableObject Id "}
emrStepLog EMR단계 로그는 EMR 활동 시도 시에만 사용할 수 있습니다. String
errorId 이 개체가 실패한 errorId 경우 String
errorMessage 이 개체가 실패한 errorMessage 경우 String
errorStackTrace 이 객체가 실패한 경우의 오류 스택 트레이스입니다. String
@finishedTime 이 객체의 실행이 완료된 시간입니다. DateTime
hadoopJobLog EMR기반 활동 시도 시 Hadoop 작업 로그를 사용할 수 있습니다. String
@healthStatus 종료 상태에 도달한 마지막 객체 인스턴스의 성공 또는 실패를 반영하는 객체의 상태입니다. String
@healthStatusFromInstanceId 종료 상태에 도달한 마지막 인스턴스 객체의 ID입니다. String
@ 시간 healthStatusUpdated 상태가 마지막으로 업데이트된 시간입니다. DateTime
hostname 작업 시도를 선택한 클라이언트의 호스트 이름입니다. String
@lastDeactivatedTime 이 객체가 마지막으로 비활성화된 시간입니다. DateTime
@ latestCompletedRun 시간 실행이 완료된 최근 실행 시간입니다. DateTime
@latestRunTime 실행이 예약된 최근 실행 시간입니다. DateTime
@nextRunTime 다음으로 예약된 실행 시간입니다. DateTime
reportProgressTime 원격 활동에서 진행 상황을 보고한 가장 최근 시간입니다. DateTime
@scheduledEndTime 객체의 일정 종료 시간 DateTime
@scheduledStartTime 객체의 일정 시작 시간 DateTime
@상태 이 객체의 상태입니다. String
@version 객체와 함께 생성된 파이프라인 버전입니다. String
@waitingOn 이 객체가 대기 중인 종속 요소 목록에 대한 설명입니다. 참조 객체, 예: "waitingOn“: {" ref”:” myRunnableObject Id "}

시스템 필드 설명 슬롯 유형
@오류 잘못 형성된 객체를 설명하는 오류. String
@pipelineId 이 객체가 속하는 파이프라인의 ID. String
@sphere 객체의 타원 무늬는 수명 주기 내 위치를 나타냅니다. Component Objects는 Attempt Objects를 실행하는 Instance Objects를 야기합니다. String