Step Functions 및 Amazon Redshift를 사용하여 ETL/ELT 워크플로 실행 API - AWS Step Functions
1단계: 상태 시스템 만들기2단계: 상태 시스템 실행

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Step Functions 및 Amazon Redshift를 사용하여 ETL/ELT 워크플로 실행 API

이 샘플 프로젝트는 Step Functions 및 Amazon Redshift 데이터를 사용하여 Amazon Redshift 데이터 웨어하우스로 데이터를 로드하는 ETL/ELT 워크플로를 API 실행하는 방법을 보여줍니다.

이 프로젝트에서 Step Functions는 AWS Lambda 함수와 Amazon Redshift 데이터를 사용하여 필요한 데이터베이스 객체API를 생성하고 예제 데이터 세트를 생성한 다음, 로드 차원 테이블과 팩트 테이블을 수행하는 두 개의 작업을 병렬로 실행합니다. 두 차원 로드 작업 모두 성공적으로 종료되면 Step Functions는 팩트 테이블에 대한 로드 작업을 실행하고 검증 작업을 실행한 다음 Amazon Redshift 클러스터를 일시 중지합니다.

참고

COPY 명령을 사용하여 Amazon S3에서 Amazon Redshift 테이블로 데이터를 복사할 수 있는 Amazon S3와 같은 다른 소스에서 데이터를 수신하도록 ETL 로직을 수정할 수 있습니다.

Amazon Redshift 및 Step Functions 서비스 통합에 대한 자세한 내용은 다음 가이드를 참조하세요.

Lambda 및 Amazon Redshift IAM 정책에 대한 자세한 내용은 다음 가이드를 참조하세요.

참고

이 샘플 프로젝트를 사용할 때 요금이 발생할 수 있습니다.

신규 AWS 사용자의 경우 무료 사용 계층을 사용할 수 있습니다. 이 계층에서 특정 사용 수준 미만의 서비스는 무료입니다. AWS 비용 및 프리 티어에 대한 자세한 내용은 AWS Step Functions 요금을 참조하세요.

1단계: 상태 시스템 만들기

  1. Step Functions 콘솔을 열고 상태 시스템 생성을 선택합니다.

  2. 작업할 스타터 템플릿을 찾아 선택합니다. 다음을 선택하여 계속 진행합니다.

  3. 데모 실행을 선택하여 읽기 전용 및 ready-to-deploy 워크플로를 생성하거나 빌드를 선택하여 나중에 배포할 수 있는 편집 가능한 상태 시스템 정의를 생성합니다.

  4. 템플릿 사용을 선택하여 계속 선택합니다.

다음 단계는 이전 선택에 따라 달라집니다.

  1. 데모 실행 -가에 배포한 리소스로 읽기 전용 프로젝트를 생성하기 전에 상태 시스템을 검토할 수 AWS CloudFormation 있습니다 AWS 계정.

    상태 시스템 정의를 볼 수 있으며 준비가 되면 배포 및 실행을 선택하여 프로젝트를 배포하고 리소스를 생성합니다.

    배포는 리소스 및 권한을 생성하는 데 최대 10분이 걸릴 수 있습니다. 스택 ID 링크를 사용하여 AWS CloudFormation의 진행 상황을 모니터링할 수 있습니다.

    배포가 완료되면 콘솔에 새 상태 시스템이 표시됩니다.

  2. 이를 기반으로 구축 - 워크플로 정의를 검토하고 편집할 수 있습니다. 사용자 지정 워크플로 실행을 시도하기 전에 샘플 프로젝트의 자리 표시자에 대한 값을 설정해야 할 수 있습니다.

참고

계정에 배포된 서비스에 표준 요금이 적용될 수 있습니다.

2단계: 상태 시스템 실행

  1. 상태 시스템 페이지에서 샘플 프로젝트를 선택합니다.

  2. 샘플 프로젝트 페이지에서 실행 시작을 선택합니다.

  3. 실행 시작 대화 상자에서 다음을 수행합니다.

    1. (선택 사항) 생성된 기본값을 재정의하려면 사용자 지정 실행 이름을 입력합니다.

      비ASCII이름 및 로깅

      Step Functions는 비ASCII 문자가 포함된 상태 시스템, 실행, 활동 및 레이블의 이름을 허용합니다. 이러한 문자는 Amazon에서 작동하지 않으므로 지표를 추적할 수 있도록 ASCII 문자만 사용하는 CloudWatch것이 좋습니다 CloudWatch.

    2. (선택 사항) 입력 상자에 입력 값을 로 입력합니다JSON. 데모를 실행하는 경우 이 단계를 건너뛸 수 있습니다.

    3. 실행 시작을 선택합니다.

    Step Functions 콘솔은 그래프 보기에서 상태를 선택하여 단계 세부 정보 창의 관련 정보를 탐색할 수 있는 실행 세부 정보 페이지로 연결됩니다.

축하합니다!

이제 실행 중인 데모 또는 사용자 지정할 수 있는 상태 시스템 정의가 있을 것입니다.