Starburst를 사용하여 AWS 클라우드로 데이터 마이그레이션 - AWS 권장 가이드
요약사전 조건 및 제한 사항아키텍처도구에픽관련 리소스

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Starburst를 사용하여 AWS 클라우드로 데이터 마이그레이션

작성자: Antony Prasad Thevaraj(AWS), Shaun Van Staden(Starburst) 및 Suresh Veeragoni(AWS)

환경: 프로덕션

기술: 분석, 데이터 레이크, 데이터베이스

워크로드: 기타 모든 워크로드

AWS 서비스: Amazon EKS

요약

Starburst는 단일 액세스 포인트에서 기존 데이터 소스를 통합하는 엔터프라이즈 쿼리 엔진을 제공하여 Amazon Web Services(AWS)로의 데이터 마이그레이션 여정을 가속화하는 데 도움이 됩니다. 마이그레이션 계획을 확정하기 전에 여러 데이터 소스에 대한 분석을 실행하여 귀중한 통찰력을 얻을 수 있습니다. 분석을 중단 business-as-usual하지 않고 Starburst 엔진 또는 전용 추출, 변환 및 로드(ETL) 애플리케이션을 사용하여 데이터를 마이그레이션할 수 있습니다.

사전 조건 및 제한 사항

사전 조건 

  • 활성 AWS 계정

  • 가상 프라이빗 클라우드(VPC)

  • Amazon Elastic Kubernetes Service(AmazonEKS) 클러스터

  • Amazon Elastic Compute Cloud(Amazon EC2) Auto Scaling 그룹

  • 마이그레이션해야 하는 현재 시스템 워크로드 목록

  • 에서 온프레미스 환경AWS으로의 네트워크 연결

아키텍처

참조 아키텍처

다음 상위 수준 아키텍처 다이어그램은 AWS클라우드에서 Starburst Enterprise의 일반적인 배포를 보여줍니다.

  1. Starburst Enterprise 클러스터는 AWS 계정 내에서 실행됩니다.

  2. 사용자는 Lightweight Directory Access Protocol(LDAP) 또는 Open Authorization(OAuth)을 사용하여 인증하고 Starburst 클러스터와 직접 상호 작용합니다.

  3. Starburst는 AWS Glue, Amazon Simple Storage Service(Amazon S3), Amazon Relational Database Service(AmazonRDS) 및 Amazon Redshift와 같은 여러 AWS 데이터 소스에 연결할 수 있습니다. Starburst는 AWS 클라우드, 온프레미스 또는 기타 클라우드 환경의 데이터 소스에 페더레이션 쿼리 기능을 제공합니다.

  4. Helm 차트를 사용하여 Amazon EKS 클러스터에서 Starburst Enterprise를 시작합니다.

  5. Starburst Enterprise는 Amazon EC2 Auto Scaling 그룹 및 Amazon EC2 스팟 인스턴스를 사용하여 인프라를 최적화합니다.

  6. Starburst Enterprise는 기존 온프레미스 데이터 소스에 직접 연결하여 데이터를 실시간으로 읽습니다. 또한 이 환경에 기존 Starburst Enterprise 배포가 있는 경우 AWS 클라우드의 새 Starburst 클러스터를 이 기존 클러스터에 직접 연결할 수 있습니다.

AWS 클라우드에서 Starburst Enterprise 배포의 상위 수준 아키텍처 다이어그램

다음 사항에 유의하십시오.

  • Starburst는 데이터 가상화 플랫폼이 아닙니다. 분석을 위한 전체 데이터 메시 전략의 기반을 형성하는 SQL기반 대규모 병렬 처리(MPP) 쿼리 엔진입니다.

  • 마이그레이션의 일환으로 Starburst를 배포하면 기존 온프레미스 인프라에 직접 연결됩니다.

  • Starburst는 다양한 레거시 시스템과의 연결을 용이하게 하는 몇 가지 내장형 엔터프라이즈 및 오픈 소스 커넥터를 제공합니다. 커넥터 및 해당 기능의 전체 목록은 Starburst Enterprise 사용 설명서의 커넥터를 참조하십시오.

  • Starburst는 온프레미스 데이터 소스에서 실시간으로 데이터를 쿼리할 수 있습니다. 이를 통해 데이터를 마이그레이션하는 동안 정기적인 비즈니스 운영이 중단되는 것을 방지할 수 있습니다.

  • 기존 온프레미스 Starburst Enterprise 배포에서 마이그레이션하는 경우 특수 커넥터인 Starburst Stargate를 사용하여 의 Starburst Enterprise 클러스터를 온프레미스 클러스터에 AWS 직접 연결할 수 있습니다. 이를 통해 비즈니스 사용자와 데이터 분석가가 AWS 클라우드에서 온프레미스 환경으로 쿼리를 페더레이션할 때 추가적인 성능 이점을 얻을 수 있습니다.

높은 수준의 프로세스 개요

Starburst를 사용하면 데이터를 마이그레이션하기 전에 모든 데이터에 대한 통찰력을 확보할 수 있으므로 Starburst를 사용하면 데이터 마이그레이션 프로젝트를 가속화할 수 있습니다. 다음 이미지는 Starburst를 사용하여 데이터를 마이그레이션하는 일반적인 프로세스를 보여줍니다.

Starburst를 사용하여 AWS 클라우드로 데이터를 마이그레이션하기 위한 프로세스 흐름

역할

Starburst를 사용하여 마이그레이션을 완료하려면 일반적으로 다음과 같은 역할이 필요합니다.

  • 클라우드 관리자 - Starburst Enterprise 애플리케이션을 실행하는 데 클라우드 리소스를 사용할 수 있도록 하는 일을 담당합니다.

  • Starburst 관리자 - Starburst 애플리케이션 설치, 구성, 관리 및 지원을 담당합니다.

  • 데이터 엔지니어- 담당:

    • 레거시 데이터를 클라우드로 마이그레이션

    • 분석을 지원하는 시맨틱 뷰 구축

  • 솔루션 또는 시스템 소유자 - 전체 솔루션 구현을 담당합니다.

도구

AWS 서비스

  • Amazon EC2 – Amazon Elastic Compute Cloud(Amazon EC2)는 AWS 클라우드에서 확장 가능한 컴퓨팅 용량을 제공합니다.

  • Amazon EKS - Amazon Elastic Kubernetes Service(Amazon EKS)는 자체 Kubernetes 제어 플레인을 시작하거나 유지 관리할 필요 AWS 없이 에서 Kubernetes를 실행하는 관리형 서비스입니다. Kubernetes는 컨테이너화된 애플리케이션의 배포, 조정 및 관리 자동화를 위한 오픈 소스 시스템입니다.

기타 도구

  • Helm – Kubernetes용 Helm 패키지 관리자는 Kubernetes 클러스터에서 애플리케이션을 설치하고 관리하는 데 도움이 됩니다.

  • Starburst Enterprise – Starburst Enterprise는 분석을 위한 전체 데이터 메시 전략의 기반을 형성하는 SQL기반 초병렬 처리(MPP) 쿼리 엔진입니다.

  • Starburst Stargate - Starburst Stargate는 온프레미스 데이터 센터의 클러스터와 같은 하나의 Starburst Enterprise 환경의 카탈로그 및 데이터 소스를 AWS 클라우드의 클러스터와 같은 다른 Starburst Enterprise 환경의 카탈로그 및 데이터 소스에 연결합니다.

에픽

작업설명필요한 기술
데이터를 식별하고 우선순위를 정하십시오.

이동하려는 데이터를 식별하십시오. 대규모 온프레미스 레거시 시스템에는 마이그레이션하려는 핵심 데이터와 함께 이동하고 싶지 않거나 규정 준수상의 이유로 이동할 수 없는 데이터가 포함될 수 있습니다. 데이터 인벤토리로 시작하면 먼저 대상으로 삼아야 하는 데이터의 우선 순위를 정하는 데 도움이 됩니다. 자세한 내용은 자동화된 포트폴리오 검색 시작을 참조하십시오.

데이터 엔지니어, DBA
데이터를 탐색하고, 인벤토리를 작성하고, 백업하십시오.

사용 사례에 맞는 데이터의 품질, 수량, 관련성을 검증하십시오. 필요에 따라 데이터를 백업하거나 스냅샷을 만들고 데이터의 대상 환경을 확정합니다.

데이터 엔지니어, DBA
작업설명필요한 기술
AWS 클라우드에서 Starburst Enterprise를 구성합니다.

데이터가 카탈로그화되는 동안 관리형 Amazon EKS 클러스터에서 Starburst Enterprise를 설정합니다. 자세한 내용은 Starburst Enterprise 참조 문서의 Kubernetes를 사용한 배포를 참조하십시오. 이렇게 하면 business-as-usual 데이터 마이그레이션이 진행되는 동안 분석을 수행할 수 있습니다.

AWS 관리자, 앱 개발자
Starburst를 데이터 소스에 연결합니다.

데이터를 식별하고 Starburst Enterprise를 설정한 후 Starburst를 데이터 소스에 연결합니다. Starburst는 데이터 소스에서 직접 데이터를 SQL 쿼리로 읽습니다. 자세한 내용은 Starburst Enterprise 참조 문서를 참조하십시오.

AWS 관리자, 앱 개발자
작업설명필요한 기술
ETL 파이프라인을 빌드하고 실행합니다.

데이터 마이그레이션 프로세스를 시작합니다. 이 활동은 분석과 business-as-usual 동시에 발생할 수 있습니다. 마이그레이션에는 타사 제품 또는 Starburst를 사용할 수 있습니다. Starburst는 다양한 소스에서 데이터를 읽고 쓸 수 있는 기능을 모두 갖추고 있습니다. 자세한 내용은 Starburst Enterprise 참조 문서를 참조하십시오.

데이터 엔지니어
데이터를 검증합니다.

데이터를 마이그레이션한 후 데이터를 검증하여 필요한 모든 데이터가 이동되었고 손상되지 않았는지 확인합니다.

데이터 엔지니어, DevOps 엔지니어
작업설명필요한 기술
데이터를 잘라냅니다.

데이터 마이그레이션 및 검증이 완료된 후 데이터를 잘라낼 수 있습니다. 여기에는 Starburst의 데이터 연결 링크 변경이 포함됩니다. 온프레미스 소스를 가리키는 대신 새 클라우드 소스를 가리키고 시맨틱 뷰를 업데이트합니다. 자세한 내용은 Starburst Enterprise 참조 문서의 커넥터를 참조하십시오.

데이터 엔지니어, 전환 리드
사용자 대상으로 출시합니다.

데이터 소비자는 마이그레이션된 데이터 원본으로 작업을 시작합니다. 분석 최종 사용자에게는 이 프로세스가 보이지 않습니다.

전환 리드, 데이터 엔지니어

관련 리소스

AWS Marketplace

Starburst 문서

기타 AWS 설명서