기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon MWAA 네트워크 아키텍처 살펴보기
다음 섹션에서는 Amazon MWAA 환경을 구성하는 주요 구성 요소와 각 환경이 리소스를 관리하고, 데이터를 안전하게 유지하고, 워크플로에 대한 모니터링 및 가시성을 제공하기 위해 통합되는 AWS 서비스 세트를 설명합니다.
Amazon MWAA 구성 요소
Amazon MWAA 환경은 다음 네 가지 주요 구성 요소로 구성됩니다.
-
스케줄러 - 모든 DAGs를 구문 분석 및 모니터링하고 WordDAG의 종속성이 충족될 때 실행을 위해 작업을 대기열에 저장합니다. Amazon MWAA는 스케줄러를 최소 2개의 스케줄러가 있는 AWS Fargate 클러스터로 배포합니다. 워크로드에 따라 스케줄러 수를 최대 5개까지 늘릴 수 있습니다. Amazon MWAA 환경 클래스에 대한 자세한 내용은 Amazon MWAA 환경 클래스를 참조하세요.
-
작업자 — 예약된 작업을 실행하는 하나 이상의 Fargate 작업. 사용자 환경의 작업자 수는 지정한 최소 및 최대 수 사이의 범위에 따라 결정됩니다. Amazon MWAA는 대기 및 실행 중인 작업 수가 기존 작업자가 처리할 수 있는 수보다 많을 때 작업자의 규모를 자동으로 조정하기 시작합니다. 실행 중이고 대기열에 있는 태스크 합계가 2분 이상 0이 되면 Amazon MWAA는 작업자 수를 최소로 축소합니다. Amazon MWAA가 자동 조정 작업자를 처리하는 방법에 대한 자세한 내용은 Amazon MWAA 자동 조정을 참조하세요.
-
웹 서버 — Apache Airflow 웹 UI를 실행합니다. 프라이빗 또는 퍼블릭 네트워크 액세스로 웹 서버를 구성할 수 있습니다. 두 경우 모두 Apache Airflow 사용자에 대한 액세스는 AWS Identity and Access Management (IAM)에서 정의한 액세스 제어 정책에 의해 제어됩니다. 환경에 대한 IAM 액세스 정책 구성에 대한 자세한 내용은 Amazon MWAA 환경 액세스를 참조하세요.
-
데이터베이스 - DAG 실행 기록을 포함하여 Apache Airflow 환경 및 워크플로에 대한 메타데이터를 저장합니다. 데이터베이스는 단일 테넌트 Aurora PostgreSQL 데이터베이스로 AWS,에서 관리하며, 프라이빗 보안 Amazon VPC 엔드포인트를 통해 스케줄러 및 작업자의 Fargate 컨테이너에 액세스할 수 있습니다.
또한 모든 Amazon MWAA 환경은 일련의 AWS 서비스와 상호 작용하여 DAGs 및 작업 종속성 저장 및 액세스, 저장된 데이터 보호, 환경 로깅 및 모니터링을 비롯한 다양한 작업을 처리합니다. 다음 다이어그램은 Amazon MWAA 환경의 다양한 구성 요소를 보여줍니다.
참고
Amazon VPC 서비스는 공유 VPC가 아닙니다. Amazon MWAA는 사용자가 생성하는 모든 환경에 대해 AWS 소유 VPC를 생성합니다.
-
Amazon S3 — Amazon MWAA는 DAGs, 요구 사항 및 플러그인 파일과 같은 모든 워크플로 리소스를 Amazon S3 버킷에 저장합니다. 환경 생성의 일부로 버킷을 생성하고 Amazon MWAA 리소스를 업로드하는 방법에 대한 자세한 내용은 Amazon Word MWAA 사용 설명서의 Amazon MWAAAmazon S3 버킷 생성을 참조하세요.
-
Amazon SQS - Amazon MWAA는 Celery 실행기로
워크플로 작업을 대기열에 추가하기 위해 Amazon SQS를 사용합니다. -
Amazon ECR - Amazon ECR는 모든 Apache Airflow 이미지를 호스팅합니다. Amazon MWAA는 AWS 관리형 Apache Airflow 이미지만 지원합니다.
-
AWS KMS — Amazon MWAA는 AWS KMS 를 사용하여 저장 데이터를 안전하게 보호합니다. 기본적으로 Amazon MWAA는 AWS 관리형 AWS KMS 키를 사용하지만 자체 고객 관리형 AWS KMS 키를 사용하도록 환경을 구성할 수 있습니다. 자체 고객 관리형 AWS KMS 키 사용에 대한 자세한 내용은 Amazon MWAA 사용 설명서의 데이터 암호화를 위한 고객 관리형 키를 참조하세요.
-
CloudWatch - Amazon MWAA는 CloudWatch 와 통합되어 Amazon MWAA 리소스를 모니터링하고 문제를 해결할 수 있도록 Apache Airflow 로그 및 환경 지표를 CloudWatch에 제공합니다.
연결
Amazon MWAA 환경에는 통합되는 모든 AWS 서비스에 대한 액세스 권한이 필요합니다. Amazon MWAA 실행 역할은 사용자를 대신하여 다른 AWS 서비스에 연결하기 위해 Amazon MWAA에 대한 액세스 권한을 부여하는 방법을 제어합니다. 네트워크 연결의 경우 Amazon VPC에 대한 퍼블릭 인터넷 액세스를 제공하거나 Amazon VPC 엔드포인트를 생성할 수 있습니다. 환경에 맞게 Amazon VPC 엔드포인트(AWS PrivateLink)를 구성하는 방법에 대한 자세한 내용은 Amazon VPC 사용 설명서의 Amazon MWAA에서 Word 엔드포인트에 대한 액세스 관리를 참조하세요. MWAA
Amazon MWAA는 스케줄러와 작업자에 요구 사항을 설치합니다. 퍼블릭 PyPi.whl 파일에 번들링할 수 있습니다.
프라이빗 모드에서 Apache Airflow를 구성하는 경우 Amazon VPC 엔드포인트를 통해서만 Amazon VPC에 Apache Airflow UI에 액세스할 수 있습니다.
네트워킹에 대한 자세한 내용은 Amazon MWAA 사용 설명서의 네트워킹을 참조하세요.
