Amazon MWAA 환경 클래스 구성

Amazon MWAA 환경에 대해 선택하는 환경 클래스에 따라 Celery 실행기가 실행되는 AWS관리형 AWS Fargate 컨테이너의 크기와 Apache Airflow 스케줄러가 태스크 인스턴스를 생성하는 AWS관리형 Amazon Aurora PostgreSQL 메타데이터 데이터베이스가 결정됩니다. 이 주제에서는 각 Amazon MWAA 환경 클래스와 Amazon MWAA 콘솔에서 환경 클래스를 업데이트하는 방법을 설명합니다.

환경 기능

다음 섹션에는 각 환경 클래스에 대한 기본 동시 Apache Airflow 작업, RAM(랜덤 액세스 메모리) 및 vCPU(가상 중앙 처리 장치)가 포함되어 있습니다. 나열된 동시 작업은 작업 동시성이 해당 환경의 Apache Airflow Worker 용량을 초과하지 않는다고 가정합니다.

다음 표에서 DAG 용량은 실행이 아닌 DAG 정의를 의미하며 DAG가 단일 Python 파일에서 동적이고 Apache Airflow 모범 사례로 작성되었다고 가정합니다.

작업 실행은 동시에 예약된 작업 수에 따라 달라지며, 동시에 시작되도록 설정된 DAG 실행 수가 기본값 max_dagruns_per_loop_to_schedule을(를) 초과하지 않는 것으로 가정합니다. 이 항목에서 설명하는 작업자 크기 및 개수도 마찬가지입니다.

celery.worker_autoscale을(를) 작업자당 작업을 늘리는 데 사용할 수 있습니다. 자세한 정보는 고성능 사용 사례 예시 단원을 참조하십시오.

Apache Airflow 스케줄러

다음 섹션에는 Amazon MWAA에서 사용할 수 있는 Apache Airflow 스케줄러 옵션과 스케줄러 수가 트리거 수에 미치는 영향이 나와 있습니다.

Apache Airflow에서 트리거는 트리거를 사용하여 지정된 특정 조건이 충족될 때까지 연기되는 작업을 관리합니다. Amazon MWAA에서 트리거는 동일한 Fargate 작업에서 스케줄러와 함께 실행됩니다. 이에 따라 스케줄러 수를 늘리면 사용 가능한 트리거 수가 늘어나며, 환경에서 지연된 작업을 관리하는 방식이 최적화됩니다. 이렇게 하면 작업을 효율적으로 처리할 수 있어 조건이 충족될 때 작업이 실행되도록 즉시 일정을 잡을 수 있습니다.