Amazon의 컨테이너, 대기열 및 데이터베이스 메트릭 MWAA - Amazon Managed Workflows for Apache Airflow

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon의 컨테이너, 대기열 및 데이터베이스 메트릭 MWAA

Apache Airflow 지표 외에도 원시 데이터를 수집하고 데이터를 읽기 가능한 거의 실시간 지표로 처리하는 를 사용하여 CloudWatch Amazon Managed Workflow for Apache Airflow 환경의 기본 구성 요소를 모니터링할 수 있습니다. 이러한 환경 지표를 사용하면 주요 성과 지표에 대한 가시성이 좋아져 환경의 크기를 적절히 조정하고 워크플로와 관련된 문제를 디버깅하는 데 도움이 됩니다. 이 지표는 Amazon에서 지원되는 모든 Apache Airflow 버전에 적용됩니다. MWAA

MWAAAmazon은 각 Amazon Elastic Container Service (AmazonECS) 컨테이너 및 Amazon Aurora Postgre 인스턴스에 대한 메모리 사용률SQL, 메시지 수 및 가장 오래된 메시지 기간에 대한 Amazon Simple Queue Service (AmazonSQS) 지표, 데이터베이스 연결, 디스크 대기열 깊이, 쓰기 작업, 지연 시간 및 처리량에 대한 RDS Amazon Relational Database Service (Amazon) 지표, Amazon 프록시 지표를 제공합니다CPU. RDS 이러한 지표에는 기본 작업자, 추가 작업자, 스케줄러 및 웹 서버의 수도 포함됩니다.

이러한 통계는 15개월간 보관되므로 기록 정보를 보고 일정에 오류가 발생하는 이유를 더 잘 파악하고 근본적인 문제를 해결할 수 있습니다. 특정 임계값을 주시하다가 해당 임계값이 충족될 때 알림을 전송하거나 조치를 취하도록 경보를 설정할 수도 있습니다. 자세한 내용은 Amazon CloudWatch 사용 설명서를 참조하십시오.

용어

네임스페이스

네임스페이스는 서비스의 CloudWatch 지표를 담는 컨테이너입니다 AWS . Amazon의 MWAA 경우 네임스페이스는 다음과 같습니다. AWS/MWAA

CloudWatch 지표

CloudWatch 지표는 특정한 시간에 따라 정렬된 데이터 요소 집합을 CloudWatch 나타냅니다.

측정기준

차원은 지표의 보안 인증에 속하는 명칭/값 쌍입니다.

단위

통계에는 측정 단위가 포함되어 있습니다. Amazon의 MWAA 경우 단품에는 개수가 포함됩니다.

차원

이 섹션에서는 Amazon MWAA 지표의 CloudWatch CloudWatch 차원 그룹화에 대해 설명합니다.

측정기준 설명

클러스터

Amazon MWAA 환경에서 Apache Airflow 구성 요소를 실행하는 데 사용하는 최소 3개의 Amazon ECS 컨테이너 (스케줄러, 작업자, 웹 서버) 에 대한 측정치.

대기열

스케줄러와 워커를 분리하는 Amazon SQS 대기열에 대한 지표. 작업자가 메시지를 읽을 때는 처리 중인 것으로 간주되어 다른 작업자가 사용할 수 없습니다. 메시지가 표시 제한 시간인 12시간 이전에 삭제되지 않으면 다른 작업자가 메시지를 읽을 수 있습니다.

데이터베이스

아마존에서 사용하는 Aurora 클러스터를 측정합니다. MWAA 여기에는 기본 데이터베이스 인스턴스에 대한 지표와 읽기 동작을 지원하는 읽기 전용 복제본이 포함됩니다. Amazon은 READER 및 WRITER 인스턴스 모두에 대한 데이터베이스 지표를 MWAA 게시합니다.

콘솔에서 지표에 CloudWatch 액세스

이 섹션에서는 Amazon MWAA 지표에 액세스하는 방법을 설명합니다 CloudWatch.

차원에 대한 성능 지표를 보려면
  1. CloudWatch 콘솔에서 지표 페이지를 엽니다.

  2. AWS 지역 선택기를 사용하여 지역을 선택합니다.

  3. AWS/MWAA네임스페이스를 선택합니다.

  4. 모든 지표 탭에서 차원을 선택합니다. 예: 클러스터

  5. 차원에 사용할 CloudWatch 측정항목을 선택합니다. 예: NumSchedulers또는 CPUUtilization. 이어서, 모든 검색 결과를 그래프로 표시를 선택합니다.

  6. 그래프로 표시된 지표 탭을 선택하여 성능 지표를 확인합니다.

지표 목록

다음 표에는 Amazon의 클러스터, 대기열 및 데이터베이스 서비스 지표가 나열되어 MWAA 있습니다. Amazon ECS SQSRDS, Amazon 또는 Amazon에서 직접 내보낸 메트릭에 대한 설명을 보려면 해당 설명서 링크를 선택하십시오.

클러스터 지표

다음 지표는 각 스케줄러, 기본 작업자, 추가 작업자 및 웹 서버에 적용됩니다. 각 클러스터 지표에 대한 자세한 내용 및 설명은 Amazon ECS 개발자 안내서의 사용 가능한 지표 및 차원을 참조하십시오.

네임스페이스 지표 Unit

AWS/MWAA

CPUUtilization

%

AWS/MWAA

MemoryUtilization

%

추가 작업자 및 웹 서버 컨테이너의 수 평가

다음 절차에 설명된 대로 클러스터 차원에 제공된 구성 요소 지표를 사용하여 특정 시점에 환경에서 사용하고 있는 추가 작업자 또는 웹 서버 수를 평가할 수 있습니다. CPUUtilization또는 MemoryUtilization지표를 그래프로 표시하고 통계 유형을 샘플 수로 설정하면 이 작업을 수행할 수 있습니다. 결과 값은 AdditionalWorker 구성 요소의 총 RUNNING 작업 수입니다. 환경에서 사용하는 추가 작업자 인스턴스의 수를 이해하면 환경이 확장되는 방식을 파악하고 추가 작업자 수를 최적화하는 데 도움이 될 수 있습니다.

Workers
를 사용하는 추가 작업자 수를 평가하려면 AWS Management Console
  1. AWS/MWAA네임스페이스를 선택합니다.

  2. 모든 지표 탭에서 클러스터 차원을 선택합니다.

  3. 클러스터 차원에서 에 AdditionalWorker대해 CPUUtilization또는 지표를 선택합니다. MemoryUtilization

  4. 그래프로 표시된 지표 탭에서 기간1분으로 설정하고, 통계샘플 수로 설정합니다.

Web servers
를 사용하여 추가 웹 서버 수를 평가하려면 AWS Management Console
  1. AWS/MWAA네임스페이스를 선택합니다.

  2. 모든 지표 탭에서 클러스터 차원을 선택합니다.

  3. 클러스터 차원에서 에 AdditionalWebservers대해 CPUUtilization또는 지표를 선택합니다. MemoryUtilization

  4. 그래프로 표시된 지표 탭에서 기간1분으로 설정하고, 통계샘플 수로 설정합니다.

자세한 내용은 Amazon Elastic Container Service 개발자 가이드서비스 RUNNING 작업 수를 참조하십시오.

데이터베이스 지표

다음 지표는 Amazon MWAA 환경과 연결된 각 데이터베이스 인스턴스에 적용됩니다.

네임스페이스 지표 Unit

AWS/MWAA

CPUUtilization

%

AWS/MWAA

DatabaseConnections

개수

AWS/MWAA

DiskQueueDepth

개수

AWS/MWAA

FreeableMemory

바이트

AWS/MWAA

VolumeWriteIOPS

5분당 개수

AWS/MWAA

WriteIOPS

초당 개수

AWS/MWAA

WriteLatency

AWS/MWAA

WriteThroughput

초당 바이트

대기열 지표

다음 대기열 지표의 단위 및 설명에 대한 자세한 내용은 Amazon Simple Queue Service 개발자 안내서의 SQS Amazon에서 사용 가능한 CloudWatch 지표를 참조하십시오.

네임스페이스 지표 Unit

AWS/MWAA

ApproximateAgeOfOldestTask

AWS/MWAA

RunningTasks

개수

AWS/MWAA

QueuedTasks

개수

Application Load Balancer 지표

Application Load Balancer 지표는 사용자 환경에서 실행되는 웹 서버에 적용됩니다. MWAAAmazon은 이러한 지표를 사용하여 트래픽량에 따라 웹 서버를 확장합니다. 다음 로드 밸런서 지표의 단위 및 설명에 대한 자세한 내용은 애플리케이션 로드 밸런서 사용 설명서에서 Application Load Balancer의 CloudWatch 지표를 참조하십시오.

네임스페이스 지표 Unit

AWS/MWAA

ActiveConnectionCount

개수