Apache Airflow 버전 업그레이드 - Amazon Managed Workflows for Apache Airflow
워크플로우 리소스를 업그레이드합니다.새 버전 지정

Apache Airflow 버전 업그레이드

Amazon MWAA는 마이너 버전 업그레이드를 지원합니다. 즉, 환경을 버전 x.4.z에서 버전 x.5.z(으)로 업그레이드할 수 있습니다. 예를 들어 버전 1.y.z에서 버전 2.y.z로 업그레이드하는 메이저 버전 업그레이드를 수행하려면 새 환경을 만들고 리소스를 마이그레이션해야 합니다. Apache Airflow의 새 메이저 버전으로 업그레이드하는 방법에 대한 자세한 내용은 Amazon MWAA 마이그레이션 가이드의 새 Amazon MWAA 환경으로 마이그레이션을 참조하십시오.

업그레이드 프로세스 중에 Amazon MWAA는 환경 메타데이터의 스냅샷을 캡처하고 작업자, 스케줄러, 웹 서버를 새 Apache Airflow 버전으로 업그레이드한 다음 최종적으로 스냅샷을 사용하여 메타데이터 데이터베이스를 복원합니다.

참고

사용자 환경에 맞게 Apache Airflow 버전을 다운그레이드할 수 없습니다.

업그레이드하기 전에 DAG 및 기타 워크플로우 리소스가 업그레이드하려는 새 Apache Airflow 버전과 호환되는지 확인합니다. requirements.txt를 사용하여 종속성을 관리하는 경우 요구 사항에 지정한 종속성이 새 버전과 호환되는지도 확인해야 합니다.

워크플로우 리소스를 업그레이드합니다.

Apache Airflow 버전을 변경할 때마다 requirements.txt에서 올바른 --constraint URL을 참조하는지 확인합니다.

주의

업그레이드 중에 대상 Apache Airflow 버전과 호환되지 않는 요구 사항을 지정하면 이전 요구 사항 버전이 있는 이전 버전의 Apache Airflow로 롤백하는 데 오랜 시간이 걸릴 수 있습니다.

워크플로 리소스를 마이그레이션하려면

  1. aws-mwaa-local-runner 리포지토리의 포크를 생성하고 Amazon MWAA 로컬 러너의 사본을 복제합니다.

  2. 업그레이드하려는 버전과 일치하는 aws-mwaa-local-runner 리포지토리의 브랜치를 확인합니다.

  3. Amazon MWAA 로컬 러너 CLI 도구를 사용하여 도커 이미지를 빌드하고 로컬에서 Apache Airflow를 실행할 수 있습니다. 자세한 내용은 GitHub 리포지토리에서 로컬 러너 README를 참조하십시오.

  4. requirements.txt을(를) 업데이트하려면 Amazon MWAA 사용 설명서의 Python 종속성 관리에서 권장하는 모범 사례를 따르십시오.

  5. (선택 사항) 업그레이드 프로세스의 속도를 높이려면 환경의 메타데이터 데이터베이스를 정리합니다. 메타데이터 양이 많은 환경은 업그레이드에 상당히 오랜 시간이 걸릴 수 있습니다.

  6. 워크플로우 리소스를 성공적으로 테스트한 후 DAG와 requirements.txt, 플러그인을 환경의 Amazon S3 버킷으로 복사합니다.

이제 환경을 편집하고, 새 Apache Airflow 버전을 지정하고, 업데이트 절차를 시작할 준비가 되었습니다.

새 버전 지정

새 Apache Airflow 버전과의 호환성을 보장하기 위해 워크플로우 리소스를 업데이트한 후, 다음을 수행하여 환경의 세부 정보를 편집하고 업그레이드하려는 Apache Airflow 버전을 지정합니다.

참고

업그레이드를 수행하면 그 과정 동안 환경에서 현재 실행 중인 모든 작업이 종료됩니다. 업데이트 절차에는 최대 2시간이 소요될 수 있으며, 이 기간 동안에는 환경을 사용할 수 없습니다.

콘솔을 사용하여 새 버전을 지정하려면

  1. Amazon MWAA 콘솔에서 환경 페이지를 엽니다.

  2. 환경 목록에서 업그레이드할 환경을 선택합니다.

  3. 환경 페이지에서 편집을 선택하여 환경을 편집합니다.

  4. 환경 세부 정보 섹션의 Airflow 버전에 대해 드롭다운 목록에서 환경을 업그레이드하려는 새 Apache Airflow 버전 번호를 선택합니다.

  5. 검토 및 저장 페이지가 표시될 때까지 다음을 선택합니다.

  6. 검토 및 저장 페이지에서 변경 사항을 검토한 후 저장을 선택합니다.

변경 사항을 적용하면 해당 환경에서 업그레이드 절차가 시작됩니다. 이 기간 동안 사용자 환경의 상태는 Amazon MWAA가 취하는 조치와 절차의 성공 여부를 나타냅니다.

업그레이드가 성공하면 상태가 UPDATING(으)로 표시되고, Amazon MWAA가 메타데이터 백업을 캡처하면 상태가 CREATING_SNAPSHOT(으)로 표시됩니다. 마지막으로 상태가 처음에는 UPDATING(으)로 돌아가고, 절차가 완료되면 AVAILABLE(으)로 돌아갑니다.

환경 업그레이드에 실패할 경우 환경 상태가 ROLLING_BACK(으)로 표시됩니다. 롤백이 성공하면 업데이트가 실패했지만 환경을 사용할 수 있음을 나타내는 UPDATE_FAILED 상태가 먼저 표시됩니다. 롤백이 실패하면 UNAVAILABLE 상태가 표시되며 환경에 액세스할 수 없음을 나타냅니다.