升級阿帕奇氣流版本 - Amazon Managed Workflows for Apache Airflow

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

升級阿帕奇氣流版本

亞馬遜 MWAA 支援次要版本升級。這表示您可以將環境從版本升級x.4.zx.5.z。若要執行主要版本升級 (例如從版本1.y.z到版本)2.y.z,您必須建立新環境並移轉資源。如需升級至新主要版本 Apache 氣流的詳細資訊,請參閱亞馬遜 MWAA 移轉指南中的遷移至新的亞馬遜 MWAA 環境

在升級程序期間,Amazon MWAA 會擷取環境中繼資料的快照,將工作者、排程器、Web 伺服器升級至新的 Apache Airflow 版本,最後使用快照還原中繼資料資料庫。

注意

您無法降級您環境的 Apache 氣流版本。

在升級之前,請確定您的 DAG 和其他工作流程資源與您要升級的新 Apache Airflow 版本相容。如果您使requirements.txt用管理相依性,也必須確定您在需求中指定的相依性與新版本相容。

升級工作流程資源

每當您要變更 Apache 氣流版本時,請確定您在requirements.txt. --constraint

警告

在升級期間指定與目標 Apache Airflow 版本不相容的需求,可能會導致對舊版 Apache Airflow 進行冗長的復原程序,並符合先前需求版本。

若要移轉工作流程資源
  1. 建立aws-mwaa-local-runner儲存庫的分支,然後複製 Amazon MWAA 本機執行器的副本。

  2. 簽出到與您要升級到的版本相匹配的 aws-mwaa-local-runner 存儲庫分支。

  3. 使用亞馬遜 MWAA 本地運行器 CLI 工具來構建碼頭映像並在本地運行 Apache 氣流。有關更多信息,請參閱 GitHub 存儲庫中的本地運行器 README

  4. 若要更新您的資訊requirements.txt,請遵循 Amazon MWAA 使用者指南中的管理 Python 相依性中建議的最佳實務。

  5. (選擇性) 若要加速升級程序,請清除環境的中繼資料資料庫。具有大量中繼資料的環境可能需要更長的時間來升級。

  6. 成功測試工作流程資源後,請將 DAG 和外掛程式複製到環境的 Amazon S3 儲存貯體。requirements.txt

您現在可以編輯環境、指定新的 Apache Airflow 版本,然後開始更新程序。

指定新版本

完成更新工作流程資源以確保與新 Apache Airflow 版本的相容性之後,請執行下列動作來編輯環境詳細資料,並指定您要升級至的 Apache Airflow 版本。

注意

當您執行升級時,程序期間會終止目前在環境上執行的所有工作。更新程序最多可能需要兩個小時,在此期間,您的環境將無法使用。

使用控制台指定新版本
  1. 在亞馬遜 MWAA 主控台上開啟「環境」頁面

  2. 從「環境」清單中,選擇您要升級的環境。

  3. 在「環境」頁面上,選擇 「編輯」以編輯環境。

  4. 在「環境詳細資料」區段中,對於 Airflow 版本,請從下拉式清單中選擇要將環境升級至的新 Apache Airflow 版本號碼。

  5. 選擇 [下一步],直到您進入 [檢閱並儲存] 頁面。

  6. 在「檢閱並儲存」頁面上,檢閱您的變更,然後選擇「儲存」。

當您套用變更時,您的環境會開始升級程序。在此期間,您的環境狀態會指出 Amazon MWAA 正在採取的動作,以及程序是否成功。

在成功升級案例中,狀態會顯示UPDATING,然後CREATING_SNAPSHOT當 Amazon MWAA 擷取中繼資料的備份時。最後,狀態將首先返回UPDATING,然後返回到該過程完成AVAILABLE時。

如果環境升級失敗,則會顯示您的環境狀態ROLLING_BACK。如果復原成功,則會先顯示狀態UPDATE_FAILED,指出更新失敗,但環境可用。如果復原失敗,則會顯示狀態UNAVAILABLE,表示您無法存取環境。