在 Amazon 中查看氣流日誌 CloudWatch - Amazon Managed Workflows for Apache Airflow
定價開始之前記錄檔類型啟用 Apache 氣流記錄檢視阿帕奇氣流記錄排程器記錄範例後續步驟？

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 Amazon 中查看氣流日誌 CloudWatch

Amazon MWAA 可以將 Apache 氣流日誌發送到 Amazon。 CloudWatch您可以從單一位置檢視多個環境的記錄，輕鬆識別 Apache Airflow 工作延遲或工作流程錯誤，而不需要其他協力廠商工具。您必須在 Apache 氣流主控台的 Amazon 受管工作流程上啟用 Apache 氣流日誌，才能檢視 Apache 氣流 DAG 處理、任務、網頁伺服器、工作者登入 CloudWatch。

定價

  • 需支付標準 CloudWatch 記錄費用。如需詳細資訊，請參閱CloudWatch 定價。

開始之前

記錄檔類型

Amazon MWAA 會為您啟用的每個 Airflow 記錄選項建立一個日誌群組，並將日誌推送到與環境關聯的 CloudWatch 日誌群組。記錄群組的命名格式如下：YourEnvironmentName-LogType例如，如果您的環境命名為Airflow-v202-Public，則 Apache 氣流工作記錄會傳送至Airflow-v202-Public-Task。

日誌類型 描述

YourEnvironmentName-DAGProcessing

DAG 處理器管理員 (處理 DAG 檔案的排程器部分) 的記錄。

YourEnvironmentName-Scheduler

氣流排程器產生的記錄。

YourEnvironmentName-Task

DAG 產生的工作記錄檔。

YourEnvironmentName-WebServer

氣流網頁介面所產生的記錄檔。

YourEnvironmentName-Worker

作為工作流程和 DAG 執行的一部分產生的記錄檔。

啟用 Apache 氣流記錄

您可以在INFO、WARNING或CRITICAL層級啟用 Apache 氣流記錄檔。ERROR當您選擇記錄層級時，Amazon MWAA 會傳送該層級和所有較高嚴重性層級的日誌。例如，如果您在INFO層級啟用日誌，Amazon MWAA 會將日誌WARNING、ERROR、和INFO日誌層級傳送到 CloudWatch 日CRITICAL誌。

  1. 在 Amazon MWAA 主控台上開啟「環境」頁面。

  2. 選擇一個環境。

  3. 選擇編輯。

  4. 選擇下一步。

  5. 選擇下列一或多個記錄選項：

    1. 在 [監視] 窗格中選擇 Airflow 排程器記錄群組。

    2. 在 [監視] 窗格中選擇 Airflow Web 伺服器記錄群組。

    3. 在 [監視] 窗格中選擇氣流工作者記錄群組。

    4. 在 [監視] 窗格上選擇氣流 DAG 處理記錄群組。

    5. 選擇 [監視] 窗格上的 [氣流] 工作記錄群組。

    6. 在記錄層級中選擇記錄層級。

  6. 選擇下一步。

  7. 選擇儲存。

檢視阿帕奇氣流記錄

下節說明如何在 CloudWatch 主控台中檢視 Apache 氣流記錄檔。

  1. 在 Amazon MWAA 主控台上開啟「環境」頁面。

  2. 選擇一個環境。

  3. 在 [監視] 窗格中選擇記錄群組。

  4. 在記錄串流中選擇一個登入。

排程器記錄範例

您可以檢視排程器排程工作流程和剖析dags資料夾的 Apache Airflow 記錄。下列步驟說明如何在 Amazon MWAA 主控台上開啟排程器的日誌群組，以及如何在日誌主控台上檢視 Apache 氣流 CloudWatch 日誌。

若要檢視 requirements.txt

  1. 在 Amazon MWAA 主控台上開啟「環境」頁面。

  2. 選擇一個環境。

  3. 在 [監視] 窗格中選擇 Airflow 排程器記錄群組。

  4. 在requirements_install_ip日誌流中選擇日誌。

  5. 您應該會看到已安裝在環境中的套件清單，位於/usr/local/airflow/.local/bin。例如：

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. 檢閱套件清單，以及這些套件是否在安裝過程中遇到錯誤。如果發生錯誤，您可能會看到類似下列內容的錯誤：

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

後續步驟？