Amazon での Airflow ログの表示 CloudWatch - Amazon Managed Workflows for Apache Airflow
料金開始する前にログタイプApache Airflow ログを有効にするApache Airflow ログを表示するスケジューラーログの例次のステップ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon での Airflow ログの表示 CloudWatch

Amazon MWAA は Apache Airflow ログを Amazon に送信できます CloudWatch。追加のサードパーティツールを必要とせずに、Apache Airflow のタスクの遅延やワークフローエラーを簡単に特定するために、単一の場所から複数の環境のログを表示できます。Apache Airflow DAG 処理、タスク、ウェブサーバー、ワーカーログを で表示するには、Apache Airflow コンソールの Amazon Managed Workflows で Apache Airflow ログを有効にする必要があります CloudWatch。

料金

  • Standard CloudWatch Logs 料金が適用されます。詳細については、「 のCloudWatch 料金」を参照してください。

開始する前に

ログタイプ

Amazon MWAA は、有効にした Airflow ログ記録オプションごとにロググループを作成し、環境に関連付けられた CloudWatch ロググループにログをプッシュします。ロググループの名前は以下の形式に従います: YourEnvironmentName-LogType たとえば、お使いの環境に Airflow-v202-Public という名前が付けられている場合、Apache Airflow タスクログは Airflow-v202-Public-Task に送信されます。

ログタイプ 説明

YourEnvironmentName-DAGProcessing

DAG プロセッサマネージャー (DAG ファイルを処理するスケジューラーの一部) のログ。

YourEnvironmentName-Scheduler

Airflow スケジューラーが生成するログ。

YourEnvironmentName-Task

DAG が生成するタスクログ。

YourEnvironmentName-WebServer

Airflow ウェブインターフェイスが生成するログ。

YourEnvironmentName-Worker

ワークフローと DAG 実行の一部として生成されたログ。

Apache Airflow ログを有効にする

Apache Airflow ログは INFO、WARNING、ERROR または CRITICAL レベルで有効にできます。ログレベルを選択すると、Amazon MWAA はそのレベルとそれ以上の重要度レベルのすべてのログを送信します。例えば、 INFOレベルでログを有効にすると、Amazon MWAA はINFOログと WARNING、ERROR、 CRITICALログレベルを CloudWatch Logs に送信します。

  1. Amazon MWAA コンソールで「環境ページ」を開きます。

  2. 環境を選択します。

  3. [編集] を選択します。

  4. [次へ] をクリックします。

  5. 以下のロギングオプションのうち 1 つ以上を選択します。

    1. [モニタリング] ペインで [Airflow スケジューラーロググループ] を選択します。

    2. [監視] ペインで [Airflow ウェブサーバーのロググループ] を選択します。

    3. [監視] ペインで [Airflow ワーカーロググループ] を選択します。

    4. [監視] ペインで [Airflow DAG 処理ロググループ] を選択します。

    5. [監視] ペインで [Airflow タスクロググループ] を選択します。

    6. [ログレベル] でログレベルを選択します。

  6. [次へ] をクリックします。

  7. [保存] を選択します。

Apache Airflow ログを表示する

次のセクションでは、コンソールで Apache Airflow ログを表示する方法について説明します CloudWatch 。

  1. Amazon MWAA コンソールで「環境ページ」を開きます。

  2. 環境を選択します。

  3. [モニタリング] ペインでロググループを選択します。

  4. ログストリームを選択します。

スケジューラーログの例

ワークフローのスケジュール設定と dags フォルダーの解析を行うスケジューラーの Apache Airflow ログを表示できます。次の手順では、Amazon MWAA コンソールでスケジューラのロググループを開き、Logs コンソールで Apache Airflow CloudWatch ログを表示する方法について説明します。

requirements.txt のログを表示するには

  1. Amazon MWAA コンソールで「環境ページ」を開きます。

  2. 環境を選択します。

  3. モニタリングペインで Airflow スケジューラーロググループを選択します。

  4. [ログストリーム] requirements_install_ipのログを選択します。

  5. /usr/local/airflow/.local/bin で環境にインストールされたパッケージのリストが表示されるはずです。例:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. パッケージのリストを確認し、インストール中にエラーが発生したパッケージがないか確認してください。何か問題が発生した場合、以下のようなエラーが表示されることがあります。

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

次のステップ