Amazon Managed Workflows for Apache Airflow のトラブルシューティング
このトピックでは、Amazon Managed Workflows for Apache Airflow で Apache Airflow を使用する際に発生する可能性のある一般的な問題とエラー、およびこれらのエラーを解決するための推奨手順について説明します。
目次
- トラブルシューティング: Apache Airflow v2 の DAGs、オペレータ、接続、およびその他の問題
- トラブルシューティング: Apache Airflow v1 の DAGs、オペレータ、接続、およびその他の問題
- トラブルシューティング:Amazon MWAA 環境の作成と更新
- requirements.txt の更新
- プラグイン
- バケットを作成する
- 環境を作成する
- 環境を作成しようとしましたが、「作成中」の状態のままです。
- 環境を作成しようとしましたが、ステータスが「Create failed」と表示されます。
- VPC を選択したときに「ネットワーク障害」エラーが表示されました
- 環境を作成したときに、サービス、パーティション、またはリソースに「渡さなければなりません」というエラーが表示されました。
- 環境を作成しようとしたところ、ステータスが「使用可能」と表示されているのに、Airflow UI にアクセスしようとすると、「サーバーからの返信が空です」または「502 Bad ゲートウェイ」というエラーが表示されます。
- ユーザー名がランダムな文字名の集まりになっている環境を作成しようとしました
- update-environment
- アクセス環境
- トラブルシューティング:CloudWatch ログ記録と CloudTrail のエラー
- ログ
- タスクログが表示されないか、「Cloudwatch log_group からリモートログを読み取っています」というエラーが表示されます。
- ログなしでタスクが失敗しました
- CloudTrail に「リソースはすでに存在している例外」というエラーが表示されます
- CloudTrail に「リクエストが無効です」というエラーが表示されます。
- Apache Airflow ログに「64 ビット Oracle クライアントライブラリが見つかりませんでした:「libclntsh.so: 共有オブジェクトファイルを開くことができません:そのようなファイルまたはディレクトリはありません」と表示されます。
- ディスパッチャのログに psycopg2 「サーバが接続を誤って閉じました」とあります。
- 「タスクインスタンス %s が完了したと Executor から報告されました(%s)。ただし、タスクは DAG 処理ログに %s 表示されています。」が表示されました。
- 「log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log からリモートログを読み込めませんでした」と表示されました。自分のタスクログ
- ログ
