メトリクスによる Ray ジョブのモニタリング
AWS Glue Studio と Amazon CloudWatch を使用して、Ray ジョブのモニタリングができます。CloudWatch は、分析が可能にする Ray を使用した AWS Glue から未加工のメトリクスを収集して処理します。これらのメトリクスは AWS Glue Studio コンソールで確認できます。つまり、ジョブの実行をモニタリングできます。
AWS Glue のモニタリング方法についての概要は、「Amazon CloudWatch メトリクスを使用した AWS Glue のモニタリング」を参照してください。AWS Glue で公開されている CloudWatch メトリクスの使用方法についての概要は、「Amazon CloudWatch によるモニタリング」を参照してください。
AWS Glue コンソールで Ray ジョブをモニタリングする
ジョブ実行の詳細ページにある [Run details] セクションには、利用可能なジョブメトリクスを視覚化した、事前構築済みの集計グラフを表示できます。AWS Glue Studio は、ジョブが実行されると、その都度ジョブメトリクスを CloudWatch に送信します。これらを使用することで、クラスターとタスクのプロファイルを作成したり、各ノードに関する詳細情報にアクセスしたりできます。
利用可能なメトリクスグラフの詳細については、「Ray ジョブ実行の Amazon CloudWatch メトリクスを表示」を参照してください。
CloudWatch の Ray ジョブメトリクスの概要
CloudWatch で詳細モニタリングが有効になっている場合、Ray のメトリクスが公開されます。メトリクスは、CloudWatch の Glue/Ray 名前空間に公開されます。
-
インスタンスメトリクス
ジョブに割り当てられたインスタンスの CPU、メモリ、およびディスクの使用率に関するメトリクスを公開します。これらのメトリクスは、
ExecutorId、ExecutorTypeおよびhostなどの特徴で識別されます。これらのメトリクスは、標準 Linux CloudWatch エージェントのメトリクスのサブセットです。CloudWatch のドキュメントで、メトリクスの名前と特徴に関する情報を確認できます。詳細については、「CloudWatch エージェントにより収集されるメトリクス」を参照してください。 -
Ray クラスターメトリクス
スクリプトを実行する Ray プロセスからこの名前空間にメトリクスを転送し、最も重要なものを提供します。使用可能なメトリクスは Ray のバージョンによって異なる場合があります。ジョブで実行されている Ray のバージョンについての詳細は、「AWS Glue バージョン」を参照してください。
Ray はメトリクスをインスタンスレベルで収集します。また、タスクとクラスターのメトリクスも提供します。Ray の基盤となるメトリクス戦略の詳細については、Ray のドキュメントの「Metrics
」を参照してください。
注記
Glue/Job Metrics/ 名前空間に Ray のメトリクスが公開されることはありません。この名前空間は、AWS Glue ETL ジョブにのみ使用されます。
