トピック
AWS Glue Studio で使用可能な Spark メトリクス
[Metrics] (メトリクス) タブには、ジョブが実行され実行とプロファイリングが有効になっているときに収集されるメトリクスが表示されます。以下のグラフが Spark ジョブに表示されます。
ETL データ移動
メモリプロファイル: ドライバーおよびエグゼキュター
[View additional metrics (追加のメトリクスの表示)] を選択し、以下のグラフを表示します。
ETL データ移動
メモリプロファイル: ドライバーおよびエグゼキュター
エグゼキュター間のデータシャッフル
CPU 負荷: ドライバーおよびエグゼキュター
ジョブの実行: アクティブなエグゼキュター、完了したステージ、必要な最大エグゼキュター
これらのグラフのデータは、ジョブでメトリクスの収集が有効になっている場合に CloudWatch メトリクスにプッシュされます。メトリクスを有効にしてグラフを解釈する方法の詳細については、「ジョブのモニタリングとデバッグ」を参照してください。
例 ETL データ移動グラフ
ETL データ移動グラフには、以下のメトリクスが表示されます。
すべてのエグゼキュターにより Amazon S3 から読み取られたバイト数 – glue.ALL.s3.filesystem.read_bytes
-
すべてのエグゼキュターにより Amazon S3 に書き込まれたバイト数 – glue.ALL.s3.filesystem.write_bytes
![AWS Glue コンソールの [Metrics] (メトリクス) タブに表示された ETL データ変動のグラフ。](images/job_detailed_etl.png)
例 メモリプロファイルグラフ
メモリプロファイルグラフには、以下のメトリクスが表示されます。
このドライバーの JVM ヒープにより使用されるメモリの割合を、スケール 0～1 で、ドライバーごと、executorId により識別されるエグゼキュターごと、またはすべてのエグゼキュターごとに表示 –
![AWS Glue コンソールの [Metrics] (メトリクス) タブに表示されたメモリプロファイルのグラフ。](images/job_detailed_mem.png)
例 エグゼキュター間のデータシャッフルグラフ
エグゼキュター間でのデータシャッフルグラフには、以下のメトリクスが表示されます。
すべてのエグゼキュター間でデータをシャッフルするためにそれらのエグゼキュターにより読み取られたバイト数 — glue.driver.aggregate.shuffleLocalBytesRead
-
すべてのエグゼキュター間でデータをシャッフルするためにそれらのエグゼキュターにより書き込まれたバイト数 — glue.driver.aggregate.shuffleBytesWritten
![AWS Glue コンソールの [Metrics] (メトリクス) タブに表示されたエグゼキュター間でのデータシャッフルのグラフ。](images/job_detailed_data.png)
例 CPU ロードグラフ
CPU ロードグラフには、以下のメトリクスが表示されます。
使用された CPU システムロードの割合を、スケール 0～1 で、ドライバーごと、executorId により識別されるエグゼキュターごと、またはすべてのエグゼキュターごとに表示 –
![AWS Glue コンソールの [Metrics] (メトリクス) タブに表示された CPU ロードのグラフ。](images/job_detailed_cpu.png)
例 ジョブの実行グラフ
ジョブの実行グラフには、以下のメトリクスが表示されます。
アクティブに実行されているエグゼキュターの数 — glue.driver.ExecutorAllocationManager.executors.numberAllExecutors
完了したステージの数 — glue.aggregate.numCompletedStages
必要なエグゼキュターの最大数 — glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
![AWS Glue コンソールの [Metrics] (メトリクス) タブに表示されたジョブの実行のグラフ。](images/job_detailed_exec.png)
