監控 AWS Glue Spark 任務 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

監控 AWS Glue Spark 任務

可用的星火指標 AWS Glue Studio

Metrics (指標) 索引標籤會顯示在任務執行時和分析功能開啟時,所收集到的指標。Spark 任務中會顯示下列圖表:

  • ETL 資料移動

  • 記憶體使用狀況:驅動程式和執行器

選擇 View additional metrics (檢視其他指標),來顯示下列的圖表:

  • ETL 資料移動

  • 記憶體使用狀況:驅動程式和執行器

  • 在執行器之間的資料隨機移動

  • CPU 負載:驅動程式和執行器

  • 任務執行:運作中的執行器、已完成的階段和所需執行器的數量上限

如果工作設定為收集 CloudWatch 測量結果,則會將這些圖形的資料推送至測量結果。如需如何開啟指標和解讀圖表的詳細資訊,請參閱 任務監控與偵錯

範例 ETL 資料移動圖表

ETL 資料移動圖表顯示下列指標:

ETL 資料移動圖表 (位於 AWS Glue 主控台的「指標」索引標籤中)。
範例 記憶體使用狀況圖表

記憶體使用狀況圖表顯示下列指標:

記憶體使用狀況圖表 (位於 AWS Glue 主控台的「指標」索引標籤中)。
範例 執行器之間的資料隨機移動圖表

執行器之間的資料隨機移動圖表顯示下列指標:

執行器之間的資料隨機移動圖表 (位於 AWS Glue 主控台的「指標」索引標籤中)。
範例 CPU 負載圖表

CPU 負載圖表顯示下列指標:

CPU 負載圖表 (位於 AWS Glue 主控台的「指標」索引標籤中)。
範例 任務執行圖表

任務執行圖表顯示下列指標:

任務執行圖表 (位於 AWS Glue 主控台的「指標」索引標籤中)。