本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
監控 AWS Glue Spark 任務
主題
可用的星火指標 AWS Glue Studio
Metrics (指標) 索引標籤會顯示在任務執行時和分析功能開啟時,所收集到的指標。Spark 任務中會顯示下列圖表:
ETL 資料移動
記憶體使用狀況:驅動程式和執行器
選擇 View additional metrics (檢視其他指標),來顯示下列的圖表:
ETL 資料移動
記憶體使用狀況:驅動程式和執行器
在執行器之間的資料隨機移動
CPU 負載:驅動程式和執行器
任務執行:運作中的執行器、已完成的階段和所需執行器的數量上限
如果工作設定為收集 CloudWatch 測量結果,則會將這些圖形的資料推送至測量結果。如需如何開啟指標和解讀圖表的詳細資訊,請參閱 任務監控與偵錯。
範例 ETL 資料移動圖表
ETL 資料移動圖表顯示下列指標:
所有執行器從 Amazon S3 讀取的位元組數量—glue.ALL.s3.filesystem.read_bytes
-
所有執行器寫入至 Amazon S3 位元組數量—glue.ALL.s3.filesystem.write_bytes
範例 記憶體使用狀況圖表
記憶體使用狀況圖表顯示下列指標:
此驅動程式的 JVM 堆疊所使用的記憶體佔比 (比例:0-1),依驅動程式、由 executorId 所辨識的執行器,或所有執行器劃分 —
範例 執行器之間的資料隨機移動圖表
執行器之間的資料隨機移動圖表顯示下列指標:
所有執行器讀取的位元組數量 (以在這些執行器之間隨機移動資料) — glue.driver.aggregate.shuffleLocalBytesRead
-
所有執行器寫入的位元組數量 (以在這些執行器之間隨機移動資料) — glue.driver.aggregate.shuffleBytesWritten
範例 CPU 負載圖表
CPU 負載圖表顯示下列指標:
驅動程式、由 executorId 所辨識的執行器,或所有執行器使用的 CPU 系統負載佔比 (比例:0-1) —
範例 任務執行圖表
任務執行圖表顯示下列指標: