本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
主題
中的可用 Spark 指標 AWS Glue Studio
Metrics (指標) 索引標籤會顯示在任務執行時和分析功能開啟時,所收集到的指標。Spark 任務中會顯示下列圖表:
ETL 資料移動
記憶體使用狀況:驅動程式和執行器
選擇 View additional metrics (檢視其他指標),來顯示下列的圖表:
ETL 資料移動
記憶體使用狀況:驅動程式和執行器
在執行器之間的資料隨機移動
CPU 負載:驅動程式和執行器
任務執行:運作中的執行器、已完成的階段和所需執行器的數量上限
如果任務已啟用收集指標,則這些圖表的資料會推送到 CloudWatch 指標。如需如何開啟指標和解讀圖表的詳細資訊,請參閱 任務監控與偵錯。
範例 ETL 資料移動圖表
ETL 資料移動圖表顯示下列指標:
所有執行器從 Amazon S3 讀取的位元組數量—glue.ALL.s3.filesystem.read_bytes
-
所有執行器寫入至 Amazon S3 位元組數量—glue.ALL.s3.filesystem.write_bytes

範例 記憶體使用狀況圖表
記憶體使用狀況圖表顯示下列指標:
此驅動程式的 JVM 堆疊所使用的記憶體佔比 (比例:0-1),依驅動程式、由 executorId 所辨識的執行器,或所有執行器劃分 —

範例 執行器之間的資料隨機移動圖表
執行器之間的資料隨機移動圖表顯示下列指標:
所有執行器讀取的位元組數量 (以在這些執行器之間隨機移動資料) — glue.driver.aggregate.shuffleLocalBytesRead
-
所有執行器寫入的位元組數量 (以在這些執行器之間隨機移動資料) — glue.driver.aggregate.shuffleBytesWritten

範例 CPU 負載圖表
CPU 負載圖表顯示下列指標:
驅動程式、由 executorId 所辨識的執行器,或所有執行器使用的 CPU 系統負載佔比 (比例:0-1) —

範例 任務執行圖表
任務執行圖表顯示下列指標:
