檢視 AWS Glue 任務的持續記錄 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

檢視 AWS Glue 任務的持續記錄

您可以使用 AWS Glue 主控台或 Amazon CloudWatch 主控台檢視即時日誌。

使用 AWS Glue 主控台儀表板檢視即時日誌
  1. 登入 AWS Management Console 並在 開啟 AWS Glue 主控台https://console.aws.amazon.com/glue/

  2. 在導覽窗格中,選擇 Jobs (任務)

  3. 新增或開始現有的任務。選擇 Action (動作)Run job (執行任務)

    當您開始執行任務時,請導覽到頁面,其中包含有關執行中任務的資訊:

    • Logs (日誌) 標籤會顯示較舊的彙總應用程式日誌 。

    • Continuous logging (連續記錄) 索引標籤會在任務搭配 glueContext 初始化執行時顯示即時進度列。

    • 持續記錄索引標籤也包含驅動程式日誌,可擷取即時 Apache Spark 驅動程式日誌,以及任務執行時使用應用程式記錄器記錄的指令碼中的 AWS Glue 應用程式日誌。

  4. 對於較舊的任務,您也可以在 Job History (任務歷史記錄) 檢視中透過選擇 Logs (日誌) 來檢視即時日誌。此動作會帶您前往 CloudWatch 主控台,其中顯示該任務執行的所有 Spark 驅動程式、執行器和進度列日誌串流。

使用 CloudWatch 主控台儀表板檢視即時日誌
  1. 在 開啟 CloudWatch 主控台https://console.aws.amazon.com/cloudwatch/

  2. 在導覽窗格中,選擇 Log (日誌)

  3. 選擇 /aws-glue/jobs/error/ 日誌群組。

  4. Filter (篩選條件) 方塊中,貼上任務執行 ID。

    您可以檢視驅動程式日誌、執行器日誌,以及進度列 (如果使用 Standard filter (標準篩選條件))。