持續記錄 AWS Glue 任務 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

持續記錄 AWS Glue 任務

AWS Glue 提供即時、持續的 AWS Glue 任務記錄。您可以在 Amazon 中查看實時 Apache Spark 任務日誌 CloudWatch,包括驅動程序日誌,執行程序日誌和 Apache Spark 任務進度條。檢視即時日誌可讓您更了解執行中的任務。

當您啟動AWS Glue作業時,它會在 Spark 應用程式開始執行之後,將即時記錄資訊傳送至 CloudWatch (每個執行程式終止之前每個執行程式終止一次)。您可以在AWS Glue控制台或控制 CloudWatch 台儀表板上查看日誌。

持續記錄功能包含下列功能:

  • 連續記錄

  • 以自訂指令碼記錄器記錄應用程式特定訊息

  • 主控台進度列可追蹤目前 AWS Glue 任務的執行狀態

如需 AWS Glue 2.0 版如何支援連續記錄的資訊,請參閱以縮短的啟動時間執行 Spark ETL 任務

您可以限制 IAM 角色讀取記 CloudWatch 錄群組或串流的存取權限。如需有關限制存取權限的詳細資訊,請參閱文件中的針對 CloudWatch 記錄使用身分型政策 (IAM 政策)。 CloudWatch

注意

當您啟用連續記錄並建立其他記 CloudWatch 錄事件時,可能會產生額外費用。如需詳細資訊,請參閱 Amazon CloudWatch 定價