AWS Glue ジョブの連続ログ記録

AWS Glue は、AWS Glue ジョブのリアルタイム連続ログ記録を提供します。ドライバーログ、エグゼキュターログ、および Apache Spark ジョブの進行状況バーを含む、Amazon CloudWatch のリアルタイムの Apache Spark ジョブログを表示できます。リアルタイムのログを表示すると、実行中のジョブについてより的確に把握することができます。

AWS Glue ジョブを開始すると、Spark アプリケーションの実行開始後、(各エグゼキュターが終了するまで 5 秒ごとに) リアルタイムのログ記録情報が CloudWatch に送信されます。このログは、AWS Glue コンソールまたは CloudWatch コンソールダッシュボードで表示できます。

この連続ログ記録機能には、次の機能が含まれます。

連続ログ記録が AWS Glue バージョン 2.0 でサポートされる方法の詳細については、「Running Spark ETL Jobs with Reduced Startup Times」を参照してください。

IAM ロールがログを読み取るために CloudWatch ロググループまたはストリームへのアクセスを制限できます。アクセスの制限の詳細については、CloudWatch のドキュメントを「CloudWatch Logs でのアイデンティティベースのポリシー (IAM ポリシー) の使用」を参照してください。