輪換日誌

Amazon EMR Serverless 可以輪換 Spark 應用程式日誌和事件日誌。日誌輪換有助於解決長時間執行任務的問題，產生可以佔用所有磁碟空間的大型日誌檔案。輪換日誌可協助您節省磁碟儲存並減少任務失敗的數量，因為您磁碟上沒有更多空間。

日誌輪換預設為啟用，且僅適用於 Spark 任務。

Spark 事件日誌

EMR Serverless 不會產生單一事件日誌檔案，而是定期輪換事件日誌，並移除較舊的事件日誌檔案。輪換日誌不會影響上傳至 S3 儲存貯體的日誌。

Spark 應用程式日誌

EMR Serverless 也會輪換驅動程式和執行程式的 Spark 應用程式日誌，例如 stdout和 stderr 檔案。您可以使用 Spark History Server 和 Live UI 連結，在 Studio 中選擇日誌連結來存取最新的日誌檔案。日誌檔案是最新日誌的截斷版本。若要查看較舊的輪換日誌，您必須在儲存日誌時指定 Amazon S3 位置。如需詳細資訊，請參閱使用 Amazon S3 儲存貯體記錄無EMR伺服器。

您可以在下列位置找到最新的日誌檔案。EMR 無伺服器每 15 秒重新整理檔案。這些檔案的範圍從 0 MB 到 128 MB。

<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz

下列位置包含較舊的輪換檔案。每個檔案為 128 MB。

<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz 

相同的行為也適用於 Spark 執行程式。此變更僅適用於 S3 記錄。日誌輪換不會對上傳至 Amazon 的日誌串流引入任何變更 CloudWatch。

EMR 無伺服器 7.1.0 版和更新版本支援串流和批次工作的重試嘗試。如果您已啟用對任務的重試嘗試，EMR則 Serverless 會將字首新增至此類任務的日誌路徑，以便您可以更好地追蹤和區分日誌。此路徑包含所有輪換的日誌。

'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.