將日誌資料匯出至 Amazon S3 - Amazon CloudWatch Logs

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將日誌資料匯出至 Amazon S3

本章為您提供資訊,以便您可以將日誌資料從日誌群組匯出至 Amazon S3 儲存貯體,以進行自訂處理和分析,或載入其他系統。您可以匯出到相同帳戶或其他帳戶中的儲存貯體。

您可以執行下列作業:

  • 將日誌資料匯出至 SSE-KMS in AWS Key Management Service (AWS KMS) 加密的 S3 儲存貯體

  • 將日誌資料匯出至啟用 S3 Object Lock 且具有保留期的 S3 儲存貯體。

注意

僅標準日誌類別中的日誌群組支援匯出至 Amazon S3。如需日誌類別的詳細資訊,請參閱 日誌類

若要開始匯出程序,您必須建立一個 S3 儲存貯體來存放匯出的日誌資料。您可以將匯出的檔案存放在 S3 儲存貯體,並定義 Amazon S3 生命週期規則以自動封存或刪除匯出的檔案。

您可以匯出至使用 AES-256 或 SSE- 加密的 S3 儲存貯體KMS。不支援匯出至使用 DSSE-KMS 加密的儲存貯體。

您可以從多個日誌群組或多個時間範圍,將日誌匯出至相同的 S3 儲存貯體。若要為各個匯出任務區隔日誌資料,您可以指定字首做為所有匯出物件的 Amazon S3 金鑰字首 (key prefix)。

注意

無法保證將匯出檔案內的日誌資料塊依時間排序。您可以使用 Linux 公用程式對匯出的日誌欄位資料進行排序。例如,以下公用程式命令會對單一資料夾內所有 .gz 檔案中的事件進行排序。

find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

以下公用程式命令對多個子資料夾內的 .gz 檔案進行排序。

find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

此外,您可以使用另一個 stdout 命令將排序後的輸出傳送到另一個檔案儲存。

日誌資料最長需要 12 個小時才能匯出。匯出任務會在 24 小時後逾時。如果匯出任務逾時,請縮短建立匯出任務時的時間範圍。

如需接近即時的日誌資料分析,請改為參閱使用 Logs Insights 分析 CloudWatch 日誌資料使用訂閱即時處理日誌資料

概念

您開始之前,請熟悉以下匯出概念:

日誌群組名稱

與匯出任務關聯的日誌群組名稱。此日誌群組中的日誌資料將匯出到指定的 S3 儲存貯體。

從 (時間戳記)

必要的時間戳記,表示為自 1970 年 1 月 1 日起的毫秒數 00:00:00 UTC。在此期間或之後擷取的所有日誌事件都會匯出。

至 (時間戳記)

必要的時間戳記,表示為自 1970 年 1 月 1 日起的毫秒數 00:00:00 UTC。此日誌群組中在此時間之前擷取的所有日誌事件都會匯出。

目的地儲存貯體

與匯出任務關聯的 S3 儲存貯體名稱。此儲存貯體用於從指定的日誌群組匯出日誌資料。

目的地前綴

選用的屬性,作為所有匯出物件的 Amazon S3 金鑰前綴。這有助於在您的儲存貯體建立類似資料夾的整理方式。