本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
將日誌資料匯出至 Amazon S3
本章為您提供資訊,以便您可以將日誌資料從日誌群組匯出至 Amazon S3 儲存貯體,以進行自訂處理和分析,或載入其他系統。您可以匯出到相同帳戶或其他帳戶中的儲存貯體。
您可以執行下列作業:
-
將日誌資料匯出至 SSE-KMS in AWS Key Management Service (AWS KMS) 加密的 S3 儲存貯體
-
將日誌資料匯出至啟用 S3 Object Lock 且具有保留期的 S3 儲存貯體。
注意
僅標準日誌類別中的日誌群組支援匯出至 Amazon S3。如需日誌類別的詳細資訊,請參閱 日誌類。
若要開始匯出程序,您必須建立一個 S3 儲存貯體來存放匯出的日誌資料。您可以將匯出的檔案存放在 S3 儲存貯體,並定義 Amazon S3 生命週期規則以自動封存或刪除匯出的檔案。
您可以匯出至使用 AES-256 或 SSE- 加密的 S3 儲存貯體KMS。不支援匯出至使用 DSSE-KMS 加密的儲存貯體。
您可以從多個日誌群組或多個時間範圍,將日誌匯出至相同的 S3 儲存貯體。若要為各個匯出任務區隔日誌資料,您可以指定字首做為所有匯出物件的 Amazon S3 金鑰字首 (key prefix)。
注意
無法保證將匯出檔案內的日誌資料塊依時間排序。您可以使用 Linux 公用程式對匯出的日誌欄位資料進行排序。例如,以下公用程式命令會對單一資料夾內所有 .gz
檔案中的事件進行排序。
find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
以下公用程式命令對多個子資料夾內的 .gz 檔案進行排序。
find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
此外,您可以使用另一個 stdout
命令將排序後的輸出傳送到另一個檔案儲存。
日誌資料最長需要 12 個小時才能匯出。匯出任務會在 24 小時後逾時。如果匯出任務逾時,請縮短建立匯出任務時的時間範圍。
如需接近即時的日誌資料分析,請改為參閱使用 Logs Insights 分析 CloudWatch 日誌資料或使用訂閱即時處理日誌資料。
概念
您開始之前,請熟悉以下匯出概念:
- 日誌群組名稱
-
與匯出任務關聯的日誌群組名稱。此日誌群組中的日誌資料將匯出到指定的 S3 儲存貯體。
- 從 (時間戳記)
-
必要的時間戳記,表示為自 1970 年 1 月 1 日起的毫秒數 00:00:00 UTC。在此期間或之後擷取的所有日誌事件都會匯出。
- 至 (時間戳記)
-
必要的時間戳記,表示為自 1970 年 1 月 1 日起的毫秒數 00:00:00 UTC。此日誌群組中在此時間之前擷取的所有日誌事件都會匯出。
- 目的地儲存貯體
-
與匯出任務關聯的 S3 儲存貯體名稱。此儲存貯體用於從指定的日誌群組匯出日誌資料。
- 目的地前綴
-
選用的屬性,作為所有匯出物件的 Amazon S3 金鑰前綴。這有助於在您的儲存貯體建立類似資料夾的整理方式。