Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengekspor data log ke Amazon S3
Bab ini memberi Anda informasi, sehingga Anda dapat mengekspor data log dari grup log ke bucket Amazon S3 untuk pemrosesan dan analisis kustom, atau memuat ke sistem lain. Anda dapat mengekspor ke ember di akun yang sama atau akun lain.
Anda dapat melakukan tindakan berikut:
-
Ekspor data log ke bucket S3 yang dienkripsi oleh SSE - in () KMS AWS Key Management Service AWS KMS
-
Ekspor data log ke bucket S3 yang mengaktifkan Kunci Objek S3 dengan periode retensi
catatan
Ekspor ke Amazon S3 hanya didukung untuk grup log di kelas log Standar. Untuk informasi selengkapnya tentang kelas log, lihatKelas log.
Kami menyarankan agar Anda tidak secara teratur mengekspor ke Amazon S3 sebagai cara untuk terus mengarsipkan log Anda. Untuk kasus penggunaan itu, kami menyarankan agar Anda menggunakan langganan. Untuk informasi selengkapnya tentang langganan, lihatPemrosesan data log secara real-time dengan langganan.
Untuk memulai proses ekspor, Anda harus membuat bucket S3 untuk menyimpan data log yang diekspor. Anda dapat menyimpan file yang diekspor di bucket S3 dan menentukan aturan siklus hidup Amazon S3 untuk mengarsipkan atau menghapus file yang diekspor secara otomatis.
Anda dapat mengekspor ke bucket S3 yang dienkripsi dengan AES -256 atau dengan -. SSE KMS Mengekspor ke ember yang dienkripsi dengan DSSE - KMS tidak didukung.
Anda dapat mengekspor log dari beberapa grup log atau beberapa rentang waktu ke bucket S3 yang sama. Untuk memisahkan data log untuk setiap tugas ekspor, Anda dapat menentukan prefiks yang akan digunakan sebagai prefiks kunci Amazon S3 untuk semua objek yang diekspor.
catatan
Penyortiran berbasis waktu pada potongan data log di dalam file yang diekspor tidak dijamin. Anda dapat mengurutkan data bidang log yang diekspor dengan menggunakan utilitas Linux. Misalnya, perintah utilitas berikut mengurutkan peristiwa di semua .gz file dalam satu folder.
find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
Perintah utilitas berikut mengurutkan file.gz dari beberapa subfolder.
find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
Selain itu, Anda dapat menggunakan stdout perintah lain untuk menyalurkan output yang diurutkan ke file lain untuk menyimpannya.
Data log dapat memakan waktu hingga 12 jam agar tersedia untuk diekspor. Waktu tugas ekspor habis setelah 24 jam. Jika tugas ekspor Anda habis waktu, kurangi rentang waktu saat Anda membuat tugas ekspor.
Untuk analisis data log secara hampir waktu nyata, lihat Menganalisis data log dengan Wawasan CloudWatch Log atau Pemrosesan data log secara real-time dengan langganan.
Daftar Isi
Konsep
Sebelum Anda mulai, pahami konsep ekspor berikut:
- nama grup log
-
Nama grup log yang terkait dengan tugas ekspor. Data log dalam grup log ini akan diekspor ke bucket S3 yang ditentukan.
- dari (stempel waktu)
-
Stempel waktu yang diperlukan dinyatakan sebagai jumlah milidetik sejak 1 Jan 1970 00:00:00. UTC Semua peristiwa log dalam grup log yang tertelan pada atau setelah waktu ini akan diekspor.
- ke (stempel waktu)
-
Stempel waktu yang diperlukan dinyatakan sebagai jumlah milidetik sejak 1 Jan 1970 00:00:00. UTC Semua log acara dalam grup log yang diserap sebelum waktu ini akan diekspor.
- bucket tujuan
-
Nama bucket S3 yang terkait dengan tugas ekspor. Bucket ini digunakan untuk mengekspor data log dari grup log yang ditentukan.
- prefiks tujuan
-
Atribut opsional yang digunakan sebagai key prefix Amazon S3 untuk semua objek yang diekspor. Ini membantu membuat organisasi mirip folder di bucket Anda.
