Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Berkas log alur
VPCLog Alur mengumpulkan data tentang lalu lintas IP VPC ke dan dari catatan log Anda, mengagregasi catatan tersebut ke berkas log, dan kemudian menerbitkan berkas log ke bucket Amazon S3 dengan interval 5 menit. Beberapa file dapat diterbitkan dan setiap file berkas log dapat berisi beberapa atau semua catatan log alur untuk lalu lintas IP yang dicatat dalam 5 menit sebelumnya.
Dalam Amazon S3, bidang Terakhir diubah untuk berkas log alur menunjukkan tanggal dan waktu di mana file diunggah ke Amazon S3 bucket. Ini lebih lambat dari stempel waktu dalam nama file, dan berbeda dengan jumlah waktu yang dibutuhkan untuk mengunggah file ke bucket Amazon S3.
Format file log
Anda dapat menentukan salah satu format berikut untuk file log. Setiap file dikompresi menjadi satu file Gzip.
-
Teks — Teks biasa. Ini adalah format default.
-
Parket - Apache Parquet adalah format data kolumnar. Kueri pada data dalam format Parket 10 hingga 100 kali lebih cepat dibandingkan dengan kueri pada data dalam teks biasa. Data dalam format Parket dengan kompresi Gzip membutuhkan ruang penyimpanan 20 persen lebih sedikit daripada teks biasa dengan kompresi Gzip.
catatan
Jika data dalam format Parket dengan kompresi Gzip kurang dari 100 KB per periode agregasi, menyimpan data dalam format Parket mungkin memakan lebih banyak ruang daripada teks biasa dengan kompresi Gzip karena persyaratan memori file Parket.
Opsi file log
Anda dapat secara opsional menentukan opsi berikut ini.
-
Awalan S3 yang kompatibel dengan HIVE - Aktifkan awalan yang kompatibel dengan HIVE alih-alih mengimpor partisi ke alat yang kompatibel dengan HIVE Anda. Sebelum Anda menjalankan kueri, gunakan MSCK REPAIR TABLE perintah.
-
Partisi per jam - Jika Anda memiliki volume log yang besar dan biasanya menargetkan kueri ke jam tertentu, Anda bisa mendapatkan hasil yang lebih cepat dan menghemat biaya kueri dengan mempartisi log setiap jam.
Struktur bucket S3 berkas log
Berkas log disimpan ke bucket Amazon S3 tertentu menggunakan struktur folder yang didasarkan pada opsi ID, Wilayah, tanggal pembuatan, dan tujuan log alur.
Secara default, file dikirim ke lokasi berikut.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/Jika Anda mengaktifkan awalan S3 yang kompatibel dengan HIVE, file akan dikirim ke lokasi berikut.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/Jika Anda mengaktifkan partisi per jam, file dikirim ke lokasi berikut.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/Jika Anda mengaktifkan partisi yang kompatibel dengan HIVE dan mempartisi log aliran per jam, file dikirim ke lokasi berikut.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/Nama file log
Nama file file log didasarkan pada ID log aliran, Wilayah, dan tanggal dan waktu pembuatan. Nama file menggunakan format berikut.
aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gzBerikut ini adalah contoh file log untuk log alur yang dibuat oleh AWS akun 123456789012, untuk sumber daya di us-east-1 Wilayah, di June 20, 2018 pada 16:20 UTC. File berisi catatan log alur dengan waktu akhir antara 16:20:00 and 16:24:59.
123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gz