Kueri format file log IIS

Mode fokus

Kueri format file log IIS - Amazon Athena

Buat tabel di Athena untuk file log IIS Contoh kueri pilih format log IIS

Berbeda dengan format W3C extended, format berkas log IIS memiliki seperangkat bidang tetap dan termasuk koma sebagai pembatas. LazySimpleSerDe Perlakukan koma sebagai pembatas dan spasi setelah koma sebagai awal bidang berikutnya.

Contoh berikut menunjukkan data sampel dalam format berkas log IIS.


203.0.113.15, -, 2020-02-24, 22:48:38, W3SVC2, SERVER5, 198.51.100.4, 254, 501, 488, 200, 0, GET, /index.htm, -, 
203.0.113.4, -, 2020-02-24, 22:48:39, W3SVC2, SERVER6, 198.51.100.6, 147, 411, 388, 200, 0, GET, /about.html, -, 
203.0.113.11, -, 2020-02-24, 22:48:40, W3SVC2, SERVER7, 198.51.100.18, 170, 531, 468, 200, 0, GET, /image.png, -, 
203.0.113.8, -, 2020-02-24, 22:48:41, W3SVC2, SERVER8, 198.51.100.14, 125, 711, 868, 200, 0, GET, /intro.htm, -,

Buat tabel di Athena untuk file log IIS

Untuk kueri log format berkas log IIS Anda di Amazon S3, Anda pertama kali membuat skema tabel sehingga Athena dapat membaca data log.

Untuk membuat tabel di Athena untuk log format berkas log IIS

Buka konsol Athena di https://console.aws.amazon.com/athena/.

Paste pernyataan DDL berikut ke konsol Athena, mencatat poin-poin berikut:

Untuk menentukan pembatas koma, gunakan FIELDS TERMINATED BY ','.
Ubah nilai di LOCATION 's3://amzn-s3-demo-bucket/ iis-log-file-folder /' untuk menunjuk ke file log format log IIS Anda di Amazon S3.


CREATE EXTERNAL TABLE `iis_format_logs`(
client_ip_address string,
user_name string,
request_date string,
request_time string,
service_and_instance string,
server_name string,
server_ip_address string,
time_taken_millisec string,
client_bytes_sent string,
server_bytes_sent string,
service_status_code string,
windows_status_code string,
request_type string,
target_of_operation string,
script_parameters string
   )
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ','
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://amzn-s3-demo-bucket/iis-log-file-folder/'

jalankan kueri di konsol Athena untuk mendaftarkan tabel iis_format_logs. Saat permintaan selesai, log siap bagi Anda untuk mengkueri dari Athena.

Contoh kueri pilih format log IIS

Contoh kueri berikut memilih tanggal permintaan, permintaan waktu, permintaan target, dan waktu yang dibutuhkan dalam milidetik dari tabel iis_format_logs. Klausa WHERE memfilter untuk kasus dengan tipe permintaan adalah GET dan kode status HTTP adalah 200 (berhasil). Dalam kueri, perhatikan bahwa spasi utama masuk ' GET' dan ' 200' diperlukan untuk membuat kueri berhasil.


SELECT request_date, request_time, target_of_operation, time_taken_millisec
FROM iis_format_logs
WHERE request_type = ' GET' AND service_status_code = ' 200'

Gambar berikut menunjukkan hasil kueri data sampel.