Format file IIS log kueri - Amazon Athena
Buat tabel di Athena untuk file log IISContoh kueri pilih format IIS log

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Format file IIS log kueri

Berbeda dengan format diperpanjang W3C, format file IIS log memiliki seperangkat bidang tetap dan menyertakan koma sebagai pembatas. LazySimpleSerDe Perlakukan koma sebagai pembatas dan spasi setelah koma sebagai awal bidang berikutnya.

Contoh berikut menunjukkan data sampel dalam format file IIS log.

203.0.113.15, -, 2020-02-24, 22:48:38, W3SVC2, SERVER5, 198.51.100.4, 254, 501, 488, 200, 0, GET, /index.htm, -, 
203.0.113.4, -, 2020-02-24, 22:48:39, W3SVC2, SERVER6, 198.51.100.6, 147, 411, 388, 200, 0, GET, /about.html, -, 
203.0.113.11, -, 2020-02-24, 22:48:40, W3SVC2, SERVER7, 198.51.100.18, 170, 531, 468, 200, 0, GET, /image.png, -, 
203.0.113.8, -, 2020-02-24, 22:48:41, W3SVC2, SERVER8, 198.51.100.14, 125, 711, 868, 200, 0, GET, /intro.htm, -,

Buat tabel di Athena untuk file log IIS

Untuk menanyakan IIS log format file log Anda di Amazon S3, Anda terlebih dahulu membuat skema tabel sehingga Athena dapat membaca data log.

Untuk membuat tabel di Athena untuk IIS log format file log

  1. Buka konsol Athena di https://console.aws.amazon.com/athena/.

  2. Tempelkan DDL pernyataan berikut ke konsol Athena, perhatikan poin-poin berikut:

    1. Untuk menentukan pembatas koma, gunakan FIELDS TERMINATED BY ','.

    2. Ubah nilai di LOCATION 's3://amzn-s3-demo-bucket/iis-log-file-folder/' untuk menunjuk ke file IIS log format log Anda di Amazon S3.

    CREATE EXTERNAL TABLE `iis_format_logs`(
client_ip_address string,
user_name string,
request_date string,
request_time string,
service_and_instance string,
server_name string,
server_ip_address string,
time_taken_millisec string,
client_bytes_sent string,
server_bytes_sent string,
service_status_code string,
windows_status_code string,
request_type string,
target_of_operation string,
script_parameters string
   )
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ','
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://amzn-s3-demo-bucket/iis-log-file-folder/'

  3. jalankan kueri di konsol Athena untuk mendaftarkan tabel iis_format_logs. Saat permintaan selesai, log siap bagi Anda untuk mengkueri dari Athena.

Contoh kueri pilih format IIS log

Contoh kueri berikut memilih tanggal permintaan, permintaan waktu, permintaan target, dan waktu yang dibutuhkan dalam milidetik dari tabel iis_format_logs. Filter WHERE klausa untuk kasus di mana jenis permintaan GET dan kode HTTP status 200 (berhasil). Dalam kueri, perhatikan bahwa spasi utama masuk ' GET' dan ' 200' diperlukan untuk membuat kueri berhasil. 

SELECT request_date, request_time, target_of_operation, time_taken_millisec
FROM iis_format_logs
WHERE request_type = ' GET' AND service_status_code = ' 200'

Gambar berikut menunjukkan hasil kueri data sampel.

Contoh hasil kueri di Athena dari file log format file IIS log file log yang disimpan di Amazon S3.