查詢IIS記錄檔格式 - Amazon Athena

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

查詢IIS記錄檔格式

與 W3C 延伸格式不同,IIS記錄檔格式具有固定的欄位集,並包含逗號做為分隔符號。會 LazySimpleSerDe 將逗號視為分隔符號,逗號後的空格視為下一個欄位的開頭。

下列範例顯示IIS記錄檔格式的範例資料。

203.0.113.15, -, 2020-02-24, 22:48:38, W3SVC2, SERVER5, 198.51.100.4, 254, 501, 488, 200, 0, GET, /index.htm, -, 203.0.113.4, -, 2020-02-24, 22:48:39, W3SVC2, SERVER6, 198.51.100.6, 147, 411, 388, 200, 0, GET, /about.html, -, 203.0.113.11, -, 2020-02-24, 22:48:40, W3SVC2, SERVER7, 198.51.100.18, 170, 531, 468, 200, 0, GET, /image.png, -, 203.0.113.8, -, 2020-02-24, 22:48:41, W3SVC2, SERVER8, 198.51.100.14, 125, 711, 868, 200, 0, GET, /intro.htm, -,

在 Athena 中為IIS記錄檔建立資料表

若要查詢 Amazon S3 中的日IIS誌檔格式日誌,請先建立表格結構定義,以便 Athena 可以讀取日誌資料。

在 Athena 中為IIS記錄檔格式記錄建立資料表
  1. https://console.aws.amazon.com/athena/ 中開啟 Athena 主控台。

  2. 將下列DDL陳述式貼至 Athena 主控台,注意下列幾點:

    1. 若要指定逗號分隔符號,請使用 FIELDS TERMINATED BY ','

    2. 修改「s3://amzn-s3-demo-bucket/LOCATION」中的值iis-log-file-folder/' 以指向 Amazon S3 中的IIS日誌格式日誌檔。

    CREATE EXTERNAL TABLE `iis_format_logs`( client_ip_address string, user_name string, request_date string, request_time string, service_and_instance string, server_name string, server_ip_address string, time_taken_millisec string, client_bytes_sent string, server_bytes_sent string, service_status_code string, windows_status_code string, request_type string, target_of_operation string, script_parameters string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 's3://amzn-s3-demo-bucket/iis-log-file-folder/'
  3. 在 Athena 主控台中執行查詢來註冊 iis_format_logs 資料表。查詢完成時,您就可以從 Athena 查詢日誌了。

IIS日誌格式選擇查詢示例

下列查詢範例從資料表 iis_format_logs 中選取請求日期、請求時間、請求目標和以毫秒為單位的花費時間。子WHERE句會篩選要求類型為GET且HTTP狀態碼為 200 (成功) 的案例。在查詢中,請注意 ' GET'' 200' 中需要有前置空格,才能使查詢成功。

SELECT request_date, request_time, target_of_operation, time_taken_millisec FROM iis_format_logs WHERE request_type = ' GET' AND service_status_code = ' 200'

下圖顯示範例資料的查詢結果。

Athena 中存放在 Amazon S3 中的IIS日誌檔格式日誌檔案的範例查詢結果。