Buat dan kueri tabel dasar berdasarkan file EMR log Amazon - Amazon Athena
Kueri contoh

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat dan kueri tabel dasar berdasarkan file EMR log Amazon

Contoh berikut membuat tabel dasar,myemrlogs, berdasarkan berkas log yang disimpan kes3://aws-logs-123456789012-us-west-2/elasticmapreduce/j-2ABCDE34F5GH6/elasticmapreduce/. Lokasi Amazon S3 yang digunakan dalam contoh di bawah ini mencerminkan pola lokasi log default untuk EMR klaster yang dibuat oleh akun Amazon Web Services 123456789012 di Wilayah us-west-2. Jika Anda menggunakan lokasi khusus, polanya adalah s3://amzn-s3-demo-bucket/ClusterID.

Untuk informasi tentang cara membuat tabel dipartisi untuk berpotensi meningkatkan performa permintaan dan mengurangi transfer data, lihatMembuat dan menanyakan tabel yang dipartisi berdasarkan log Amazon EMR.

CREATE EXTERNAL TABLE `myemrlogs`(
  `data` string COMMENT 'from deserializer')
ROW FORMAT DELIMITED  
FIELDS TERMINATED BY '|'
LINES TERMINATED BY '\n'
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://aws-logs-123456789012-us-west-2/elasticmapreduce/j-2ABCDE34F5GH6'

Kueri contoh

Contoh kueri berikut dapat dijalankan padamyemrlogstabel yang dibuat oleh contoh sebelumnya.

contoh — Log langkah kueri untuk kemunculanERROR,,WARN,INFO, EXCEPTIONFATAL, atau DEBUG
SELECT data,
        "$PATH"
FROM "default"."myemrlogs"
WHERE regexp_like("$PATH",'s-86URH188Z6B1')
        AND regexp_like(data, 'ERROR|WARN|INFO|EXCEPTION|FATAL|DEBUG') limit 100;
contoh — Kueri log contoh tertentu, i-00b3c0a839ece0a9c, untuk,,,, atau ERROR WARN INFO EXCEPTION FATAL DEBUG
SELECT "data",
        "$PATH" AS filepath
FROM "default"."myemrlogs"
WHERE regexp_like("$PATH",'i-00b3c0a839ece0a9c')
        AND regexp_like("$PATH",'state')
        AND regexp_like(data, 'ERROR|WARN|INFO|EXCEPTION|FATAL|DEBUG') limit 100;
contoh — Log aplikasi presto kueri untukERROR,WARN,INFO,, EXCEPTIONFATAL, atau DEBUG
SELECT "data",
        "$PATH" AS filepath
FROM "default"."myemrlogs"
WHERE regexp_like("$PATH",'presto')
        AND regexp_like(data, 'ERROR|WARN|INFO|EXCEPTION|FATAL|DEBUG') limit 100;
contoh — Log aplikasi Query Namenode untukERROR,WARN,, INFOEXCEPTION, FATAL atau DEBUG
SELECT "data",
        "$PATH" AS filepath
FROM "default"."myemrlogs"
WHERE regexp_like("$PATH",'namenode')
        AND regexp_like(data, 'ERROR|WARN|INFO|EXCEPTION|FATAL|DEBUG') limit 100;
contoh — Kueri semua log berdasarkan tanggal dan jam untukERROR,WARN,INFO,EXCEPTION,FATAL, atau DEBUG
SELECT distinct("$PATH") AS filepath
FROM "default"."myemrlogs"
WHERE regexp_like("$PATH",'2019-07-23-10')
        AND regexp_like(data, 'ERROR|WARN|INFO|EXCEPTION|FATAL|DEBUG') limit 100;