Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Buat tabel untuk CloudTrail log di Athena menggunakan partisi manual
Anda dapat secara manual membuat tabel untuk file CloudTrail log di konsol Athena, dan kemudian menjalankan kueri di Athena.
Untuk membuat tabel Athena untuk CloudTrail jejak menggunakan konsol Athena
-
Salin dan tempel DDL pernyataan berikut ke editor kueri konsol Athena, lalu modifikasi sesuai dengan kebutuhan Anda. Perhatikan bahwa karena file CloudTrail log bukan merupakan jejak tumpukan API panggilan publik yang diurutkan, bidang dalam file log tidak muncul dalam urutan tertentu.
CREATE EXTERNAL TABLE cloudtrail_logs ( eventversion STRING, useridentity STRUCT< type:STRING, principalid:STRING, arn:STRING, accountid:STRING, invokedby:STRING, accesskeyid:STRING, username:STRING, onbehalfof: STRUCT< userid: STRING, identitystorearn: STRING>, sessioncontext:STRUCT< attributes:STRUCT< mfaauthenticated:STRING, creationdate:STRING>, sessionissuer:STRUCT< type:STRING, principalid:STRING, arn:STRING, accountid:STRING, username:STRING>, ec2roledelivery:string, webidfederationdata: STRUCT< federatedprovider: STRING, attributes: map<string,string>> > >, eventtime STRING, eventsource STRING, eventname STRING, awsregion STRING, sourceipaddress STRING, useragent STRING, errorcode STRING, errormessage STRING, requestparameters STRING, responseelements STRING, additionaleventdata STRING, requestid STRING, eventid STRING, resources ARRAY<STRUCT< arn:STRING, accountid:STRING, type:STRING>>, eventtype STRING, apiversion STRING, readonly STRING, recipientaccountid STRING, serviceeventdetails STRING, sharedeventid STRING, vpcendpointid STRING, vpcendpointaccountid STRING, eventcategory STRING, addendum STRUCT< reason:STRING, updatedfields:STRING, originalrequestid:STRING, originaleventid:STRING>, sessioncredentialfromconsole STRING, edgedevicedetails STRING, tlsdetails STRUCT< tlsversion:STRING, ciphersuite:STRING, clientprovidedhostheader:STRING> ) PARTITIONED BY (region string, year string, month string, day string) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 's3://amzn-s3-demo-bucket/AWSLogs/
Account_ID
/';catatan
Kami menyarankan menggunakan yang
org.apache.hive.hcatalog.data.JsonSerDe
ditunjukkan dalam contoh. Meskipuncom.amazon.emr.hive.serde.CloudTrailSerde
ada, saat ini tidak menangani beberapa CloudTrail bidang yang lebih baru. -
(Opsional) Hapus semua bidang yang tidak diperlukan untuk tabel Anda. Jika Anda hanya perlu membaca satu set kolom tertentu, definisi tabel Anda dapat mengecualikan kolom lainnya.
-
Ubah
s3://amzn-s3-demo-bucket/AWSLogs/
untuk menunjuk ke bucket Amazon S3 yang berisi data log yang ingin Anda kueri. Contoh menggunakanAccount_ID
/LOCATION
nilai log untuk akun tertentu, tetapi Anda dapat menggunakan level kekhususan yang sesuai dengan aplikasi Anda. Sebagai contoh:-
Untuk menganalisis data dari beberapa akun, Anda dapat memutar kembali
LOCATION
specifier untuk menunjukkan semuaAWSLogs
dengan menggunakanLOCATION 's3://amzn-s3-demo-bucket/AWSLogs/'
. -
Untuk menganalisis data dari tanggal, akun, dan Wilayah tertentu, gunakan
LOCATION 's3://amzn-s3-demo-bucket/123456789012/CloudTrail/us-east-1/2016/03/14/'.
-
Untuk menganalisis data aktivitas jaringan alih-alih peristiwa manajemen, ganti
/CloudTrail/
dalamLOCATION
klausa dengan/CloudTrail-NetworkActivity/
.
Menggunakan level tertinggi dalam hirarki objek memberikan fleksibilitas terbesar saat Anda kueri menggunakan Athena.
-
-
Verifikasi bahwa bidang terdaftar dengan benar. Untuk informasi selengkapnya tentang daftar lengkap bidang dalam CloudTrail catatan, lihat konten CloudTrail rekaman.
CREATE TABLE
Pernyataan contoh di Langkah 1 menggunakanSarang JSON SerDe. Dalam contoh, bidang,requestparameters
responseelements
, danadditionaleventdata
terdaftar sebagai tipeSTRING
dalam kueri, tetapi adalah tipeSTRUCT
data yang digunakan dalamJSON. Oleh karena itu, untuk mendapatkan data dari bidang ini, gunakanJSON_EXTRACT
fungsi. Untuk informasi selengkapnya, lihat Ekstrak JSON data dari string. Untuk peningkatan kinerja, contoh mempartisi data berdasarkan Wilayah AWS, tahun, bulan, dan hari. -
Jalankan
CREATE TABLE
pernyataan di konsol Athena. -
MenggunakanALTER TABLE ADD PARTITIONperintah untuk memuat partisi sehingga Anda dapat meminta mereka, seperti dalam contoh berikut.
ALTER TABLE
table_name
ADD PARTITION (region='us-east-1', year='2019', month='02', day='01') LOCATION 's3://amzn-s3-demo-bucket/AWSLogs/Account_ID
/CloudTrail/us-east-1/2019/02/01/
'