View a markdown version of this page

Analisis pola - CloudWatch Log Amazon
Memulai dengan analisis polaDetail tentang perintah pola

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Analisis pola

CloudWatch Logs Insights menggunakan algoritma pembelajaran mesin untuk menemukan pola saat Anda menanyakan log Anda. Pola adalah struktur teks bersama yang berulang di antara bidang log Anda. Saat Anda melihat hasil kueri, Anda dapat memilih tab Pola untuk melihat pola yang ditemukan CloudWatch Log berdasarkan sampel hasil Anda. Atau, Anda dapat menambahkan pattern perintah ke kueri Anda untuk menganalisis pola di seluruh rangkaian peristiwa log yang cocok.

Pola berguna untuk menganalisis kumpulan log besar karena sejumlah besar peristiwa log sering dapat dikompresi menjadi beberapa pola.

Pertimbangkan contoh berikut dari tiga peristiwa log.

2023-01-01 19:00:01 [INFO] Calling DynamoDB to store for resource id 12342342k124-12345
2023-01-01 19:00:02 [INFO] Calling DynamoDB to store for resource id 324892398123-12345
2023-01-01 19:00:03 [INFO] Calling DynamoDB to store for resource id 3ff231242342-12345

Dalam contoh sebelumnya, ketiga peristiwa log mengikuti satu pola:

<Time-1> [INFO] Calling DynamoDB to store for resource id <ID-2>

Bidang dalam pola disebut token. Bidang yang bervariasi dalam suatu pola, seperti ID permintaan atau stempel waktu, adalah token dinamis. Setiap token dinamis diwakili oleh<string-number>. Ini string adalah deskripsi jenis data yang diwakili oleh token. Ini number menunjukkan di mana dalam pola token ini muncul, dibandingkan dengan token dinamis lainnya.

Contoh umum token dinamis termasuk kode kesalahan, stempel waktu, dan ID permintaan. Nilai token mewakili nilai tertentu dari token dinamis. Misalnya, jika token dinamis mewakili kode kesalahan HTTP, maka nilai token bisa jadi501.

Deteksi pola juga digunakan dalam detektor anomali CloudWatch Logs dan membandingkan fitur. Untuk informasi selengkapnya, lihat Deteksi anomali log dan Bandingkan (diff) dengan rentang waktu sebelumnya.

Memulai dengan analisis pola

Deteksi pola dilakukan secara otomatis dalam kueri Log CloudWatch s Insights apa pun. Kueri yang tidak menyer pattern takan perintah mendapatkan peristiwa log dan pola dalam hasil.

Jika Anda menyertakan pattern perintah dalam kueri Anda, analisis pola dilakukan pada seluruh rangkaian peristiwa log yang cocok. Ini memberi Anda hasil pola yang lebih akurat, tetapi peristiwa log mentah tidak dikembalikan saat Anda menggunakan pattern perintah. Ketika kueri tidak disertakanpattern, hasil pola didasarkan pada 1000 peristiwa log pertama yang dikembalikan, atau pada nilai batas yang Anda gunakan dalam kueri Anda. Jika Anda menyertakan pattern dalam kueri, maka hasil yang ditampilkan di tab Pola dit urunkan dari semua peristiwa log yang dicocokkan oleh kueri.

Untuk memulai analisis pola di CloudWatch Logs Insights

  1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

  2. Di panel navigasi, pilih Log, Logs Insights.

    Pada halaman Logs Insights, editor kueri berisi kueri default yang mengembalikan 20 peristiwa log terbaru.

  3. Hapus | limit 20 baris di kotak kueri, sehingga kueri terlihat seperti berikut:

    fields @timestamp, @message, @logStream, @log
| sort @timestamp desc

  4. Di tar ik-turun Pilih grup log, pilih satu atau beberapa grup log untuk ditanyakan.

  5. (Opsional) Gunakan pemilih interval waktu untuk memilih periode waktu yang ingin Anda kueri.

    Anda dapat memilih antara interval 5 menit dan 30 menit; interval 1 jam, 3 jam, dan 12 jam; atau kerangka waktu khusus.

  6. Pilih J alankan kueri untuk memulai kueri.

    Ketika kueri selesai berjalan, tab Logs menampilkan tabel peristiwa log yang dikembalikan oleh kueri. Di atas tabel adalah pesan tentang berapa banyak catatan yang cocok dengan kueri, mirip dengan Men ampilkan 10.000 dari 71,101 catatan yang cocok.

  7. Pilih tab Pola.

  8. Tabel sekarang menampilkan pola yang ditemukan dalam kueri. Karena kueri tidak menyertakan pattern perintah, tab ini hanya menampilkan pola yang ditemukan di antara 10.000 peristiwa log yang ditampilkan dalam tabel di tab Log.

    Untuk setiap pola, informasi berikut ditampilkan:

    • P ola, dengan setiap token dinamis ditampilkan sebagai<string-number>. Ini string adalah deskripsi jenis data yang diwakili oleh token. Ini number menunjukkan di mana dalam pola token ini muncul, dibandingkan dengan token dinamis lainnya.

    • Jumlah peristiwa, yang merupakan berapa kali pola muncul dalam peristiwa log yang ditanyakan. Pilih judul kolom Event count untuk mengurutkan pola berdasarkan frekuensi.

    • Rasio peristiwa, yang merupakan persentase peristiwa log yang ditanyakan yang berisi pola ini.

    • Jenis ke parahan, yang akan menjadi salah satu dari berikut ini:

      • ER ROR jika pola berisi kata Er ror.

      • PER INGATAN jika pola berisi kata War n tetapi tidak mengandung Er ror.

      • INFO jika pola tidak mengandung Peringatan atau Kes alahan.

      Pilih judul kolom info tingkat keparahan untuk mengurutkan pola berdasarkan tingkat keparahan.

  9. Sekarang ubah kueri. Ganti | sort @timestamp desc baris dalam kueri dengan| pattern @message, sehingga kueri lengkapnya adalah sebagai berikut:

    fields @timestamp, @message, @logStream, @log
| pattern @message

  10. Pilih Run query (Jalankan kueri).

    Ketika kueri selesai, tidak ada hasil di tab Log. Namun, tab Pola kemungkinan memiliki jumlah pola yang lebih besar yang terdaftar, tergantung pada jumlah total peristiwa log yang ditanyakan.

  11. Terlepas dari apakah Anda menyertakan pattern dalam kueri Anda, Anda dapat memeriksa lebih lanjut pola yang dikembalikan kueri. Untuk melakukannya, pilih ikon di kolom Inspect untuk salah satu pola.

    Panel Pattern In spect muncul dan menampilkan yang berikut ini:

    • P ola. Pilih token dalam pola untuk menganalisis nilai token itu.

    • Histogram yang menunjukkan jumlah kemunculan pola selama rentang waktu yang ditanyakan. Ini dapat membantu Anda mengidentifikasi tren menarik seperti peningkatan tiba-tiba dalam terjadinya suatu pola.

    • Tab sampel log menampilkan beberapa peristiwa log yang cocok dengan pola yang dipilih.

    • Tab Token Values menampilkan nilai token dinamis yang dipilih, jika Anda telah memilihnya.

      catatan

      Maksimal 10 nilai token ditangkap untuk setiap token. Jumlah token mungkin tidak tepat. CloudWatch Log menggunakan penghitung probabilistik untuk menghasilkan jumlah token, bukan nilai absolut.

    • Tab Pola terkait menampilkan pola lain yang sering terjadi hampir bersamaan dengan pola yang Anda periksa. Misalnya, jika pola untuk ERROR pesan biasanya disertai dengan peristiwa log lain yang ditandai INFO dengan detail tambahan, pola itu ditampilkan di sini.

Detail tentang perintah pola

Bagian ini berisi rincian lebih lanjut tentang pattern perintah dan penggunaannya.

  • Dalam tutorial sebelumnya, kami menghapus sort perintah ketika kami menambahkan pattern karena kueri tidak valid jika menyertakan pattern perintah setelah sort perintah. Adalah valid untuk memiliki pattern sebelum asort.

    Untuk detail selengkapnya tentang pattern sintaks, lihatpola.

  • Ketika Anda menggunakan pattern dalam kueri, @message harus salah satu bidang yang dipilih dalam pattern perintah.

  • Anda dapat menyertakan filter perintah sebelum pattern perintah untuk menyebabkan hanya kumpulan peristiwa log yang difilter untuk digunakan sebagai masukan untuk analisis pola.

  • Untuk melihat hasil pola untuk bidang tertentu, seperti bidang yang diturunkan dari parse perintah, gunakanpattern @fieldname.

  • Kueri dengan output non-log, seperti kueri dengan stats perintah, tidak mengembalikan hasil pola.