Menganalisis log dengan Wawasan CloudWatch Log - Layanan Terkelola untuk Apache Flink
Jalankan kueri sampelTinjau contoh kueri

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menganalisis log dengan Wawasan CloudWatch Log

Setelah menambahkan opsi CloudWatch pencatatan ke aplikasi seperti yang dijelaskan di bagian sebelumnya, Anda dapat menggunakan Wawasan CloudWatch Log untuk menanyakan aliran log Anda untuk peristiwa atau kesalahan tertentu.

CloudWatch Logs Insights memungkinkan Anda untuk secara interaktif mencari dan menganalisis data log Anda di CloudWatch Log.

Untuk informasi tentang memulai Wawasan CloudWatch Log, lihat Menganalisis Data Log dengan Wawasan CloudWatch Log.

Jalankan kueri sampel

Bagian ini menjelaskan cara menjalankan contoh kueri Wawasan CloudWatch Log.

Prasyarat

  • Grup log dan aliran log yang ada disiapkan di CloudWatch Log.

  • Log yang ada disimpan di CloudWatch Log.

Jika Anda menggunakan layanan seperti AWS CloudTrail, Amazon Route 53, atau AmazonVPC, Anda mungkin sudah menyiapkan log dari layanan tersebut untuk masuk ke CloudWatch Log. Untuk informasi selengkapnya tentang mengirim CloudWatch log ke Log, lihat Memulai dengan CloudWatch Log.

Kueri dalam Wawasan CloudWatch Log mengembalikan sekumpulan bidang dari peristiwa log, atau hasil agregasi matematis atau operasi lain yang dilakukan pada peristiwa log. Bagian ini menunjukkan kueri yang mengembalikan daftar log acara.

Untuk menjalankan kueri sampel Wawasan CloudWatch Log

  1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

  2. Di panel navigasi, pilih Insights (Wawasan).

  3. Editor kueri di dekat bagian atas layar berisi kueri default yang mengembalikan 20 log acara terbaru. Di atas editor kueri, pilih satu grup log yang akan dikueri.

    Saat Anda memilih grup CloudWatch log, Wawasan Log secara otomatis mendeteksi bidang dalam data dalam grup log dan menampilkannya di bidang Ditemukan di panel kanan. Panel ini juga menampilkan grafik batang log acara dalam grup log ini dari waktu ke waktu. Grafik batang ini menunjukkan distribusi peristiwa dalam grup log yang sesuai dengan kueri dan rentang waktu Anda, bukan hanya peristiwa yang ditampilkan dalam tabel.

  4. Pilih Run query (Jalankan kueri).

    Hasil kueri muncul. Dalam contoh ini, hasilnya adalah 20 log acara terbaru dari tipe apa pun.

  5. Untuk melihat semua bidang untuk salah satu log acara yang ditampilkan, pilih panah di sebelah kiri log acara tersebut.

Untuk informasi selengkapnya tentang cara menjalankan dan memodifikasi kueri Wawasan CloudWatch Log, lihat Menjalankan dan Memodifikasi Kueri Contoh.

Tinjau contoh kueri

Bagian ini berisi kueri contoh Wawasan CloudWatch Log untuk menganalisis Layanan Terkelola untuk log aplikasi Apache Flink. Kueri ini mencari beberapa contoh kondisi kesalahan, dan berfungsi sebagai templat untuk menulis kueri yang menemukan kondisi kesalahan lainnya.

catatan

Ganti Wilayah (us-west-2), ID Akun (012345678901) dan nama aplikasi (YourApplication) dalam contoh kueri berikut dengan Region aplikasi Anda dan ID Akun Anda.

Menganalisis operasi: Distribusi tugas

Kueri CloudWatch Logs Insights berikut menampilkan jumlah tugas yang didistribusikan oleh Apache Flink Job Manager antar Task Manager. Anda perlu mengatur kerangka waktu kueri untuk mencocokkan satu tugas yang berjalan sehingga kueri tidak menampilkan tugas dari tugas sebelumnya. Untuk informasi selengkapnya tentang Paralelisme, lihat Menerapkan penskalaan aplikasi. 

fields @timestamp, message
| filter message like /Deploying/
| parse message " to flink-taskmanager-*" as @tmid
| stats count(*) by @tmid
| sort @timestamp desc
| limit 2000

Kueri Wawasan CloudWatch Log berikut menampilkan subtugas yang ditetapkan ke setiap Task Manager. Jumlah total subtugas adalah jumlah paralelisme setiap tugas. Paralelisme tugas berasal dari paralelisme operator, dan sama dengan paralelisme aplikasi secara default, kecuali jika Anda mengubahnya dalam kode dengan menentukan setParallelism. Untuk informasi selengkapnya tentang pengaturan paralelisme operator, lihat Mengatur Paralelisme: Tingkat Operator di Dokumentasi Apache Flink.

fields @timestamp, @tmid, @subtask
| filter message like /Deploying/
| parse message "Deploying * to flink-taskmanager-*" as @subtask, @tmid
| sort @timestamp desc
| limit 2000

Untuk informasi selengkapnya tentang penjadwalan tugas, lihat Tugas dan Penjadwalan di Dokumentasi Apache Flink.

Analisis operasi: Perubahan paralelisme

Kueri CloudWatch Logs Insights berikut mengembalikan perubahan pada paralelisme aplikasi (misalnya, karena penskalaan otomatis). Kueri ini juga menampilkan perubahan manual paralelisme aplikasi. Untuk informasi selengkapnya tentang penskalaan otomatis, lihat Gunakan penskalaan otomatis di Managed Service untuk Apache Flink.

fields @timestamp, @parallelism
| filter message like /property: parallelism.default, /
| parse message "default, *" as @parallelism
| sort @timestamp asc

Analisis kesalahan: Akses ditolak

Kueri CloudWatch Logs Insights berikut mengembalikan Access Denied log.

fields @timestamp, @message, @messageType
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /AccessDenied/
| sort @timestamp desc

Analisis kesalahan: Sumber atau wastafel tidak ditemukan

Kueri CloudWatch Logs Insights berikut mengembalikan ResourceNotFound log. ResourceNotFoundlog dihasilkan jika sumber Kinesis atau wastafel tidak ditemukan.

fields @timestamp,@message
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /ResourceNotFoundException/
| sort @timestamp desc

Menganalisis kesalahan: Kegagalan terkait tugas aplikasi

Kueri CloudWatch Logs Insights berikut menampilkan log kegagalan terkait tugas aplikasi. Ini mencatat hasil jika status aplikasi beralih dari RUNNING ke RESTARTING.

fields @timestamp,@message
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /switched from RUNNING to RESTARTING/
| sort @timestamp desc

Untuk aplikasi yang menggunakan Apache Flink versi 1.8.2 dan sebelumnya, kegagalan terkait tugas akan mengakibatkan perubahan status aplikasi dari RUNNING ke FAILED sebagai gantinya. Ketika menggunakan Apache Flink 1.8.2 dan sebelumnya, gunakan kueri berikut untuk mencari kegagalan terkait tugas aplikasi:

fields @timestamp,@message
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /switched from RUNNING to FAILED/
| sort @timestamp desc