Dimensi dan metrik Aliran Data Amazon Kinesis Akses CloudWatch metrik Amazon untuk Aliran Data Kinesis

Pantau layanan Amazon Kinesis Data Streams dengan Amazon CloudWatch

Amazon Kinesis Data Streams dan Amazon CloudWatch terintegrasi sehingga Anda dapat mengumpulkan, melihat, dan menganalisis CloudWatch metrik untuk aliran data Kinesis Anda. Misalnya, untuk melacak penggunaan pecahan, Anda dapat memantau OutgoingBytes metrik IncomingBytes dan dan membandingkannya dengan jumlah pecahan dalam aliran.

Metrik streaming dan metrik tingkat shard-level yang Anda konfigurasikan secara otomatis dikumpulkan dan didorong ke CloudWatch setiap menit. Metrik diarsipkan selama dua minggu; setelah periode itu, data akan dibuang.

Tabel berikut menjelaskan pemantauan tingkat aliran dasar dan tingkat shard-level yang disempurnakan untuk aliran data Kinesis.

Tipe	Deskripsi
Dasar (tingkat aliran)	Stream-level data dikirim secara otomatis setiap menit tanpa biaya.
Ditingkatkan (tingkat shard-level)	Shard-level data dikirim setiap menit dengan biaya tambahan. Untuk mendapatkan tingkat data ini, Anda harus secara khusus mengaktifkannya untuk streaming menggunakan EnableEnhancedMonitoring operasi. Untuk informasi tentang harga, lihat halaman CloudWatch produk Amazon.

Tipe

Deskripsi

Dasar (tingkat aliran)

Stream-level data dikirim secara otomatis setiap menit tanpa biaya.

Ditingkatkan (tingkat shard-level)

Shard-level data dikirim setiap menit dengan biaya tambahan. Untuk mendapatkan tingkat data ini, Anda harus secara khusus mengaktifkannya untuk streaming menggunakan EnableEnhancedMonitoring operasi.

Untuk informasi tentang harga, lihat halaman CloudWatch produk Amazon.

Dimensi dan metrik Aliran Data Amazon Kinesis

Kinesis Data Streams mengirimkan metrik ke dua CloudWatch tingkat: tingkat aliran dan, secara opsional, level shard. Stream-level metrik adalah untuk kasus penggunaan pemantauan yang paling umum dalam kondisi normal. Shard-level metrik adalah untuk tugas pemantauan tertentu, biasanya terkait dengan pemecahan masalah, dan diaktifkan menggunakan EnableEnhancedMonitoring operasi.

Untuk penjelasan statistik yang dikumpulkan dari CloudWatch metrik, lihat CloudWatch Statistik di Panduan CloudWatch Pengguna Amazon.

Topik

Metrik tingkat aliran dasar
Metrik tingkat shard-level yang ditingkatkan
Dimensi untuk metrik Amazon Kinesis Data Streams
Metrik Aliran Data Amazon Kinesis yang Direkomendasikan

Metrik tingkat aliran dasar

AWS/KinesisNamespace menyertakan metrik tingkat aliran berikut.

Kinesis Data Streams mengirimkan metrik tingkat aliran ini ke CloudWatch setiap menit. Metrik ini selalu tersedia.

Metrik	Deskripsi
`GetRecords.Bytes`	Jumlah byte yang diambil dari aliran Kinesis, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte dalam satu `GetRecords` operasi untuk aliran dalam periode waktu yang ditentukan. Shard-level nama metrik: `OutgoingBytes` Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte
`GetRecords.IteratorAge`	Metrik ini tidak lagi digunakan. Gunakan `GetRecords.IteratorAgeMilliseconds`.
`GetRecords.IteratorAgeMilliseconds`	Usia rekaman terakhir di semua `GetRecords` panggilan yang dilakukan terhadap aliran Kinesis, diukur selama periode waktu yang ditentukan. Usia adalah perbedaan antara waktu saat ini dan kapan catatan terakhir `GetRecords` panggilan ditulis ke streaming. Statistik Minimum dan Maksimum dapat digunakan untuk melacak kemajuan aplikasi konsumen Kinesis. Nilai nol menunjukkan bahwa catatan yang dibaca benar-benar sesuai dengan aliran. Shard-level nama metrik: `IteratorAgeMilliseconds` Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik
`GetRecords.Latency`	Waktu yang dibutuhkan per operasi `GetRecords`, diukur selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata Unit: Milidetik
`GetRecords.Records`	Jumlah catatan yang diambil dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan dalam satu `GetRecords` operasi untuk aliran dalam periode waktu yang ditentukan. Shard-level nama metrik: `OutgoingRecords` Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`GetRecords.Success`	Jumlah `GetRecords` operasi yang berhasil per aliran, diukur selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Rata-rata, Jumlah, Sampel Unit: Hitungan
`IncomingBytes`	Jumlah byte berhasil dimasukkan ke aliran Kinesis selama periode waktu yang ditentukan. Metrik ini mencakup byte dari `PutRecord` dan `PutRecords` operasi. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte dalam operasi put tunggal untuk aliran dalam periode waktu yang ditentukan. Shard-level nama metrik: `IncomingBytes` Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte
`IncomingRecords`	Jumlah catatan yang berhasil dimasukkan ke aliran Kinesis selama periode waktu yang ditentukan. Metrik ini mencakup jumlah catatan dari `PutRecord` dan `PutRecords` operasi. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan dalam operasi satu put untuk aliran dalam periode waktu yang ditentukan. Shard-level nama metrik: `IncomingRecords` Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`PutRecord.Bytes`	Jumlah byte yang dimasukkan ke aliran Kinesis menggunakan `PutRecord` operasi selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte
`PutRecord.Latency`	Waktu yang dibutuhkan per operasi `PutRecord`, diukur selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata Unit: Milidetik
`PutRecord.Success`	Jumlah `PutRecord` operasi yang berhasil per aliran Kinesis, diukur selama periode waktu yang ditentukan. Rata-rata mencerminkan persentase penulisan yang berhasil ke aliran. Dimensi: StreamName Statistik: Rata-rata, Jumlah, Sampel Unit: Hitungan
`PutRecords.Bytes`	Jumlah byte yang dimasukkan ke aliran Kinesis menggunakan `PutRecords` operasi selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte
`PutRecords.Latency`	Waktu yang dibutuhkan per operasi `PutRecords`, diukur selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata Unit: Milidetik
`PutRecords.Records`	Metrik ini tidak digunakan lagi. Gunakan `PutRecords.SuccessfulRecords`. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`PutRecords.Success`	Jumlah `PutRecords` operasi di mana setidaknya satu rekaman berhasil, per aliran Kinesis, diukur selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Rata-rata, Jumlah, Sampel Unit: Hitungan
`PutRecords.TotalRecords`	Jumlah total catatan yang dikirim dalam `PutRecords` operasi per aliran data Kinesis, diukur selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`PutRecords.SuccessfulRecords`	Jumlah catatan yang berhasil dalam `PutRecords` operasi per aliran data Kinesis, diukur selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`PutRecords.FailedRecords`	Jumlah catatan yang ditolak karena kegagalan internal dalam `PutRecords` operasi per aliran data Kinesis, diukur selama periode waktu yang ditentukan. Kegagalan internal sesekali diharapkan dan harus dicoba kembali. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`PutRecords.ThrottledRecords`	Jumlah catatan yang ditolak karena pelambatan dalam `PutRecords` operasi per aliran data Kinesis, diukur selama periode waktu yang ditentukan. Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`ReadProvisionedThroughputExceeded`	Jumlah `GetRecords` panggilan yang dibatasi untuk streaming selama periode waktu yang ditentukan. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata. Ketika statistik Minimum memiliki nilai 1, semua catatan dibatasi untuk aliran selama periode waktu yang ditentukan. Bila statistik Maksimum memiliki nilai 0 (nol), tidak ada catatan yang dibatasi untuk aliran selama periode waktu yang ditentukan. Shard-level nama metrik: `ReadProvisionedThroughputExceeded` Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`SubscribeToShard.RateExceeded`	Metrik ini dipancarkan ketika upaya berlangganan baru gagal karena sudah ada langganan aktif oleh konsumen yang sama atau jika Anda melebihi jumlah panggilan per detik yang diizinkan untuk operasi ini. Dimensi: StreamName, ConsumerName
`SubscribeToShard.Success`	Metrik ini mencatat apakah SubscribeToShard langganan berhasil dibuat. Langganan hanya bertahan paling lama 5 menit. Oleh karena itu, metrik ini dipancarkan setidaknya sekali setiap 5 menit. Dimensi: StreamName, ConsumerName
`SubscribeToShardEvent.Bytes`	Jumlah byte yang diterima dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte yang diterbitkan dalam satu peristiwa untuk periode waktu yang ditentukan. Shard-level nama metrik: `OutgoingBytes` Dimensi: StreamName, ConsumerName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte
`SubscribeToShardEvent.MillisBehindLatest`	Jumlah milidetik catatan yang dibaca berasal dari ujung aliran, menunjukkan seberapa jauh di belakang waktu konsumen saat ini. Dimensi: StreamName, ConsumerName Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik
`SubscribeToShardEvent.Records`	Jumlah catatan yang diterima dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan dalam satu peristiwa untuk periode waktu yang ditentukan. Shard-level nama metrik: `OutgoingRecords` Dimensi: StreamName, ConsumerName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`SubscribeToShardEvent.Success`	Metrik ini dipancarkan setiap kali peristiwa berhasil dipublikasikan. Itu hanya dipancarkan ketika ada langganan aktif. Dimensi: StreamName, ConsumerName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`WriteProvisionedThroughputExceeded`	Jumlah rekaman yang ditolak karena pelambatan untuk aliran selama periode waktu yang ditentukan. Metrik ini mencakup pelambatan dari `PutRecord` dan `PutRecords` operasi. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata. Ketika statistik Minimum memiliki nilai bukan nol, catatan dibatasi untuk aliran selama periode waktu yang ditentukan. Ketika statistik Maksimum memiliki nilai 0 (nol), tidak ada catatan yang dibatasi untuk aliran selama periode waktu yang ditentukan. Shard-level nama metrik: `WriteProvisionedThroughputExceeded` Dimensi: StreamName Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan

Metrik tingkat shard-level yang ditingkatkan

AWS/KinesisNamespace menyertakan metrik tingkat shard-level berikut.

Kinesis mengirimkan metrik tingkat shard-level berikut ke CloudWatch setiap menit. Setiap dimensi metrik membuat 1 CloudWatch metrik dan membuat sekitar 43.200 panggilan PutMetricData API per bulan. Metrik ini tidak diaktifkan secara default. Ada biaya untuk metrik yang ditingkatkan yang dipancarkan dari Kinesis. Untuk informasi selengkapnya, lihat CloudWatch Harga Amazon di bawah judul Metrik CloudWatch Kustom Amazon. Biaya diberikan per pecahan per metrik per bulan.

Metrik	Deskripsi
`IncomingBytes`	Jumlah byte berhasil dimasukkan ke shard selama periode waktu yang ditentukan. Metrik ini mencakup byte dari `PutRecord` dan `PutRecords` operasi. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte dalam operasi put tunggal untuk pecahan dalam periode waktu yang ditentukan. Stream-level nama metrik: `IncomingBytes` Dimensi: StreamName, ShardId Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte
`IncomingRecords`	Jumlah catatan yang berhasil dimasukkan ke pecahan selama periode waktu yang ditentukan. Metrik ini mencakup jumlah catatan dari `PutRecord` dan `PutRecords` operasi. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan dalam operasi put tunggal untuk pecahan dalam periode waktu yang ditentukan. Stream-level nama metrik: `IncomingRecords` Dimensi: StreamName, ShardId Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`IteratorAgeMilliseconds`	Usia catatan terakhir di semua `GetRecords` panggilan yang dilakukan terhadap pecahan, diukur selama periode waktu yang ditentukan. Usia adalah perbedaan antara waktu saat ini dan kapan catatan terakhir `GetRecords` panggilan ditulis ke streaming. Statistik Minimum dan Maksimum dapat digunakan untuk melacak kemajuan aplikasi konsumen Kinesis. Nilai 0 (nol) menunjukkan bahwa catatan yang dibaca benar-benar sesuai dengan aliran. Stream-level nama metrik: `GetRecords.IteratorAgeMilliseconds` Dimensi: StreamName, ShardId Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik
`OutgoingBytes`	Jumlah byte yang diambil dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte yang dikembalikan dalam satu `GetRecords` operasi atau dipublikasikan dalam satu `SubscribeToShard` peristiwa untuk pecahan dalam periode waktu yang ditentukan. Stream-level nama metrik: `GetRecords.Bytes` Dimensi: StreamName, ShardId Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte
`OutgoingRecords`	Jumlah catatan yang diambil dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan yang dikembalikan dalam satu `GetRecords` operasi atau diterbitkan dalam satu `SubscribeToShard` peristiwa untuk pecahan dalam periode waktu yang ditentukan. Stream-level nama metrik: `GetRecords.Records` Dimensi: StreamName, ShardId Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`ReadProvisionedThroughputExceeded`	Jumlah `GetRecords` panggilan yang dibatasi untuk pecahan selama periode waktu yang ditentukan. Jumlah pengecualian ini mencakup semua dimensi dari batas berikut: 5 pembacaan per pecahan per detik atau 2 MB per detik per pecahan. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata. Ketika statistik Minimum memiliki nilai 1, semua catatan dibatasi untuk pecahan selama periode waktu yang ditentukan. Ketika statistik Maksimum memiliki nilai 0 (nol), tidak ada catatan yang dibatasi untuk pecahan selama periode waktu yang ditentukan. Stream-level nama metrik: `ReadProvisionedThroughputExceeded` Dimensi: StreamName, ShardId Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan
`WriteProvisionedThroughputExceeded`	Jumlah catatan yang ditolak karena pelambatan untuk pecahan selama periode waktu yang ditentukan. Metrik ini mencakup pelambatan dari `PutRecord` dan `PutRecords` operasi dan mencakup semua dimensi batas berikut: 1.000 catatan per detik per pecahan atau 1 MB per detik per pecahan. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata. Ketika statistik Minimum memiliki nilai bukan nol, catatan dibatasi untuk pecahan selama periode waktu yang ditentukan. Ketika statistik Maksimum memiliki nilai 0 (nol), tidak ada catatan yang dibatasi untuk pecahan selama periode waktu yang ditentukan. Stream-level nama metrik: `WriteProvisionedThroughputExceeded` Dimensi: StreamName, ShardId Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan

Dimensi untuk metrik Amazon Kinesis Data Streams

Dimensi	Deskripsi
`StreamName`	Nama pengaliran Kinesis. Semua statistik yang tersedia disaring oleh`StreamName`.

Metrik Aliran Data Amazon Kinesis yang Direkomendasikan

Beberapa metrik Amazon Kinesis Data Streams mungkin menarik bagi pelanggan Kinesis Data Streams. Daftar berikut menyediakan metrik yang direkomendasikan dan penggunaannya.

Metrik	Catatan Penggunaan
`GetRecords.IteratorAgeMilliseconds`	Melacak posisi baca di semua pecahan dan konsumen dalam streaming. Jika usia iterator melewati 50% dari periode retensi (secara default, 24 jam, dapat dikonfigurasi hingga 7 hari), ada risiko kehilangan data karena kedaluwarsa catatan. Kami menyarankan Anda menggunakan CloudWatch alarm pada statistik Maksimum untuk mengingatkan Anda sebelum kerugian ini berisiko. Untuk contoh skenario yang menggunakan metrik ini, lihatPemrosesan catatan konsumen tertinggal.
`ReadProvisionedThroughputExceeded`	Ketika pemrosesan catatan sisi konsumen Anda tertinggal, terkadang sulit untuk mengetahui di mana hambatannya. Gunakan metrik ini untuk menentukan apakah pembacaan Anda dibatasi karena melebihi batas throughput baca Anda. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata.
`WriteProvisionedThroughputExceeded`	Ini untuk tujuan yang sama dengan `ReadProvisionedThroughputExceeded` metrik, tetapi untuk sisi produsen (put) aliran. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata.
`PutRecord.Success`, `PutRecords.Success`	Sebaiknya gunakan CloudWatch alarm pada statistik Rata-Rata untuk menunjukkan kapan rekaman gagal untuk streaming. Pilih satu atau kedua jenis put tergantung pada apa yang digunakan produsen Anda. Jika menggunakan Amazon Kinesis Producer Library (KPL), gunakan`PutRecords.Success`.
`GetRecords.Success`	Sebaiknya gunakan CloudWatch alarm pada statistik Rata-rata untuk menunjukkan kapan catatan gagal dari aliran.

Akses CloudWatch metrik Amazon untuk Aliran Data Kinesis

Anda dapat memantau metrik untuk Kinesis Data Streams menggunakan CloudWatch konsol, baris perintah, atau CloudWatch API. Prosedur berikut menunjukkan cara mengakses metrik menggunakan berbagai metode ini.

Untuk mengakses metrik menggunakan CloudWatch konsol

Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.
Pada bilah navigasi, pilih Wilayah.
Pada panel navigasi, silakan pilih Metrik.
Di panel CloudWatch Metrik berdasarkan Kategori, pilih Metrik Kinesis.
Klik baris yang relevan untuk melihat statistik untuk yang ditentukan MetricName dan StreamName.

Catatan: Sebagian besar nama statistik konsol cocok dengan nama CloudWatch metrik terkait yang tercantum sebelumnya, kecuali untuk Read Throughput dan T ulis Throughput. Statistik ini dihitung selama interval 5 menit: W rite Throughput memantau IncomingBytes CloudWatch metrik, dan Memonitor Read Th roughputGetRecords.Bytes.
(Opsional) Di panel grafik, pilih statistik dan periode waktu, lalu buat CloudWatch alarm menggunakan pengaturan ini.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Pantau Aliran Data Kinesis

Memantau kesehatan Agen Kinesis Data Streams dengan CloudWatch