Memantau Layanan Amazon Kinesis Data Streams dengan Amazon CloudWatch - Amazon Kinesis Data Streams
Dimensi dan Metrik Aliran Data Kinesis AmazonMengakses CloudWatch Metrik Amazon untuk Kinesis Data Streams

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau Layanan Amazon Kinesis Data Streams dengan Amazon CloudWatch

Amazon Kinesis Data Streams CloudWatch dan Amazon terintegrasi sehingga Anda dapat mengumpulkan, melihat CloudWatch, dan menganalisis metrik untuk aliran data Kinesis Anda. Misalnya, untuk melacak penggunaan shard, Anda dapat memantau IncomingBytes dan OutgoingBytes metrik dan membandingkannya dengan jumlah pecahan dalam aliran.

Metrik yang Anda konfigurasikan untuk aliran secara otomatis dikumpulkan dan didorong ke CloudWatch setiap menit. Metrik diarsipkan selama dua minggu; setelah periode itu, data akan dibuang.

Tabel berikut menjelaskan tingkat aliran dasar dan pemantauan tingkat shard yang ditingkatkan untuk aliran data Kinesis.

Jenis Deskripsi

Dasar (tingkat aliran)

Data tingkat aliran dikirim secara otomatis setiap menit tanpa biaya.

Ditingkatkan (shard-level)

Data tingkat Shard dikirim setiap menit dengan biaya tambahan. Untuk mendapatkan tingkat data ini, Anda harus mengaktifkannya secara khusus untuk streaming menggunakan EnableEnhancedMonitoringoperasi.

Untuk informasi tentang harga, lihat halaman CloudWatch produk Amazon.

Dimensi dan Metrik Aliran Data Kinesis Amazon

Kinesis Data Streams mengirimkan CloudWatch metrik ke dua tingkat: tingkat aliran dan, secara opsional, tingkat pecahan. Metrik tingkat aliran adalah untuk kasus penggunaan pemantauan yang paling umum dalam kondisi normal. Metrik tingkat Shard adalah untuk tugas pemantauan tertentu, biasanya terkait dengan pemecahan masalah, dan diaktifkan menggunakan operasi. EnableEnhancedMonitoring

Untuk penjelasan tentang statistik yang dikumpulkan dari CloudWatch metrik, lihat CloudWatch Statistik di Panduan CloudWatch Pengguna Amazon.

Metrik Tingkat Aliran Dasar

AWS/KinesisNamespace menyertakan metrik tingkat aliran berikut.

Kinesis Data Streams mengirimkan metrik tingkat aliran CloudWatch ini ke setiap menit. Metrik ini selalu tersedia.

Metrik Deskripsi
GetRecords.Bytes

Jumlah byte yang diambil dari aliran Kinesis, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte dalam satu GetRecords operasi untuk aliran dalam periode waktu yang ditentukan.

Nama metrik tingkat shard: OutgoingBytes

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Bita
GetRecords.IteratorAge

Metrik ini tidak digunakan lagi. Gunakan GetRecords.IteratorAgeMilliseconds.
GetRecords.IteratorAgeMilliseconds

Usia catatan terakhir dalam semua GetRecords panggilan yang dilakukan terhadap aliran Kinesis, diukur selama periode waktu yang ditentukan. Usia adalah perbedaan antara waktu saat ini dan kapan catatan terakhir GetRecords panggilan ditulis ke aliran. Statistik Minimum dan Maksimum dapat digunakan untuk melacak kemajuan aplikasi konsumen Kinesis. Nilai nol menunjukkan bahwa catatan yang dibaca benar-benar terjebak dengan aliran.

Nama metrik tingkat shard: IteratorAgeMilliseconds

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Sampel

Unit: Milidetik
GetRecords.Latency

Waktu yang dibutuhkan per operasi GetRecords, diukur selama periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata

Unit: Milidetik
GetRecords.Records

Jumlah catatan yang diambil dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan dalam satu GetRecords operasi untuk aliran dalam periode waktu yang ditentukan.

Nama metrik tingkat shard: OutgoingRecords

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
GetRecords.Success

Jumlah GetRecords operasi yang berhasil per aliran, diukur selama periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Rata-rata, Jumlah, Sampel

Unit: Hitungan
IncomingBytes

Jumlah byte berhasil dimasukkan ke aliran Kinesis selama periode waktu yang ditentukan. Metrik ini mencakup byte dari PutRecord dan PutRecords operasi. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte dalam operasi put tunggal untuk aliran dalam periode waktu yang ditentukan.

Nama metrik tingkat shard: IncomingBytes

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Bita
IncomingRecords

Jumlah catatan berhasil dimasukkan ke aliran Kinesis selama periode waktu yang ditentukan. Metrik ini mencakup jumlah rekor dari PutRecord dan PutRecords operasi. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan dalam satu operasi put untuk aliran dalam periode waktu yang ditentukan.

Nama metrik tingkat shard: IncomingRecords

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
PutRecord.Bytes

Jumlah byte yang dimasukkan ke aliran Kinesis menggunakan operasi selama PutRecord periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Bita
PutRecord.Latency

Waktu yang dibutuhkan per operasi PutRecord, diukur selama periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata

Unit: Milidetik
PutRecord.Success

Jumlah PutRecord operasi yang berhasil per aliran Kinesis, diukur selama periode waktu yang ditentukan. Rata-rata mencerminkan persentase penulisan yang berhasil ke aliran.

Dimensi: StreamName

Statistik: Rata-rata, Jumlah, Sampel

Unit: Hitungan
PutRecords.Bytes

Jumlah byte yang dimasukkan ke aliran Kinesis menggunakan operasi selama PutRecords periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Bita
PutRecords.Latency

Waktu yang dibutuhkan per operasi PutRecords, diukur selama periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata

Unit: Milidetik
PutRecords.Records

Metrik ini tidak digunakan lagi. Gunakan PutRecords.SuccessfulRecords.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
PutRecords.Success

Jumlah PutRecords operasi di mana setidaknya satu catatan berhasil, per aliran Kinesis, diukur selama periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Rata-rata, Jumlah, Sampel

Unit: Hitungan
PutRecords.TotalRecords

Jumlah total catatan yang dikirim dalam PutRecords operasi per aliran data Kinesis, diukur selama periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
PutRecords.SuccessfulRecords

Jumlah catatan yang berhasil dalam PutRecords operasi per aliran data Kinesis, diukur selama periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
PutRecords.FailedRecords

Jumlah catatan yang ditolak karena kegagalan internal dalam PutRecords operasi per aliran data Kinesis, diukur selama periode waktu yang ditentukan. Kegagalan internal sesekali diharapkan dan harus dicoba lagi.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
PutRecords.ThrottledRecords

Jumlah catatan yang ditolak karena pelambatan dalam PutRecords operasi per aliran data Kinesis, diukur selama periode waktu yang ditentukan.

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
ReadProvisionedThroughputExceeded

Jumlah GetRecords panggilan dibatasi untuk aliran selama periode waktu yang ditentukan. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata.

Ketika statistik Minimum memiliki nilai 1, semua catatan dibatasi untuk aliran selama periode waktu yang ditentukan.

Ketika statistik Maksimum memiliki nilai 0 (nol), tidak ada catatan yang dibatasi untuk aliran selama periode waktu yang ditentukan.

Nama metrik tingkat shard: ReadProvisionedThroughputExceeded

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
SubscribeToShard.RateExceeded

Metrik ini dipancarkan ketika upaya berlangganan baru gagal karena sudah ada langganan aktif oleh konsumen yang sama atau jika Anda melebihi jumlah panggilan per detik yang diizinkan untuk operasi ini.

Dimensi: StreamName, ConsumerName
SubscribeToShard.Success

Metrik ini mencatat apakah SubscribeToShard langganan berhasil dibuat. Langganan hanya hidup paling lama 5 menit. Oleh karena itu, metrik ini dipancarkan setidaknya sekali setiap 5 menit.

Dimensi: StreamName, ConsumerName
SubscribeToShardEvent.Bytes

Jumlah byte yang diterima dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte yang diterbitkan dalam satu peristiwa untuk periode waktu yang ditentukan.

Nama metrik tingkat shard: OutgoingBytes

Dimensi: StreamName, ConsumerName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Bita
SubscribeToShardEvent.MillisBehindLatest

Perbedaan antara waktu saat ini dan kapan catatan terakhir SubscribeToShard acara ditulis ke aliran.

Dimensi: StreamName, ConsumerName

Statistik: Minimum, Maksimum, Rata-rata, Sampel

Unit: Milidetik
SubscribeToShardEvent.Records

Jumlah catatan yang diterima dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan dalam satu peristiwa untuk periode waktu yang ditentukan.

Nama metrik tingkat shard: OutgoingRecords

Dimensi: StreamName, ConsumerName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
SubscribeToShardEvent.Success Metrik ini dipancarkan setiap kali suatu peristiwa berhasil diterbitkan. Itu hanya dipancarkan ketika ada langganan aktif.

Dimensi: StreamName, ConsumerName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
WriteProvisionedThroughputExceeded

Jumlah catatan yang ditolak karena pelambatan untuk aliran selama periode waktu yang ditentukan. Metrik ini mencakup pembatasan dari PutRecord dan PutRecords operasi. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata.

Ketika statistik Minimum memiliki nilai bukan nol, catatan sedang dibatasi untuk aliran selama periode waktu yang ditentukan.

Ketika statistik Maksimum memiliki nilai 0 (nol), tidak ada catatan yang dibatasi untuk aliran selama periode waktu yang ditentukan.

Nama metrik tingkat shard: WriteProvisionedThroughputExceeded

Dimensi: StreamName

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan

Metrik Tingkat Shard yang Ditingkatkan

AWS/KinesisNamespace menyertakan metrik tingkat shard berikut.

Kinesis mengirimkan metrik level shard berikut ke setiap menit. CloudWatch Setiap dimensi metrik membuat 1 CloudWatch metrik dan membuat sekitar 43.200 panggilan PutMetricData API per bulan. Metrik ini tidak diaktifkan secara default. Ada biaya untuk metrik yang ditingkatkan yang dipancarkan dari Kinesis. Untuk informasi selengkapnya, lihat CloudWatch Harga Amazon di bawah judul Metrik CloudWatch Kustom Amazon. Biaya diberikan per pecahan per metrik per bulan.

Metrik Deskripsi
IncomingBytes

Jumlah byte berhasil dimasukkan ke pecahan selama periode waktu yang ditentukan. Metrik ini mencakup byte dari PutRecord dan PutRecords operasi. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte dalam operasi put tunggal untuk pecahan dalam periode waktu yang ditentukan.

Nama metrik tingkat aliran: IncomingBytes

Dimensi: StreamName, ShardId

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Bita
IncomingRecords

Jumlah catatan yang berhasil dimasukkan ke pecahan selama periode waktu yang ditentukan. Metrik ini mencakup jumlah rekor dari PutRecord dan PutRecords operasi. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan dalam satu operasi put untuk pecahan dalam periode waktu yang ditentukan.

Nama metrik tingkat aliran: IncomingRecords

Dimensi: StreamName, ShardId

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
IteratorAgeMilliseconds

Usia catatan terakhir dalam semua GetRecords panggilan yang dilakukan terhadap pecahan, diukur selama periode waktu yang ditentukan. Usia adalah perbedaan antara waktu saat ini dan kapan catatan terakhir GetRecords panggilan ditulis ke aliran. Statistik Minimum dan Maksimum dapat digunakan untuk melacak kemajuan aplikasi konsumen Kinesis. Nilai 0 (nol) menunjukkan bahwa catatan yang dibaca benar-benar terjebak dengan aliran.

Nama metrik tingkat aliran: GetRecords.IteratorAgeMilliseconds

Dimensi: StreamName, ShardId

Statistik: Minimum, Maksimum, Rata-rata, Sampel

Unit: Milidetik
OutgoingBytes

Jumlah byte yang diambil dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili byte yang dikembalikan dalam satu GetRecords operasi atau diterbitkan dalam satu SubscribeToShard peristiwa untuk pecahan dalam periode waktu yang ditentukan.

Nama metrik tingkat aliran: GetRecords.Bytes

Dimensi: StreamName, ShardId

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Bita
OutgoingRecords

Jumlah catatan yang diambil dari pecahan, diukur selama periode waktu yang ditentukan. Statistik Minimum, Maksimum, dan Rata-rata mewakili catatan yang dikembalikan dalam satu GetRecords operasi atau diterbitkan dalam satu SubscribeToShard peristiwa untuk pecahan dalam periode waktu yang ditentukan.

Nama metrik tingkat aliran: GetRecords.Records

Dimensi: StreamName, ShardId

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
ReadProvisionedThroughputExceeded

Jumlah GetRecords panggilan dibatasi untuk pecahan selama periode waktu yang ditentukan. Jumlah pengecualian ini mencakup semua dimensi dari batas berikut: 5 pembacaan per pecahan per detik atau 2 MB per detik per pecahan. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata.

Ketika statistik Minimum memiliki nilai 1, semua catatan dibatasi untuk pecahan selama periode waktu yang ditentukan.

Ketika statistik Maksimum memiliki nilai 0 (nol), tidak ada catatan yang dibatasi untuk pecahan selama periode waktu yang ditentukan.

Nama metrik tingkat aliran: ReadProvisionedThroughputExceeded

Dimensi: StreamName, ShardId

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan
WriteProvisionedThroughputExceeded

Jumlah catatan yang ditolak karena pelambatan untuk pecahan selama periode waktu yang ditentukan. Metrik ini mencakup pembatasan dari PutRecord dan PutRecords operasi dan mencakup semua dimensi dari batas berikut: 1.000 catatan per detik per pecahan atau 1 MB per detik per pecahan. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata.

Ketika statistik Minimum memiliki nilai bukan nol, catatan sedang dibatasi untuk pecahan selama periode waktu yang ditentukan.

Ketika statistik Maksimum memiliki nilai 0 (nol), tidak ada catatan yang dibatasi untuk pecahan selama periode waktu yang ditentukan.

Nama metrik tingkat aliran: WriteProvisionedThroughputExceeded

Dimensi: StreamName, ShardId

Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel

Unit: Hitungan

Dimensi untuk Metrik Aliran Data Kinesis Amazon

Dimensi

Deskripsi
StreamName

Nama pengaliran Kinesis. Semua statistik yang tersedia disaring olehStreamName.

Metrik Aliran Data Kinesis Amazon yang Direkomendasikan

Beberapa metrik Amazon Kinesis Data Streams mungkin menarik bagi pelanggan Kinesis Data Streams. Daftar berikut menyediakan metrik yang direkomendasikan dan penggunaannya.

Metrik Catatan Penggunaan

GetRecords.IteratorAgeMilliseconds

Melacak posisi baca di semua pecahan dan konsumen di sungai. Jika usia iterator melewati 50% dari periode retensi (secara default, 24 jam, dapat dikonfigurasi hingga 7 hari), ada risiko kehilangan data karena kedaluwarsa rekaman. Kami menyarankan Anda menggunakan CloudWatch alarm pada statistik Maksimum untuk mengingatkan Anda sebelum kerugian ini berisiko. Untuk contoh skenario yang menggunakan metrik ini, lihatPemrosesan Rekor Konsumen Tertinggal.

ReadProvisionedThroughputExceeded

Ketika pemrosesan catatan sisi konsumen Anda tertinggal, terkadang sulit untuk mengetahui di mana kemacetannya. Gunakan metrik ini untuk menentukan apakah pembacaan Anda sedang dibatasi karena melebihi batas throughput baca Anda. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata.
WriteProvisionedThroughputExceeded Ini untuk tujuan yang sama dengan ReadProvisionedThroughputExceeded metrik, tetapi untuk sisi produser (put) aliran. Statistik yang paling umum digunakan untuk metrik ini adalah Rata-rata.
PutRecord.Success, PutRecords.Success Kami merekomendasikan penggunaan CloudWatch alarm pada statistik Rata-rata untuk menunjukkan kapan catatan gagal ke aliran. Pilih salah satu atau kedua jenis put tergantung pada apa yang digunakan produsen Anda. Jika menggunakan Kinesis Producer Library (KPL), gunakan. PutRecords.Success
GetRecords.Success Sebaiknya gunakan CloudWatch alarm pada statistik Rata-rata untuk menunjukkan kapan catatan gagal dari aliran.

Mengakses CloudWatch Metrik Amazon untuk Kinesis Data Streams

Anda dapat memantau metrik untuk Kinesis Data Streams menggunakan CloudWatch konsol, baris perintah, atau API. CloudWatch Prosedur berikut menunjukkan cara mengakses metrik menggunakan berbagai metode ini.

Untuk mengakses metrik menggunakan konsol CloudWatch

  1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

  2. Pada bilah navigasi, pilih Wilayah.

  3. Pada panel navigasi, silakan pilih Metrik.

  4. Di panel CloudWatch Metrik menurut Kategori, pilih Metrik Kinesis.

  5. Klik baris yang relevan untuk melihat statistik untuk yang ditentukan MetricNamedan StreamName.

    Catatan: Sebagian besar nama statistik konsol cocok dengan nama CloudWatch metrik terkait yang tercantum di atas, kecuali untuk Throughput Baca dan Tulis Throughput. Statistik ini dihitung selama interval 5 menit: Write Throughput memantau IncomingBytes CloudWatch metrik, dan monitor Read Throughput. GetRecords.Bytes

  6. (Opsional) Di panel grafik, pilih statistik dan periode waktu, lalu buat CloudWatch alarm menggunakan pengaturan ini.

Untuk mengakses metrik menggunakan AWS CLI

Gunakan daftar-metrik dan perintah. get-metric-statistics

Untuk mengakses metrik menggunakan CLI CloudWatch

Gunakan mon-list-metricsdan mon-get-statsperintah.

Untuk mengakses metrik menggunakan API CloudWatch

Gunakan ListMetricsdan GetMetricStatisticsoperasi.