Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Apa itu Amazon Kinesis Data Streams?
Anda dapat menggunakan Amazon Kinesis Data Streams untuk mengumpulkan dan memproses aliran besar catatan
Kinesis Data Streams adalah bagian dari platform data streaming Kinesis, bersama dengan Firehose, Kinesis Video Streams, dan Managed Service untuk Apache Flink.
Untuk informasi selengkapnya tentang solusi AWS big data, lihat Big Data di AWS
Topik
Apa yang Dapat Dilakukan dengan Kinesis Data Streams?
Anda dapat menggunakan Kinesis Data Streams untuk pengambilan dan agregasi data yang cepat dan berkelanjutan. Jenis data yang digunakan dapat mencakup data log infrastruktur TI, log aplikasi, media sosial, umpan data pasar, dan data clickstream web. Karena waktu respons untuk asupan dan pemrosesan data secara real time, pemrosesan biasanya ringan.
Berikut ini adalah skenario umum untuk menggunakan Kinesis Data Streams:
- Asupan dan pemrosesan log dan umpan data yang dipercepat
-
Anda dapat meminta produsen mendorong data langsung ke aliran. Misalnya, sistem push dan log aplikasi dan mereka tersedia untuk diproses dalam hitungan detik. Ini mencegah data log hilang jika front end atau server aplikasi gagal. Kinesis Data Streams menyediakan asupan umpan data yang dipercepat karena Anda tidak mengumpulkan data di server sebelum mengirimkannya untuk masuk.
- Metrik dan pelaporan waktu nyata
-
Anda dapat menggunakan data yang dikumpulkan ke Kinesis Data Streams untuk analisis dan pelaporan data sederhana secara real time. Misalnya, aplikasi pemrosesan data Anda dapat bekerja pada metrik dan pelaporan untuk log sistem dan aplikasi saat data sedang streaming, daripada menunggu untuk menerima kumpulan data.
- Analisis data waktu nyata
-
Ini menggabungkan kekuatan pemrosesan paralel dengan nilai data waktu nyata. Misalnya, proses clickstream situs web secara real time, dan kemudian analisis keterlibatan kegunaan situs menggunakan beberapa aplikasi Kinesis Data Streams berbeda yang berjalan secara paralel.
- Pemrosesan aliran yang kompleks
-
Anda dapat membuat Grafik Asiklik Terarah (DAG) dari aplikasi Kinesis Data Streams dan aliran data. Ini biasanya melibatkan menempatkan data dari beberapa aplikasi Kinesis Data Streams ke aliran lain untuk pemrosesan hilir oleh aplikasi Kinesis Data Streams yang berbeda.
Manfaat Menggunakan Kinesis Data Streams
Meskipun Anda dapat menggunakan Kinesis Data Streams untuk memecahkan berbagai masalah data streaming, penggunaan umum adalah agregasi data real-time diikuti dengan memuat data agregat ke gudang data atau cluster map-reduce.
Data dimasukkan ke dalam aliran data Kinesis, yang menjamin daya tahan dan elastisitas. Penundaan antara waktu rekaman dimasukkan ke dalam aliran dan waktu dapat diambil (put-to-get penundaan) biasanya kurang dari 1 detik. Dengan kata lain, aplikasi Kinesis Data Streams dapat mulai mengkonsumsi data dari aliran segera setelah data ditambahkan. Aspek layanan terkelola dari Kinesis Data Streams membebaskan Anda dari beban operasional dalam membuat dan menjalankan pipeline intake data. Anda dapat membuat aplikasi tipe pengurangan peta streaming. Elastisitas Kinesis Data Streams memungkinkan Anda untuk menskalakan aliran ke atas atau ke bawah, sehingga Anda tidak pernah kehilangan catatan data sebelum habis masa berlakunya.
Beberapa aplikasi Kinesis Data Streams dapat mengkonsumsi data dari aliran, sehingga beberapa tindakan, seperti pengarsipan dan pemrosesan, dapat berlangsung secara bersamaan dan independen. Misalnya, dua aplikasi dapat membaca data dari aliran yang sama. Aplikasi pertama menghitung agregat yang sedang berjalan dan memperbarui tabel Amazon DynamoDB, dan aplikasi kedua mengompres dan mengarsipkan data ke penyimpanan data seperti Amazon Simple Storage Service (Amazon S3). Tabel DynamoDB dengan agregat berjalan kemudian dibaca oleh dasbor untuk laporan. up-to-the-minute
Perpustakaan Klien Kinesis memungkinkan konsumsi data yang toleran terhadap kesalahan dari aliran dan menyediakan dukungan penskalaan untuk aplikasi Kinesis Data Streams.
Layanan Terkait
