Apa itu Amazon Data Firehose? - Amazon Data Firehose
Pelajari konsep-konsep kunciMemahami aliran data di Amazon Data Firehose

Mengirimkan aliran Amazon Data Firehose ke Apache Iceberg Tables di Amazon S3 sedang dalam pratinjau dan dapat berubah sewaktu-waktu.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apa itu Amazon Data Firehose?

Amazon Data Firehose adalah layanan yang dikelola sepenuhnya untuk mengirimkan data streaming waktu nyata ke tujuan seperti Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon Service, Amazon Serverless, Splunk, Apache Iceberg Tables, dan titik akhir atau titik akhir kustom HTTP apa pun yang dimiliki oleh penyedia layanan pihak ketiga yang didukung, termasuk LogicMonitor DatadogHTTP, Dynatrace, MonGodB, Relik Baru, Coralogix, dan Elastis. OpenSearch OpenSearch Dengan Amazon Data Firehose, Anda tidak perlu menulis aplikasi atau mengelola sumber daya. Anda mengonfigurasi produsen data Anda untuk mengirim data ke Amazon Data Firehose, dan secara otomatis mengirimkan data ke tujuan yang Anda tentukan. Anda juga dapat mengonfigurasi Amazon Data Firehose untuk mengubah data Anda sebelum mengirimkannya.

Untuk informasi selengkapnya tentang solusi AWS big data, lihat Big Data di AWS. Untuk informasi selengkapnya tentang solusi data streaming AWS , lihat Apa Itu Data Streaming?

catatan

Perhatikan Solusi Data AWS Streaming terbaru untuk Amazon MSK yang menyediakan AWS CloudFormation templat tempat data mengalir melalui produsen, penyimpanan streaming, konsumen, dan tujuan.

Pelajari konsep-konsep kunci

Saat Anda memulai Amazon Data Firehose, Anda bisa mendapatkan keuntungan dari memahami konsep-konsep berikut.

Aliran Firehose

Entitas yang mendasari Amazon Data Firehose. Anda menggunakan Amazon Data Firehose dengan membuat aliran Firehose dan kemudian mengirim data ke sana. Untuk informasi selengkapnya, silakan lihat Tutorial: Membuat aliran Firehose dari konsol dan Mengirim data ke aliran Firehose.

Rekam

Data yang menarik yang dikirim oleh produsen data Anda ke aliran Firehose. Sebuah catatan bisa berukuran sebesar 1.000 KB.

Penghasil data

Produsen mengirim catatan ke aliran Firehose. Misalnya, server web yang mengirimkan data log ke aliran Firehose adalah produsen data. Anda juga dapat mengonfigurasi aliran Firehose untuk secara otomatis membaca data dari aliran data Kinesis yang ada, dan memuatnya ke tujuan. Untuk informasi selengkapnya, lihat Mengirim data ke aliran Firehose.

Ukuran buffer dan interval buffer

Amazon Data Firehose menyangga data streaming yang masuk ke ukuran tertentu atau untuk jangka waktu tertentu sebelum mengirimkannya ke tujuan. Buffer Sizemasuk MBs dan Buffer Interval dalam hitungan detik.

Memahami aliran data di Amazon Data Firehose

Untuk tujuan Amazon S3, data streaming dikirim ke bucket S3 Anda. Jika transformasi data diaktifkan, Anda dapat secara opsional mencadangkan data sumber ke bucket Amazon S3 lain.

Diagram yang menunjukkan aliran data Amazon Data Firehose untuk Amazon S3.

Untuk tujuan Amazon Redshift, data streaming dikirim ke bucket S3 Anda. Amazon Data Firehose kemudian mengeluarkan perintah Amazon COPY Redshift untuk memuat data dari bucket S3 Anda ke cluster Amazon Redshift Anda. Jika transformasi data diaktifkan, Anda dapat secara opsional mencadangkan data sumber ke bucket Amazon S3 lain.

Diagram yang menunjukkan aliran data Amazon Data Firehose untuk Amazon Redshift.

Untuk tujuan OpenSearch Layanan, data streaming dikirimkan ke kluster OpenSearch Layanan Anda, dan secara opsional dapat dicadangkan ke bucket S3 Anda secara bersamaan.

Diagram yang menunjukkan aliran data Amazon Data Firehose untuk OpenSearch Layanan.

Untuk tujuan Splunk, data streaming dikirim ke Splunk, dan secara opsional dapat dicadangkan ke bucket S3 Anda secara bersamaan.

Diagram yang menunjukkan aliran data Amazon Data Firehose untuk Splunk.