Amazon Data Firehose sebelumnya dikenal sebagai Amazon Kinesis Data Firehose
Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memahami petunjuk buffering
Amazon Data Firehose menyangga data streaming yang masuk dalam memori ke ukuran tertentu (ukuran buffering) dan untuk jangka waktu tertentu (interval buffering) sebelum mengirimkannya ke tujuan yang ditentukan. Anda akan menggunakan petunjuk buffering ketika Anda ingin mengirimkan file berukuran optimal ke Amazon S3 dan mendapatkan kinerja yang lebih baik dari aplikasi pemrosesan data atau untuk menyesuaikan tingkat pengiriman Firehose agar sesuai dengan kecepatan tujuan.
Anda dapat mengonfigurasi ukuran buffering dan interval buffer sambil membuat aliran Firehose baru atau memperbarui ukuran buffering dan interval buffering pada aliran Firehose yang ada. Ukuran buffering diukur dalam MB dan interval buffering diukur dalam hitungan detik. Akan tetapi, jika Anda menentukan nilai untuk salah satunya, Anda juga harus menyediakan nilai untuk yang lain. Kondisi buffer pertama yang puas memicu Firehose untuk mengirimkan data. Jika Anda tidak mengonfigurasi nilai buffering, maka nilai default akan digunakan.
Anda dapat mengonfigurasi petunjuk buffering Firehose melalui AWS Management Console,, AWS Command Line Interface atau SDK. AWS Untuk aliran yang ada, Anda dapat mengonfigurasi ulang petunjuk buffering dengan nilai yang sesuai dengan kasus penggunaan menggunakan opsi Edit di konsol atau menggunakan API. UpdateDestination Untuk aliran baru, Anda dapat mengonfigurasi petunjuk buffering sebagai bagian dari pembuatan aliran baru menggunakan konsol atau menggunakan API. CreateDeliveryStream Untuk menyesuaikan ukuran buffering, atur SizeInMBs dan IntervalInSeconds di DestinationConfiguration parameter spesifik tujuan CreateDeliveryStreamatau UpdateDestinationAPI.
catatan
Untuk memenuhi latensi yang lebih rendah dari kasus penggunaan waktu nyata, Anda dapat menggunakan petunjuk interval buffering nol. Saat Anda mengonfigurasi interval buffering sebagai nol detik, Firehose tidak akan menyangga data dan akan mengirimkan data dalam beberapa detik. Sebelum Anda mengubah petunjuk buffering ke nilai yang lebih rendah, tanyakan kepada vendor untuk petunjuk buffering Firehose yang direkomendasikan untuk tujuan mereka.
Fitur buffering nol hanya tersedia untuk tujuan aplikasi dan tidak tersedia untuk tujuan cadangan Amazon S3.
catatan
Firehose menggunakan unggahan multi-bagian untuk tujuan S3 saat Anda mengonfigurasi interval waktu buffer kurang dari 60 detik untuk menawarkan latensi yang lebih rendah. Karena unggahan multi-bagian untuk tujuan S3, Anda akan melihat beberapa peningkatan biaya PUT API S3 jika Anda memilih interval waktu buffer kurang dari 60 detik.
Untuk rentang petunjuk buffering spesifik tujuan dan nilai default, lihat tabel berikut:
| Tujuan | Ukuran buffering dalam MB (default dalam tanda kurung) | Interval buffering dalam hitungan detik (default dalam tanda kurung) |
|---|---|---|
| S3 | 1-128 (5) | 0-900 (300) |
| Redshift | 1-128 (5) | 0-900 (300) |
| OpenSearch Tanpa server | 1-100 (5) | 0-900 (300) |
| OpenSearch | 1-100 (5) | 0-900 (300) |
| Splunk | 1-5 (5) | 0-60 (60) |
| Datadog | 1-4 (4) | 0-900 (60) |
| Coralogix | 1-64 (6) | 0-900 (60) |
| Dynatrace | 1-64 (5) | 0-900 (60) |
| Elastis | 1 | 0-900 (60) |
| Honeycomb | 1-64 (15) | 0-900 (60) |
| Titik akhir HTTP | 1-64 (5) | 0-900 (60) |
| LogicMonitor | 1-64 (5) | 0-900 (60) |
| Logzio | 1-64 (5) | 0-900 (60) |
| MongoDB | 1-16 (5) | 0-900 (60) |
| NewRelic | 1-64 (5) | 0-900 (60) |
| SumoLogic | 1-64 (1) | 0-900 (60) |
| Cloud Observabilitas Splunk | 1-64 (1) | 0-900 (60) |
