Pilih preferensi cookie Anda

Kami menggunakan cookie penting serta alat serupa yang diperlukan untuk menyediakan situs dan layanan. Kami menggunakan cookie performa untuk mengumpulkan statistik anonim sehingga kami dapat memahami cara pelanggan menggunakan situs dan melakukan perbaikan. Cookie penting tidak dapat dinonaktifkan, tetapi Anda dapat mengklik “Kustom” atau “Tolak” untuk menolak cookie performa.

Jika Anda setuju, AWS dan pihak ketiga yang disetujui juga akan menggunakan cookie untuk menyediakan fitur situs yang berguna, mengingat preferensi Anda, dan menampilkan konten yang relevan, termasuk iklan yang relevan. Untuk menerima atau menolak semua cookie yang tidak penting, klik “Terima” atau “Tolak”. Untuk membuat pilihan yang lebih detail, klik “Kustomisasi”.

Preferensi
Hubungi Kami
Umpan Balik
AWS Documentation
Buat Akun AWS

Kuota Amazon Data Firehose

PDF
RSS
Mode fokus
Kuota Amazon Data Firehose - Amazon Data Firehose

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Bagian ini menjelaskan kuota saat ini, sebelumnya disebut sebagai batas, dalam Amazon Data Firehose. Kecuali ditentukan lain, masing-masing kuota berlaku untuk setiap Wilayah.

Konsol Service Quotas adalah lokasi pusat tempat Anda dapat melihat dan mengelola kuota untuk AWS layanan, dan meminta peningkatan kuota untuk banyak sumber daya yang Anda gunakan. Gunakan informasi kuota yang kami sediakan untuk mengelola AWS infrastruktur Anda. Rencanakan permintaan peningkatan kuota sebelum Anda membutuhkannya.

Untuk informasi selengkapnya, lihat titik akhir Amazon Data Firehose dan kuota di. Referensi Umum Amazon Web

Bagian berikut menunjukkan Amazon Data Firehose memiliki kuota berikut.

  • Dengan Amazon MSK sebagai sumber aliran Firehose, setiap aliran Firehose memiliki kuota default 10 MB/detik throughput baca per partisi dan ukuran rekaman maksimal 10MB. Anda dapat menggunakan peningkatan kuota Layanan untuk meminta peningkatan kuota default 10 MB/detik throughput baca per partisi.

  • Dengan Amazon MSK sebagai sumber aliran Firehose, ada ukuran rekaman maksimum 6 MB jika AWS Lambda diaktifkan, dan ukuran rekaman maksimum 10 MB jika Lambda dinonaktifkan. AWS Lambda membatasi catatan masuknya menjadi 6 MB, dan Amazon Data Firehose meneruskan catatan di atas 6Mb ke bucket S3 kesalahan. Jika Lambda dinonaktifkan, Firehose membatasi catatan masuknya menjadi 10 MB. Jika Amazon Data Firehose menerima ukuran rekaman dari Amazon MSK yang lebih besar dari 10 MB, Amazon Data Firehose mengirimkan catatan ini ke bucket kesalahan S3 dan memancarkan metrik Cloudwatch ke akun Anda. Untuk informasi lebih lanjut tentang batas AWS Lambda, lihat: https://docs.aws.amazon.com/lambda/ latest/dg/gettingstarted -limits.html.

  • Saat partisi dinamis pada aliran Firehose diaktifkan, ada kuota default 500 partisi aktif yang dapat dibuat untuk aliran Firehose tersebut. Jumlah partisi aktif adalah jumlah total partisi aktif dalam buffer pengiriman. Misalnya, jika kueri partisi dinamis membangun 3 partisi per detik dan Anda memiliki konfigurasi petunjuk buffer yang memicu pengiriman setiap 60 detik, maka, rata-rata, Anda akan memiliki 180 partisi aktif. Setelah data dikirim dalam partisi, maka partisi ini tidak lagi aktif. Anda dapat menggunakan formulir Amazon Data Firehose Limits untuk meminta peningkatan kuota ini hingga 5000 partisi aktif per aliran Firehose tertentu. Jika Anda membutuhkan lebih banyak partisi, Anda dapat membuat lebih banyak aliran Firehose dan mendistribusikan partisi aktif di dalamnya.

  • Saat partisi dinamis pada aliran Firehose diaktifkan, throughput maksimal 1 GB per detik didukung untuk setiap partisi aktif.

  • Setiap akun akan memiliki kuota berikut untuk jumlah aliran Firehose per Wilayah:

    • AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (Oregon), Eropa (Irlandia), Asia Pasifik (Tokyo): 5.000 aliran Firehose

    • Eropa (Frankfurt), Eropa (London), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Seoul), Asia Pasifik (Mumbai), (AS-Barat), Kanada AWS GovCloud (Barat), Kanada (Tengah): 2.000 aliran Firehose

    • Eropa (Paris), Eropa (Milan), Eropa (Stockholm), Asia Pasifik (Hong Kong), Asia Pasifik (Osaka), Amerika Selatan (Sao Paulo), Tiongkok (Ningxia), Tiongkok (Beijing), Timur Tengah (Bahrain), (AS-Timur) AWS GovCloud , Afrika (Cape Town): 500 aliran Firehose

    • Eropa (Zurich), Eropa (Spanyol), Asia Pasifik (Hyderabad), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Timur Tengah (UEA), Israel (Tel Aviv), Kanada Barat (Calgary), Kanada (Tengah), Asia Pasifik (Malaysia), Asia Pasifik (Thailand), Meksiko (Tengah): 100 aliran Firehose

    • Jika Anda melebihi jumlah ini, panggilan ke CreateDeliveryStream akan menghasilkan pengecualian LimitExceededException. Untuk menambah kuota ini, Anda dapat menggunakan Service Quotas jika tersedia di Wilayah Anda. Untuk informasi tentang penggunaan Service Quotas, lihat Meminta Peningkatan Kuota. Jika Service Quotas tidak tersedia di Wilayah Anda, Anda dapat menggunakan formulir Amazon Data Firehose Limits untuk meminta kenaikan.

  • Ketika Direct PUT dikonfigurasi sebagai sumber data, setiap aliran Firehose menyediakan kuota gabungan untuk PutRecorddan permintaan berikut: PutRecordBatch

    • Untuk AS Timur (Virginia N.), AS Barat (Oregon), dan Eropa (Irlandia): 500.000. records/second, 2,000 requests/second, and 5 MiB/second

    • Untuk lainnya Wilayah AWS: 100.000records/second, 1,000 requests/second, and 1 MiB/second.

    Jika aliran PUT Langsung mengalami pelambatan karena volume konsumsi data yang lebih tinggi yang melebihi kapasitas throughput aliran Firehose, Amazon Data Firehose secara otomatis meningkatkan batas throughput aliran hingga throttling terisi. Bergantung pada peningkatan throughput dan throttling, Firehose mungkin membutuhkan waktu lebih lama untuk meningkatkan throughput aliran ke tingkat yang diinginkan. Karena itu, terus coba lagi catatan menelan data yang gagal. Jika Anda mengharapkan volume data meningkat dalam ledakan besar yang tiba-tiba, atau jika aliran baru Anda membutuhkan throughput yang lebih tinggi daripada batas throughput default, mintalah untuk meningkatkan batas throughput.

    Untuk meminta peningkatan kuota, gunakan formulir Batas Firehose Data Amazon. Ketiga kuota tersebut diskalakan secara proporsional. Misalnya, jika Anda meningkatkan kuota throughput di AS Timur (Virginia N.), AS Barat (Oregon), atau Eropa (Irlandia) menjadi 10. MiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/second

    catatan

    Jangan gunakan batas dan kuota tingkat sumber daya sebagai cara untuk mengontrol penggunaan layanan Anda.

    penting

    Jika kuota meningkat jauh lebih tinggi daripada lalu lintas berjalan, hal itu menyebabkan batch pengiriman yang kecil ke tujuan. Hal ini tidak efisien dan dapat mengakibatkan biaya yang lebih tinggi di layanan tujuan. Pastikan untuk meningkatkan kuota hanya untuk mencocokkan lalu lintas berjalan saat ini, dan tingkatkan kuota lebih lanjut jika lalu lintas meningkat.

    penting

    Perhatikan bahwa catatan data yang lebih kecil dapat menyebabkan biaya yang lebih tinggi. Harga konsumsi Firehose didasarkan pada jumlah catatan data yang Anda kirim ke layanan, kali ukuran setiap catatan yang dibulatkan ke 5KB terdekat (5120 byte). Jadi, untuk volume data masuk yang sama (byte), jika ada lebih banyak catatan masuk, biaya yang dikenakan akan lebih tinggi. Misalnya, jika total volume data yang masuk adalah 5MiB, mengirim 5MiB data menggunakan lebih dari 5.000 catatan akan memakan biaya lebih tinggi dibandingkan dengan mengirim jumlah data yang sama menggunakan 1.000 catatan. Untuk informasi selengkapnya, lihat Amazon Data Firehose di Kalkulator.AWS

    catatan

    Jika Kinesis Data Streams dikonfigurasi sebagai sumber data, kuota ini tidak berlaku, dan Amazon Data Firehose menskalakan naik dan turun tanpa batas.

  • Setiap aliran Firehose menyimpan catatan data hingga 24 jam jika tujuan pengiriman tidak tersedia dan jika sumbernya. DirectPut Jika sumbernya adalah Kinesis Data Streams (KDS) dan tujuan tidak tersedia, maka data akan disimpan berdasarkan konfigurasi KDS Anda.

  • Ukuran maksimum catatan yang dikirim ke Amazon Data Firehose, sebelum pengkodean base64, adalah 1.000 KiB.

  • PutRecordBatchOperasi dapat memakan waktu hingga 500 catatan per panggilan atau 4 MiB per panggilan, mana yang lebih kecil. Kuota ini tidak bisa diubah.

  • Masing-masing operasi berikut dapat memberikan hingga lima pemanggilan per detik, yang merupakan batas sulit.

  • Petunjuk interval buffer berkisar antara 60 detik hingga 900 detik.

  • Untuk pengiriman dari Amazon Data Firehose ke Amazon Redshift, hanya klaster Amazon Redshift yang dapat diakses publik yang didukung.

  • Rentang durasi coba lagi adalah dari 0 detik hingga 7.200 detik untuk Amazon Redshift OpenSearch dan pengiriman Layanan.

  • Firehose mendukung versi Elasticsearch — 1.5, 2.3, 5.1, 5.3, 5.5, 5.6, serta semua versi 6.*, 7.*, dan 8.*. Firehose mendukung Amazon OpenSearch Service 2.x hingga 2.11.

  • Jika tujuannya adalah Amazon S3, Amazon Redshift, atau OpenSearch Service, Amazon Data Firehose memungkinkan hingga 5 pemanggilan Lambda yang luar biasa per pecahan. Untuk Splunk, kuotanya adalah 10 panggilan Lambda yang tertunda per serpihan.

  • Anda dapat menggunakan tipe CMK CUSTOMER_MANAGED_CMK untuk mengenkripsi hingga 500 aliran Firehose.

PrivasiSyarat situsPreferensi cookie
© 2025, Amazon Web Services, Inc. atau afiliasinya. Semua hak dilindungi undang-undang.