View a markdown version of this page

Penyimpanan berjenjang untuk broker Standar - Amazon Managed Streaming untuk Apache Kafka
Persyaratan penyimpanan berjenjangBatasan penyimpanan berjenjang

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penyimpanan berjenjang untuk broker Standar

Penyimpanan berjenjang adalah tingkat penyimpanan berbiaya rendah untuk Amazon MSK yang dapat diskalakan ke penyimpanan yang hampir tidak terbatas, sehingga hemat biaya untuk membangun aplikasi data streaming.

Anda dapat membuat cluster Amazon MSK yang dikonfigurasi dengan penyimpanan berjenjang yang menyeimbangkan kinerja dan biaya. Amazon MSK menyimpan data streaming dalam tingkat penyimpanan primer yang dioptimalkan kinerja hingga mencapai batas retensi topik Apache Kafka. Kemudian, Amazon MSK secara otomatis memindahkan data ke tingkat penyimpanan berbiaya rendah baru.

Ketika aplikasi Anda mulai membaca data dari penyimpanan berjenjang, Anda dapat mengharapkan peningkatan latensi baca untuk beberapa byte pertama. Saat Anda mulai membaca data yang tersisa secara berurutan dari tingkat berbiaya rendah, Anda dapat mengharapkan latensi yang mirip dengan tingkat penyimpanan utama. Anda tidak perlu menyediakan penyimpanan apa pun untuk penyimpanan bertingkat berbiaya rendah atau mengelola infrastruktur. Anda dapat menyimpan sejumlah data dan membayar hanya untuk apa yang Anda gunakan. Fitur ini kompatibel dengan API yang diperkenalkan di KIP-405: Kafka Tiered Storage.

Untuk informasi tentang ukuran, pemantauan, dan pengoptimalan cluster penyimpanan berjenjang MSK Anda, lihat Praktik terbaik untuk menjalankan beban kerja produksi menggunakan penyimpanan berjenjang Amazon MSK.

Berikut adalah beberapa fitur penyimpanan berjenjang:

  • Anda dapat menskalakan ke penyimpanan yang hampir tidak terbatas. Anda tidak perlu menebak cara menskalakan infrastruktur Apache Kafka Anda.

  • Anda dapat menyimpan data lebih lama di topik Apache Kafka Anda, atau meningkatkan penyimpanan topik Anda, tanpa perlu menambah jumlah broker.

  • Ini menyediakan buffer keamanan durasi yang lebih lama untuk menangani penundaan tak terduga dalam pemrosesan.

  • Anda dapat memproses ulang data lama dalam urutan produksi yang tepat dengan kode pemrosesan aliran yang ada dan API Kafka.

  • Partisi menyeimbangkan kembali lebih cepat karena data pada penyimpanan sekunder tidak memerlukan replikasi di seluruh disk broker.

  • Data antara broker dan penyimpanan berjenjang bergerak dalam VPC dan tidak berjalan melalui internet.

  • Mesin klien dapat menggunakan proses yang sama untuk terhubung ke cluster baru dengan penyimpanan berjenjang diaktifkan seperti halnya untuk terhubung ke cluster tanpa penyimpanan berjenjang diaktifkan. Lihat Membuat mesin klien.

Persyaratan penyimpanan berjenjang untuk cluster Amazon MSK

  • Anda harus menggunakan klien Apache Kafka versi 3.0.0 atau lebih tinggi untuk membuat topik baru dengan penyimpanan berjenjang diaktifkan. Untuk mengalihkan topik yang ada ke penyimpanan berjenjang, Anda dapat mengkonfigurasi ulang mesin klien yang menggunakan versi klien Kafka yang lebih rendah dari 3.0.0 (versi Apache Kafka minimum yang didukung adalah 2.8.2.bertingkat) untuk mengaktifkan penyimpanan berjenjang. Lihat Langkah 4: Buat topik di cluster Amazon MSK.

  • Cluster Amazon MSK dengan penyimpanan berjenjang diaktifkan harus menggunakan versi 3.6.0 atau lebih tinggi, atau 2.8.2 bertingkat.

Kendala dan batasan penyimpanan berjenjang untuk cluster Amazon MSK

Penyimpanan berjenjang memiliki batasan dan batasan berikut:

  • Pastikan klien tidak dikonfigurasi read_committed saat membaca dari remote_tier di Amazon MSK, kecuali aplikasi secara aktif menggunakan fitur transaksi.

  • Penyimpanan berjenjang tidak tersedia di wilayah AWS GovCloud (AS).

  • Penyimpanan berjenjang hanya berlaku untuk kluster mode yang disediakan.

  • Penyimpanan berjenjang tidak mendukung ukuran broker t3.small.

  • Periode retensi minimum dalam penyimpanan berbiaya rendah adalah 3 hari. Tidak ada periode retensi minimum untuk penyimpanan primer.

  • Penyimpanan berjenjang tidak mendukung direktori Multiple Log pada broker (fitur terkait JBOD).

  • Penyimpanan berjenjang tidak mendukung topik yang dipadatkan. Pastikan semua topik yang mengaktifkan penyimpanan berjenjang hanya memiliki cleanup.policy yang dikonfigurasi menjadi 'DELETE' saja.

  • Cluster penyimpanan berjenjang tidak mendukung perubahan kebijakan log.cleanup.policy untuk topik setelah dibuat.

  • Penyimpanan berjenjang dapat dinonaktifkan untuk topik individual tetapi tidak untuk seluruh cluster. Setelah dinonaktifkan, penyimpanan berjenjang tidak dapat diaktifkan kembali untuk suatu topik.

  • Jika Anda menggunakan Amazon MSK versi 2.8.2.tiered, Anda hanya dapat bermigrasi ke versi Apache Kafka yang didukung penyimpanan berjenjang lainnya. Jika Anda tidak ingin terus menggunakan versi yang didukung penyimpanan berjenjang, buat cluster MSK baru dan migrasikan data Anda ke sana.

  • Alat kafka-log-dirs tidak dapat melaporkan ukuran data penyimpanan berjenjang. Alat ini hanya melaporkan ukuran segmen log di penyimpanan utama.

Untuk informasi tentang pengaturan dan batasan default yang harus Anda perhatikan saat mengonfigurasi penyimpanan berjenjang di tingkat topik, lihatPedoman untuk konfigurasi tingkat topik penyimpanan berjenjang Amazon MSK.