Penyimpanan berjenjang - Amazon Managed Streaming untuk Apache Kafka
Persyaratan penyimpanan berjenjangKendala dan batasan penyimpanan berjenjang

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penyimpanan berjenjang

Penyimpanan berjenjang adalah tingkat penyimpanan berbiaya rendah untuk Amazon MSK yang diskalakan ke penyimpanan yang hampir tidak terbatas, sehingga hemat biaya untuk membangun aplikasi data streaming.

Anda dapat membuat MSK klaster Amazon yang dikonfigurasi dengan penyimpanan berjenjang yang menyeimbangkan kinerja dan biaya. Amazon MSK menyimpan data streaming dalam tingkat penyimpanan utama yang dioptimalkan kinerja hingga mencapai batas retensi topik Apache Kafka. Kemudian, Amazon MSK secara otomatis memindahkan data ke tingkat penyimpanan berbiaya rendah yang baru.

Saat aplikasi Anda mulai membaca data dari penyimpanan berjenjang, Anda dapat mengharapkan peningkatan latensi baca untuk beberapa byte pertama. Saat Anda mulai membaca data yang tersisa secara berurutan dari tingkat berbiaya rendah, Anda dapat mengharapkan latensi yang mirip dengan tingkat penyimpanan utama. Anda tidak perlu menyediakan penyimpanan apa pun untuk penyimpanan berjenjang berbiaya rendah atau mengelola infrastruktur. Anda dapat menyimpan sejumlah data dan hanya membayar untuk apa yang Anda gunakan. Fitur ini kompatibel dengan yang APIs diperkenalkan di KIP-405: Kafka Tiered Storage.

Berikut adalah beberapa fitur penyimpanan berjenjang:

  • Anda dapat menskalakan ke penyimpanan yang hampir tidak terbatas. Anda tidak perlu menebak bagaimana menskalakan infrastruktur Apache Kafka Anda.

  • Anda dapat menyimpan data lebih lama di topik Apache Kafka Anda, atau meningkatkan penyimpanan topik Anda, tanpa perlu menambah jumlah broker.

  • Ini menyediakan buffer keamanan durasi yang lebih lama untuk menangani penundaan pemrosesan yang tidak terduga.

  • Anda dapat memproses ulang data lama dalam urutan produksi yang tepat dengan kode pemrosesan aliran yang ada dan KafkaAPIs.

  • Partisi menyeimbangkan kembali lebih cepat karena data pada penyimpanan sekunder tidak memerlukan replikasi di seluruh disk broker.

  • Data antara broker dan penyimpanan berjenjang bergerak di dalam VPC dan tidak melakukan perjalanan melalui internet.

  • Mesin klien dapat menggunakan proses yang sama untuk terhubung ke cluster baru dengan penyimpanan berjenjang diaktifkan seperti halnya untuk terhubung ke cluster tanpa penyimpanan berjenjang diaktifkan. Lihat Membuat mesin klien.

Persyaratan penyimpanan berjenjang

  • Anda harus menggunakan klien Apache Kafka versi 3.0.0 atau lebih tinggi untuk membuat topik baru dengan penyimpanan berjenjang diaktifkan. Untuk mentransisikan topik yang ada ke penyimpanan berjenjang, Anda dapat mengonfigurasi ulang mesin klien yang menggunakan versi klien Kafka yang lebih rendah dari 3.0.0 (versi Apache Kafka minimum yang didukung adalah 2.8.2.tiered) untuk mengaktifkan penyimpanan berjenjang. Lihat Langkah 4: Buat topik.

  • MSKCluster Amazon dengan penyimpanan berjenjang yang diaktifkan harus menggunakan versi 3.6.0 atau lebih tinggi, atau 2.8.2.tiered.

Kendala dan batasan penyimpanan berjenjang

Penyimpanan berjenjang memiliki kendala dan batasan berikut:

  • Penyimpanan berjenjang tidak tersedia di wilayah AWS GovCloud (AS).

  • Penyimpanan berjenjang hanya berlaku untuk cluster mode yang disediakan.

  • Penyimpanan berjenjang tidak mendukung ukuran broker t3.small.

  • Periode retensi minimum dalam penyimpanan berbiaya rendah adalah 3 hari. Tidak ada periode retensi minimum untuk penyimpanan primer.

  • Penyimpanan berjenjang tidak mendukung direktori Multiple Log pada broker (fitur JBOD terkait).

  • Penyimpanan berjenjang tidak mendukung topik yang dipadatkan. Pastikan bahwa semua topik yang telah mengaktifkan penyimpanan berjenjang memiliki cleanup.policy yang dikonfigurasi menjadi ''saja. DELETE

  • Penyimpanan Berjenjang dapat dinonaktifkan untuk topik individual tetapi tidak untuk seluruh cluster. Setelah dinonaktifkan, penyimpanan berjenjang tidak dapat diaktifkan kembali untuk suatu topik.

  • Jika Anda menggunakan Amazon MSK versi 2.8.2.tiered, Anda hanya dapat bermigrasi ke versi Apache Kafka yang didukung penyimpanan berjenjang lainnya. Jika Anda tidak ingin terus menggunakan versi yang didukung penyimpanan berjenjang, buat MSK klaster baru dan migrasi data Anda ke sana.

  • kafka-log-dirs Alat ini tidak dapat melaporkan ukuran data penyimpanan berjenjang. Alat ini hanya melaporkan ukuran segmen log di penyimpanan primer.