Selamat datang di Panduan MSK Pengembang Amazon - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Selamat datang di Panduan MSK Pengembang Amazon

Selamat datang di Panduan MSK Pengembang Amazon. Topik berikut dapat membantu Anda mulai menggunakan panduan ini, berdasarkan apa yang Anda coba lakukan.

Untuk sorotan, detail produk, dan harga, lihat halaman layanan untuk Amazon MSK.

Apa yang dimaksud dengan Amazon MSK?

Amazon Managed Streaming for Apache Kafka (MSKAmazon) adalah layanan yang dikelola sepenuhnya yang memungkinkan Anda membangun dan menjalankan aplikasi yang menggunakan Apache Kafka untuk memproses data streaming. Amazon MSK menyediakan operasi bidang kontrol, seperti untuk membuat, memperbarui, dan menghapus cluster. Ini memungkinkan Anda menggunakan operasi data-plane Apache Kafka, seperti untuk memproduksi dan mengkonsumsi data. Ini menjalankan versi open-source Apache Kafka. Ini berarti aplikasi, perkakas, dan plugin yang ada dari mitra dan komunitas Apache Kafka didukung tanpa memerlukan perubahan pada kode aplikasi. Anda dapat menggunakan Amazon MSK untuk membuat cluster yang menggunakan salah satu versi Apache Kafka yang tercantum di bawah. Versi Apache Kafka yang didukung

Komponen-komponen ini menggambarkan arsitektur AmazonMSK:

  • Node broker — Saat membuat MSK klaster Amazon, Anda menentukan berapa banyak node broker yang MSK ingin dibuat Amazon di setiap Availability Zone. Minimal adalah satu broker per Availability Zone. Setiap Availability Zone memiliki subnet virtual private cloud (VPC) sendiri. Amazon MSK Provisioned menawarkan dua jenis broker - MSKPialang Standar Amazon dan. Pialang Amazon MSK Express Di MSKTanpa Server, MSK mengelola node broker yang digunakan untuk menangani lalu lintas Anda dan Anda hanya menyediakan sumber daya server Kafka Anda di tingkat cluster.

  • ZooKeeper node — Amazon MSK juga membuat ZooKeeper node Apache untuk Anda. Apache ZooKeeper adalah server open-source yang memungkinkan koordinasi terdistribusi yang sangat andal.

  • KRaftPengontrol —Komunitas Apache Kafka dikembangkan KRaft untuk menggantikan Apache untuk manajemen metadata di cluster Apache ZooKeeper Kafka. Dalam KRaft mode, metadata cluster disebarkan dalam sekelompok pengendali Kafka, yang merupakan bagian dari cluster Kafka, bukan di seluruh node. ZooKeeper KRaftpengendali disertakan tanpa biaya tambahan untuk Anda, dan tidak memerlukan pengaturan atau manajemen tambahan dari Anda.

    catatan

    Dari Apache Kafka versi 3.7.x aktifMSK, Anda dapat membuat cluster yang menggunakan KRaft mode alih-alih mode. ZooKeeper

  • Produsen, konsumen, dan pembuat topik — Amazon MSK memungkinkan Anda menggunakan operasi pesawat data Apache Kafka untuk membuat topik dan memproduksi serta mengkonsumsi data.

  • Operasi Cluster Anda dapat menggunakan AWS Management Console, AWS Command Line Interface (AWS CLI), atau APIs in SDK untuk melakukan operasi bidang kontrol. Misalnya, Anda dapat membuat atau menghapus MSK klaster Amazon, mencantumkan semua cluster di akun, melihat properti cluster, dan memperbarui jumlah dan jenis broker dalam sebuah cluster.

Amazon MSK mendeteksi dan secara otomatis pulih dari skenario kegagalan yang paling umum untuk cluster sehingga produsen dan aplikasi konsumen Anda dapat melanjutkan operasi tulis dan baca mereka dengan dampak minimal. Ketika Amazon MSK mendeteksi kegagalan broker, itu mengurangi kegagalan atau mengganti broker yang tidak sehat atau tidak terjangkau dengan yang baru. Selain itu, jika memungkinkan, ia menggunakan kembali penyimpanan dari broker yang lebih tua untuk mengurangi data yang perlu ditiru Apache Kafka. Dampak ketersediaan Anda terbatas pada waktu yang diperlukan Amazon MSK untuk menyelesaikan deteksi dan pemulihan. Setelah pemulihan, aplikasi produsen dan konsumen Anda dapat terus berkomunikasi dengan alamat IP broker yang sama yang mereka gunakan sebelum kegagalan.