Selamat datang di Panduan Pengembang MSK Amazon - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Selamat datang di Panduan Pengembang MSK Amazon

Selamat datang di Panduan Pengembang MSK Amazon. Topik berikut dapat membantu Anda mulai menggunakan panduan ini, berdasarkan apa yang Anda coba lakukan.

Untuk sorotan, detail produk, dan harga, lihat halaman layanan untuk Amazon MSK.

Apa itu Amazon MSK?

Amazon Managed Streaming for Apache Kafka (Amazon MSK) adalah layanan yang dikelola sepenuhnya yang memungkinkan Anda membangun dan menjalankan aplikasi yang menggunakan Apache Kafka untuk memproses data streaming. Amazon MSK menyediakan operasi bidang kontrol, seperti untuk membuat, memperbarui, dan menghapus cluster. Ini memungkinkan Anda menggunakan operasi data-plane Apache Kafka, seperti untuk memproduksi dan mengkonsumsi data. Ini menjalankan versi open-source Apache Kafka. Ini berarti aplikasi, perkakas, dan plugin yang ada dari mitra dan komunitas Apache Kafka didukung tanpa memerlukan perubahan pada kode aplikasi. Anda dapat menggunakan Amazon MSK untuk membuat cluster yang menggunakan salah satu versi Apache Kafka yang tercantum di bawah. Versi Apache Kafka yang didukung

Komponen-komponen ini menggambarkan arsitektur Amazon MSK:

  • Node broker — Saat membuat klaster MSK Amazon, Anda menentukan berapa banyak node broker yang ingin dibuat Amazon MSK di setiap Availability Zone. Minimal adalah satu broker per Availability Zone. Setiap Availability Zone memiliki subnet virtual private cloud (VPC) sendiri.

  • ZooKeeper node — Amazon MSK juga membuat ZooKeeper node Apache untuk Anda. Apache ZooKeeper adalah server open-source yang memungkinkan koordinasi terdistribusi yang sangat andal.

  • Pengontrol Kraft —Komunitas Apache Kafka mengembangkan kRAFT untuk menggantikan Apache untuk manajemen metadata di cluster Apache ZooKeeper Kafka. Dalam mode kRAFT, metadata cluster disebarkan dalam sekelompok pengendali Kafka, yang merupakan bagian dari cluster Kafka, bukan di seluruh node. ZooKeeper Pengontrol Kraft disertakan tanpa biaya tambahan untuk Anda, dan tidak memerlukan pengaturan atau manajemen tambahan dari Anda.

    catatan

    Dari Apache Kafka versi 3.7.x di MSK, Anda dapat membuat cluster yang menggunakan mode Kraft alih-alih mode. ZooKeeper

  • Produsen, konsumen, dan pembuat topik — Amazon MSK memungkinkan Anda menggunakan operasi pesawat data Apache Kafka untuk membuat topik dan memproduksi serta mengkonsumsi data.

  • Operasi Cluster Anda dapat menggunakan AWS Management Console, AWS Command Line Interface (AWS CLI), atau API di SDK untuk melakukan operasi bidang kontrol. Misalnya, Anda dapat membuat atau menghapus kluster MSK Amazon, mencantumkan semua cluster di akun, melihat properti cluster, dan memperbarui jumlah dan jenis broker dalam sebuah cluster.

Amazon MSK mendeteksi dan secara otomatis pulih dari skenario kegagalan yang paling umum untuk cluster sehingga produsen dan aplikasi konsumen Anda dapat melanjutkan operasi tulis dan baca mereka dengan dampak minimal. Ketika Amazon MSK mendeteksi kegagalan broker, itu mengurangi kegagalan atau mengganti broker yang tidak sehat atau tidak terjangkau dengan yang baru. Selain itu, jika memungkinkan, ia menggunakan kembali penyimpanan dari broker yang lebih tua untuk mengurangi data yang perlu ditiru Apache Kafka. Dampak ketersediaan Anda terbatas pada waktu yang diperlukan Amazon MSK untuk menyelesaikan deteksi dan pemulihan. Setelah pemulihan, aplikasi produsen dan konsumen Anda dapat terus berkomunikasi dengan alamat IP broker yang sama yang mereka gunakan sebelum kegagalan.