View a markdown version of this page

Membuat cluster MSK Provisioned menggunakan Konsol Manajemen AWS - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat cluster MSK Provisioned menggunakan Konsol Manajemen AWS

Prosedur dalam topik ini menjelaskan tugas umum membuat cluster MSK Provisioned menggunakan opsi Custom create di. Konsol Manajemen AWS Menggunakan opsi lain yang tersedia di Konsol Manajemen AWS, Anda juga dapat membuat yang berikut:

Prosedur dalam topik ini

  1. Buka konsol Amazon MSK dihttps://console.aws.amazon.com/msk/.

  2. Pilih Buat klaster.

  3. Untuk metode pembuatan cluster, pilih Custom create.

  4. Untuk nama Cluster, tentukan nama yang unik dan berisi tidak lebih dari 64 karakter.

  5. Untuk tipe Cluster, pilih Provisioned.

  6. Untuk versi Apache Kafka, pilih versi yang akan dijalankan di broker. Untuk melihat perbandingan fitur Amazon MSK yang didukung oleh setiap versi Apache Kafka, pilih Lihat kompatibilitas versi.

  7. Di bagian Broker, lakukan hal berikut:

    1. Untuk jenis Broker, pilih salah satu opsi berikut:

      • Broker ekspres: High-performance, broker yang dapat diskalakan dengan penyimpanan virtual yang dikelola sepenuhnya. Pilih jenis broker ini untuk aplikasi throughput tinggi yang menuntut.

      • Pialang standar: Broker Kafka tradisional dengan kontrol konfigurasi penuh. Pilih jenis broker ini untuk beban kerja tujuan umum dengan persyaratan throughput sedang.

      Untuk informasi lebih lanjut tentang jenis broker ini, lihatJenis broker Amazon MSK.

    2. Untuk ukuran Broker, pilih ukuran yang akan digunakan untuk cluster berdasarkan kebutuhan komputasi, memori, dan penyimpanan cluster.

    3. Untuk Jumlah zona, pilih jumlah AWS Zona Ketersediaan broker yang didistribusikan.

      Broker ekspres memerlukan tiga Zona Ketersediaan untuk ketersediaan yang lebih tinggi.

    4. Untuk Broker per zona, tentukan jumlah broker yang ingin dibuat Amazon MSK di setiap Zona Ketersediaan. Minimal adalah satu broker per Availability Zone dan maksimum adalah 30 broker per cluster untuk ZooKeeper-based cluster dan 60 broker per cluster untuk KRaft-based cluster.

Prosedur ini menjelaskan bagaimana Anda dapat mengonfigurasi kebutuhan penyimpanan data Anda di semua broker dan menentukan mode penyimpanan. Ini membantu Anda menentukan persyaratan penyimpanan data berdasarkan kebutuhan beban kerja Anda. Selain itu, prosedur ini menjelaskan pengaturan konfigurasi cluster yang mengontrol bagaimana broker Anda beroperasi. Pengaturan ini mencakup konfigurasi broker, pengaturan topik default, dan kebijakan penyimpanan berjenjang.

  1. Jika Anda memilih jenis broker sebagai Standar, lakukan hal berikut di bagian Penyimpanan:

    1. Untuk Penyimpanan, pilih jumlah penyimpanan awal yang ingin dimiliki cluster Anda. Anda tidak dapat mengurangi kapasitas penyimpanan setelah membuat cluster.

    2. (Opsional) Bergantung pada ukuran broker (ukuran instans) yang Anda pilih, Anda juga dapat menentukan throughput penyimpanan yang disediakan per broker. Opsi ini memungkinkan Anda mengalokasikan kinerja input dan output (I/O) khusus untuk volume Amazon EBS dari setiap broker.

      Untuk mengaktifkan opsi ini, pilih ukuran broker (ukuran instance) kafka.m5.4xlarge atau lebih besar untuk x86, dan kafka.m7g.2xlarge atau lebih besar untuk instance. Graviton-based Kemudian, pilih kotak centang Aktifkan throughput penyimpanan yang disediakan. Dengan memilih kotak centang ini, Anda dapat secara manual mengatur throughput minimum 250 MiB per detik. Ini berguna untuk I/O-intensive beban kerja atau aplikasi yang memerlukan kinerja penyimpanan berkecepatan tinggi dan dapat diprediksi. Untuk informasi selengkapnya, lihat Menyediakan throughput penyimpanan untuk broker Standar di cluster Amazon MSK.

    3. Untuk mode penyimpanan Cluster, tentukan bagaimana data disimpan dan dikelola dalam cluster Anda. Opsi ini menentukan jenis dan konfigurasi penyimpanan yang digunakan untuk broker Anda. Pilih salah satu opsi berikut:

      • Hanya penyimpanan EBS: Menyimpan semua data topik secara lokal di volume Amazon Elastic Block Store (Amazon EBS) yang terpasang pada setiap broker. Pilih mode ini untuk kebutuhan kinerja yang konsisten dan akses cepat ke pesan terbaru.

      • Penyimpanan berjenjang dan penyimpanan EBS: Menggabungkan data Amazon EBS lokal dengan penyimpanan jarak jauh yang hemat biaya untuk kumpulan data besar di Amazon S3. Mode ini mengurangi biaya penyimpanan Amazon EBS, mendukung retensi data yang lebih lama, dan menskalakan penyimpanan secara otomatis tanpa intervensi manual. Pilih mode ini jika Anda ingin menyimpan data untuk jangka waktu yang lebih lama dengan biaya lebih rendah, atau mengharapkan kebutuhan penyimpanan Anda tumbuh secara signifikan.

    catatan

    Anda tidak perlu mengelola penyimpanan untuk broker Express.

  2. Untuk konfigurasi Cluster, tentukan salah satu opsi berikut untuk menentukan perilaku cluster Anda:

    • Konfigurasi default Amazon MSK: Berisi kumpulan konfigurasi yang telah ditentukan sebelumnya yang dioptimalkan untuk kasus penggunaan tujuan umum. Pilih opsi ini untuk penyiapan dan penerapan cluster cepat. Untuk informasi tentang konfigurasi Amazon MSK, lihatKonfigurasi Amazon MSK yang disediakan.

    • Konfigurasi khusus: Memungkinkan Anda menentukan pengaturan broker dan topik Anda sendiri. Anda dapat memilih konfigurasi kustom yang sudah ada dari daftar atau membuat konfigurasi kustom baru. Pilih opsi ini untuk kontrol yang disesuaikan untuk broker Anda, seperti penyetelan kinerja tertentu, pengaturan keamanan, dan banyak lagi.

  3. Pilih Berikutnya untuk melanjutkan.

Konfigurasi jaringan menentukan bagaimana cluster Anda digunakan dalam AWS infrastruktur Anda. Ini termasuk VPC, Zona Ketersediaan dan subnet, dan grup keamanan yang mengontrol jaringan, ketersediaan, dan akses.

  1. Untuk Jaringan, lakukan hal berikut:

    1. Pilih VPC yang ingin Anda gunakan untuk cluster.

    2. Berdasarkan jumlah Zona Ketersediaan yang Anda pilih sebelumnya, tentukan Zona Ketersediaan dan subnet tempat broker akan menerapkan.

      Untuk broker Standar di Wilayah AS Barat (California Utara), Anda memerlukan dua subnet di dua Zona Ketersediaan yang berbeda. Di semua Wilayah lain di mana Amazon MSK tersedia, Anda dapat menentukan dua atau tiga subnet. Semua subnet Anda harus berada di Zona Ketersediaan yang berbeda.

      Untuk broker Express, Anda memerlukan tiga subnet di tiga Zona Ketersediaan yang berbeda.

      Saat Anda membuat cluster MSK Provisioned, MSK mendistribusikan node broker secara merata di atas subnet yang Anda tentukan.

    3. Untuk grup Keamanan di Amazon EC2, pilih atau buat satu atau beberapa grup keamanan yang ingin Anda berikan akses ke cluster Anda. Grup keamanan Amazon EC2 ini mengontrol lalu lintas masuk dan keluar ke broker Anda. Misalnya, kelompok keamanan mesin klien.

      Jika Anda menentukan grup keamanan yang dibagikan dengan Anda, Anda harus memastikan bahwa Anda memiliki izin untuk menggunakannya. Secara khusus, Anda memerlukan izin ec2:DescribeSecurityGroups. Untuk informasi selengkapnya, lihat Menghubungkan ke cluster MSK.

  2. Pilih Berikutnya untuk melanjutkan.

  1. Di bagian Pengaturan keamanan, lakukan hal berikut:

    1. Pilih satu atau beberapa metode otentikasi dan otorisasi berikut untuk mengontrol akses klien ke cluster Kafka Anda:

      • Akses yang tidak diautentikasi: Memungkinkan klien mengakses cluster tanpa memberikan kredentif otentikasi apa pun. Metode ini merupakan risiko keamanan dan mungkin tidak sesuai dengan praktik terbaik keamanan. Untuk informasi selengkapnya, lihat msk- unrestricted-access-check.

      • Otentikasi berbasis peran IAM: Mengaktifkan otentikasi dan otorisasi klien menggunakan IAM. AWS users/roles Metode ini memberikan kontrol halus atas akses cluster melalui kebijakan IAM. Kami merekomendasikan metode ini untuk aplikasi yang sudah berjalan AWS.

      • SASL/SCRAM otentikasi: Memerlukan klien untuk memberikan kredentif nama pengguna dan kata sandi yang disimpan AWS Secrets Manager untuk otentikasi. Amazon MSK mengambil kredenSIAL ini dari Secrets Manager dan mengotentikasi pengguna dengan aman.

        Untuk mengatur kredentif masuk mengenai otentikasi untuk cluster, pertama buat sumber daya Rahasia di Manajer Rahasia. Kemudian, kaitkan kredentif masuk dengan rahasia itu. Untuk informasi selengkapnya tentang metode kontrol akses ini, lihatMenyiapkan SASL/SCRAM otentikasi untuk cluster Amazon MSK.

      • Otentikasi klien TLS melalui AWS Certificate Manager (ACM): Memungkinkan otentikasi timbal balik antara klien dan broker menggunakan sertifikat digital. Anda harus mengkonfigurasi AWS Private Certificate Authority (AWS Private CA) sama atau berbeda dengan Akun AWS cluster Anda.

        Kami sangat menyarankan menggunakan AWS Private CA s independen untuk setiap cluster MSK saat menerapkan MTL. Ini memastikan bahwa sertifikat TLS yang ditandatangani oleh PCA hanya mengautentikasi dengan satu cluster MSK, sehingga mempertahankan kontrol akses yang ketat.

  2. Di Enkripsi, pilih jenis kunci KMS yang ingin Anda gunakan untuk mengenkripsi data saat diam. Untuk informasi selengkapnya, lihat Enkripsi Amazon MSK saat diam.

    Mengenkripsi data diam akan melindungi integritas data yang disimpan, sementara mengenkripsi data bergerak akan melindungi kerahasiaan data dari pemantauan jaringan selama transfer.

  3. Pilih Berikutnya untuk melanjutkan.

Prosedur ini menjelaskan cara mengatur metrik broker Anda, dan mengumpulkan dan mengirimkan log broker. Dengan pengaturan ini, Anda dapat mengamati dan menganalisis kesehatan, kinerja, dan memecahkan masalah cluster Anda. Untuk informasi selengkapnya, lihat Memantau cluster yang disediakan Amazon MSK.

  1. Untuk CloudWatch metrik Amazon untuk cluster ini, pilih salah satu level pemantauan berikut. Metrik yang dikumpulkan pada setiap tingkat pemantauan diintegrasikan CloudWatch untuk visualisasi dan peringatan.

    1. Pemantauan dasar: Menyediakan satu set metrik tingkat cluster penting tanpa biaya tambahan. Level ini baik untuk sebagian besar kasus penggunaan dengan kebutuhan pemantauan umum.

    2. Pemantauan tingkat broker yang ditingkatkan: Menyediakan metrik broker terperinci dengan biaya tambahan. Level ini mencakup pemantauan dasar dan metrik broker yang lebih terperinci, seperti metrik penyimpanan berjen in/out jang byte broker lain, total waktu untuk read/write operasi. Anda membayar metrik di level ini, sedangkan metrik tingkat dasar tetap gratis.

    3. Pemantauan tingkat topik yang ditingkatkan: Menyediakan metrik untuk topik individual dengan biaya tambahan. Pilih tingkat ini untuk mendapatkan tampilan yang lebih terperinci tentang kinerja topik di seluruh broker. Tingkat ini mencakup pemantauan tingkat broker yang disempurnakan dan metrik tingkat topik, seperti metrik penyimpanan berjenjang untuk topik tertentu dan sejumlah pesan yang diterima per detik.

    4. Pemantauan tingkat partisi yang ditingkatkan: Menyediakan tampilan metrik paling terperinci per partisi dengan biaya tambahan. Pilih tingkat ini untuk mendapatkan pemantauan paling terperinci dengan mendeteksi metrik untuk setiap partisi dalam setiap topik di seluruh broker. Tingkat ini mencakup pemantauan tingkat topik yang disempurnakan dan metrik khusus partisi yang sangat terperinci, seperti metrik offset lag.

    Untuk informasi selengkapnya tentang metrik yang tersedia untuk jenis broker Standar dan Ekspres di setiap tingkat pemantauan ini, lihat CloudWatch metrik untuk broker standar danCloudWatch metrik untuk broker Express.

  2. (Opsional) Jika Anda ingin mengekspor metrik dalam format Prometheus menggunakan JMX Exporter, Node Exporter, atau keduanya, pilih Aktifkan pemantauan terbuka dengan Prometheus. Untuk informasi selengkapnya tentang metrik ini, lihat Monitor dengan Prometheus.

  3. (Opsional) Untuk mengonfigurasi cluster MSK Anda untuk mengirimkan log broker ke berbagai Layanan AWS untuk pemecahan masalah dan audit, pilih satu atau beberapa opsi berikut. Amazon MSK tidak membuat sumber daya tujuan ini untuk Anda jika sumber daya tersebut belum ada. Untuk informasi selengkapnya, lihat Log broker.

    • Kirim ke Amazon CloudWatch Logs: Mengirim log ke CloudWatch dengan kemampuan pengelompokan, pencarian, dan visualisasi. Anda dapat menanyakan dan menganalisis log tanpa meninggalkan Konsol Manajemen AWS.

    • Kirim ke Amazon S3: Menyimpan log sebagai file di bucket Amazon S3 untuk pengarsipan jangka panjang dan analisis batch.

    • Kirim ke Amazon Data Firehose: Kirim log ke Firehose untuk pengiriman otomatis ke OpenSearch Layanan Amazon untuk pemecahan masalah waktu nyata.

  4. (Opsional) Untuk membantu mengidentifikasi, mengatur, atau mencari cluster Anda, pilih Tambahkan tag baru untuk menambahkan tag sebagai pasangan kunci-nilai. Misalnya, tambahkan tag ke cluster Anda dengan pasangan kunci-nilai Load testing dan. Test

    Untuk informasi selengkapnya tentang menggunakan tag di cluster Anda, lihatMenandai kluster MSK Amazon.

  5. Pilih Berikutnya untuk melanjutkan.

  1. Tinjau pengaturan untuk cluster Anda.

    Pilih Edit atau Sebelumnya untuk mengubah salah satu pengaturan yang Anda tentukan sebelumnya atau kembali ke layar konsol sebelumnya.

  2. Pilih Buat klaster.

  3. Periksa status cluster ini di bagian Ringkasan Cluster pada halaman detail Cluster. Status berubah dari Membuat menjadi Aktif saat Amazon MSK menyediakan cluster. Ketika statusnya Aktif, Anda dapat terhubung ke cluster. Untuk informasi selengkapnya tentang status cluster, lihatMemahami status cluster yang disediakan MSK.