Langkah 4: Buat topik di cluster Amazon MSK

Buka konsol Amazon MSK dihttps://console.aws.amazon.com/msk/.

Di bilah navigasi, pilih Wilayah tempat Anda membuat cluster MSK.

Pilih cluster MSK.

Perhatikan versi Apache Kafka yang digunakan pada cluster.

Ganti instance nomor versi Amazon MSK dalam tutorial ini dengan versi yang diperoleh pada Langkah 3.

Hubungkan ke mesin klien Anda.

1. Buka konsol Amazon EC2 di https://console.aws.amazon.com/ec2/.

2. Di panel navigasi, pilih Instans. Kemudian, pilih kotak centang di samping nama mesin klien yang Anda buatLangkah 3: Buat mesin klien.

3. Pilih T ind akan, lalu pilih Hu bungkan. Ikuti petunjuk di konsol untuk menyambung ke mesin klien Anda.

Instal Java dan atur variabel lingkungan versi Kafka.

1. Instal Java pada mesin klien dengan menjalankan perintah berikut.

   sudo yum -y install java-11

2. Simpan versi Kafka dari cluster MSK Anda dalam variabel lingkungan,KAFKA_VERSION, seperti yang ditunjukkan pada perintah berikut. Anda akan membutuhkan informasi ini selama pengaturan.

   export KAFKA_VERSION={KAFKA VERSION}

   Misalnya, jika Anda menggunakan versi 3.6.0, gunakan perintah berikut.

   export KAFKA_VERSION=3.6.0

Unduh dan ekstrak Apache Kafka.

1. Jalankan perintah berikut untuk mengunduh Apache Kafka.

   wget https://archive.apache.org/dist/kafka/$KAFKA_VERSION/kafka_2.13-$KAFKA_VERSION.tgz

   catatan

   Daftar berikut menyajikan beberapa informasi unduhan Kafka alternatif yang dapat Anda gunakan, jika Anda mengalami masalah.

   • Jika Anda mengalami masalah konektivitas atau ingin menggunakan situs cermin, coba gunakan pemilih cermin Apache, seperti yang ditunjukkan pada perintah berikut.

     wget https://www.apache.org/dyn/closer.cgi?path=/kafka/$KAFKA_VERSION/kafka_2.13-$KAFKA_VERSION.tgz

   • Unduh versi yang sesuai langsung dari situs web https://kafka.apache.org/downloads Apache Kafka.

2. Jalankan perintah berikut di direktori tempat Anda mengunduh file TAR pada langkah sebelumnya.

   tar -xzf kafka_2.13-$KAFKA_VERSION.tgz

3. Simpan path lengkap ke direktori yang baru dibuat di dalam variabel KAFKA_ROOT lingkungan.

   export KAFKA_ROOT=$(pwd)/kafka_2.13-$KAFKA_VERSION

Siapkan otentikasi untuk cluster MSK Anda.

1. Temukan pustaka klien Amazon MSK IAM versi terbaru. Pustaka ini memungkinkan mesin klien Anda untuk mengakses cluster MSK menggunakan otentikasi IAM.

2. Dengan menggunakan perintah berikut, navigasikan ke $KAFKA_ROOT/libs direktori dan unduh Amazon MSK IAM JAR terkait yang Anda temukan di langkah sebelumnya. Pastikan untuk mengganti {LATEST VERSION} dengan nomor versi sebenarnya yang Anda unduh.

   cd $KAFKA_ROOT/libs

   wget https://github.com/aws/aws-msk-iam-auth/releases/latest/download/aws-msk-iam-auth-{LATEST VERSION}-all.jar

   catatan

   Sebelum menjalankan perintah Kafka apa pun yang berinteraksi dengan cluster MSK Anda, Anda mungkin perlu menambahkan file JAR Amazon MSK IAM ke jalur kelas Java Anda. Tetapkan variabel CLASSPATH lingkungan, seperti yang ditunjukkan pada contoh berikut.

   export CLASSPATH=$KAFKA_ROOT/libs/aws-msk-iam-auth-{LATEST VERSION}-all.jar

   Ini mengatur CLASSPATH untuk seluruh sesi Anda, membuat JAR tersedia untuk semua perintah Kafka berikutnya.

3. Buka $KAFKA_ROOT/config direktori untuk membuat file konfigurasi klien.

   cd $KAFKA_ROOT/config

4. Salin pengaturan properti berikut dan tempelkan ke file baru. Simpan file sebagai client.properties.

   security.protocol=SASL_SSL
   sasl.mechanism=AWS_MSK_IAM
   sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
   sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

(Opsional) Sesuaikan ukuran tumpukan Java untuk alat Kafka.

Jika Anda mengalami masalah terkait memori atau Anda bekerja dengan sejumlah besar topik atau partisi, Anda dapat menyesuaikan ukuran heap Java. Untuk melakukan ini, atur variabel KAFKA_HEAP_OPTS lingkungan sebelum menjalankan perintah Kafka.

Contoh berikut menetapkan ukuran heap maksimum dan awal menjadi 512 megabyte. Sesuaikan nilai-nilai ini sesuai dengan kebutuhan spesifik Anda dan sumber daya sistem yang tersedia.

export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"

Dapatkan informasi koneksi cluster Anda.

1. Buka konsol Amazon MSK dihttps://console.aws.amazon.com/msk/.

2. Tunggu status cluster Anda menjadi Aktif. Ini mungkin memakan waktu beberapa menit. Setelah status menjadi Aktif, pilih nama cluster. Ini membawa Anda ke halaman yang berisi ringkasan cluster.

3. Pilih Lihat informasi klien.

4. Salin string koneksi untuk titik akhir pribadi.

   Anda akan mendapatkan tiga titik akhir untuk masing-masing broker. Simpan salah satu string koneksi ini dalam variabel lingkunganBOOTSTRAP_SERVER, seperti yang ditunjukkan pada perintah berikut. Ganti <bootstrap-server-string> dengan nilai sebenarnya dari string koneksi.

   export BOOTSTRAP_SERVER=<bootstrap-server-string>

Jalankan perintah berikut untuk membuat topik.

$KAFKA_ROOT/bin/kafka-topics.sh --create --bootstrap-server $BOOTSTRAP_SERVER --command-config $KAFKA_ROOT/config/client.properties --replication-factor 3 --partitions 1 --topic MSKTutorialTopic

Jika Anda mendapatkan a NoSuchFileException untuk client.properties file tersebut, pastikan bahwa file ini ada di direktori kerja saat ini dalam direktori Kafka bin.

CLASSPATH=$KAFKA_ROOT/libs/aws-msk-iam-auth-{LATEST VERSION}-all.jar \
$KAFKA_ROOT/bin/kafka-topics.sh --create \
--bootstrap-server $BOOTSTRAP_SERVER \
--command-config $KAFKA_ROOT/config/client.properties \
--replication-factor 3 \
--partitions 1 \
--topic MSKTutorialTopic

(Opsional) Verifikasi bahwa topik berhasil dibuat.

1. Jika perintah berhasil, Anda akan melihat pesan berikut: Created topic MSKTutorialTopic.

2. Daftar semua topik untuk mengonfirmasi bahwa topik Anda ada.

   $KAFKA_ROOT/bin/kafka-topics.sh --list --bootstrap-server $BOOTSTRAP_SERVER --command-config $KAFKA_ROOT/config/client.properties

Jika perintah tidak berhasil atau Anda mengalami kesalahan, lihat Memecahkan masalah cluster Amazon MSK Anda untuk informasi pemecahan masalah.

(Opsional) Hapus variabel lingkungan yang Anda gunakan dalam tutorial ini.

Jika Anda ingin menyimpan variabel lingkungan Anda untuk langkah selanjutnya dalam tutorial ini, lewati langkah ini. Jika tidak, Anda dapat menghapus variabel ini, seperti yang ditunjukkan pada contoh berikut.

unset KAFKA_VERSION KAFKA_ROOT BOOTSTRAP_SERVER CLASSPATH KAFKA_HEAP_OPTS