Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Apa itu MSK Tanpa Server? **catatan** MSK Tanpa Server tersedia di AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Kanada (Tengah), Asia Pasifik (Mumbai), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Eropa (Frankfurt), Eropa (Stockholm), Eropa (Irlandia), Eropa (Paris), dan Wilayah Eropa (London). MSK Serverless adalah tipe cluster untuk Amazon MSK yang memungkinkan Anda menjalankan Apache Kafka tanpa harus mengelola dan menskalakan kapasitas cluster. Ini secara otomatis menyediakan dan menskalakan kapasitas saat mengelola partisi dalam topik Anda, sehingga Anda dapat mengalirkan data tanpa memikirkan ukuran yang tepat atau penskalaan cluster. MSK Serverless menawarkan model harga berbasis throughput, jadi Anda hanya membayar untuk apa yang Anda gunakan. Pertimbangkan untuk menggunakan klaster tanpa server jika aplikasi Anda memerlukan kapasitas streaming sesuai permintaan yang menskalakan naik dan turun secara otomatis. MSK Serverless sepenuhnya kompatibel dengan Apache Kafka, sehingga Anda dapat menggunakan aplikasi klien yang kompatibel untuk menghasilkan dan mengkonsumsi data. Ini juga terintegrasi dengan layanan berikut: + AWS PrivateLink untuk menyediakan konektivitas pribadi + AWS Identity and Access Management (IAM) untuk otentikasi dan otorisasi menggunakan bahasa Java dan non-Java. Untuk instruksi tentang mengkonfigurasi klien untuk IAM, lihat. [Konfigurasikan klien untuk kontrol akses IAM](configure-clients-for-iam-access-control.md) + AWS Glue Schema Registry untuk manajemen skema + Amazon Managed Service untuk Apache Flink untuk pemrosesan aliran berbasis Apache Flink + AWS Lambda untuk pemrosesan acara **catatan** MSK Tanpa Server memerlukan kontrol akses IAM untuk semua cluster. Apache Kafka Access Control List (ACLs) tidak didukung. Untuk informasi selengkapnya, lihat [Kontrol akses IAM](iam-access-control.md). Untuk informasi tentang kuota layanan yang berlaku untuk MSK Serverless, lihat. [MSK Kuota Tanpa Server](limits.md#serverless-quota) Untuk membantu Anda memulai dengan kluster tanpa server, dan untuk mempelajari lebih lanjut tentang opsi konfigurasi dan pemantauan untuk klaster tanpa server, lihat berikut ini. **Topics** + [Menggunakan klaster MSK Nirserver](serverless-getting-started.md) + [Properti konfigurasi untuk kluster MSK Tanpa Server](serverless-config.md) + [Konfigurasikan tipe jaringan dual-stack](serverless-config-dual-stack.md) + [Pantau kluster MSK Tanpa Server](serverless-monitoring.md) # Menggunakan klaster MSK Nirserver Tutorial ini menunjukkan contoh bagaimana Anda dapat membuat kluster MSK Tanpa Server, membuat mesin klien yang dapat mengaksesnya, dan menggunakan klien untuk membuat topik di cluster dan menulis data ke topik tersebut. Latihan ini tidak mewakili semua opsi yang dapat Anda pilih saat membuat cluster tanpa server. Di berbagai bagian latihan ini, kami memilih opsi default untuk kesederhanaan. Ini tidak berarti bahwa mereka adalah satu-satunya opsi yang berfungsi untuk menyiapkan cluster tanpa server. Anda juga dapat menggunakan AWS CLI atau Amazon MSK API. Untuk informasi selengkapnya, lihat [Amazon MSK API Referensi 2.0](https://docs.aws.amazon.com/MSK/2.0/APIReference/what-is-msk.html). **Topics** + [Buat kluster MSK Tanpa Server](create-serverless-cluster.md) + [Buat peran IAM untuk topik di MSK Serverless cluster](create-iam-role.md) + [Buat mesin klien untuk mengakses kluster MSK Tanpa Server](create-serverless-cluster-client.md) + [Buat topik Apache Kafka](msk-serverless-create-topic.md) + [Menghasilkan dan mengkonsumsi data di MSK Serverless](msk-serverless-produce-consume.md) + [Hapus sumber daya yang Anda buat untuk MSK Tanpa Server](delete-resources.md) # Buat kluster MSK Tanpa Server Pada langkah ini, Anda melakukan dua tugas. Pertama, Anda membuat kluster MSK Tanpa Server dengan pengaturan default. Kedua, Anda mengumpulkan informasi tentang cluster. Ini adalah informasi yang Anda butuhkan di langkah selanjutnya ketika Anda membuat klien yang dapat mengirim data ke cluster. **Untuk membuat cluster tanpa server** 1. Masuk ke Konsol Manajemen AWS, dan buka konsol MSK Amazon di [https://console.aws.amazon.com/msk/rumah](https://console.aws.amazon.com/msk/home). 1. Pilih **Buat klaster**. 1. Untuk **metode Creation**, biarkan opsi **Quick create** dipilih. Opsi **Quick create** memungkinkan Anda membuat cluster tanpa server dengan pengaturan default. 1. Untuk **nama Cluster**, masukkan nama deskriptif, seperti**msk-serverless-tutorial-cluster**. 1. Untuk **properti klaster Umum**, pilih **Tanpa Server sebagai tipe** **Cluster**. Gunakan nilai default untuk properti **cluster Umum** yang tersisa. 1. Perhatikan tabel di bawah **Semua pengaturan cluster**. Tabel ini mencantumkan nilai default untuk pengaturan penting seperti jaringan dan ketersediaan, dan menunjukkan apakah Anda dapat mengubah setiap pengaturan setelah Anda membuat cluster. Untuk mengubah pengaturan sebelum Anda membuat cluster, Anda harus memilih opsi **Custom create** di bawah **metode Creation**. **catatan** Anda dapat menghubungkan klien dari hingga lima yang berbeda VPCs dengan kluster MSK Tanpa Server. Untuk membantu aplikasi klien beralih ke Availability Zone lain jika terjadi pemadaman, Anda harus menentukan setidaknya dua subnet di setiap VPC. 1. Pilih **Buat klaster**. **Untuk mengumpulkan informasi tentang cluster** 1. Di bagian **Ringkasan klaster**, pilih **Lihat informasi klien**. Tombol ini tetap berwarna abu-abu sampai Amazon MSK selesai membuat cluster. Anda mungkin perlu menunggu beberapa menit sampai tombol menjadi aktif sehingga Anda dapat menggunakannya. 1. Salin string di bawah label **Endpoint**. Ini adalah string server bootstrap Anda. 1. Pilih tab **Properti**. 1. Di bawah bagian **Pengaturan jaringan**, salin subnet dan grup keamanan dan simpan karena Anda memerlukan informasi ini nanti untuk membuat mesin klien. IDs 1. Pilih salah satu subnet. Ini membuka Konsol VPC Amazon. Temukan ID VPC Amazon yang terkait dengan subnet. Simpan ID VPC Amazon ini untuk digunakan nanti. **Langkah Selanjutnya** [Buat peran IAM untuk topik di MSK Serverless cluster](create-iam-role.md) # Buat peran IAM untuk topik di MSK Serverless cluster Pada langkah ini, Anda melakukan dua tugas. Tugas pertama adalah membuat kebijakan IAM yang memberikan akses untuk membuat topik di cluster dan mengirim data ke topik tersebut. Tugas kedua adalah membuat peran IAM dan mengaitkan kebijakan ini dengannya. Pada langkah selanjutnya, kami membuat mesin klien yang mengasumsikan peran ini dan menggunakannya untuk membuat topik di cluster dan mengirim data ke topik itu. **Untuk membuat kebijakan IAM yang memungkinkan untuk membuat topik dan menulis kepada mereka** 1. Buka konsol IAM di [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/). 1. Pada panel navigasi, pilih **Kebijakan**. 1. Pilih **Buat Kebijakan**. 1. Pilih tab **JSON**, lalu ganti JSON di jendela editor dengan JSON berikut. Dalam contoh berikut, ganti yang berikut ini: + *region*dengan kode Wilayah AWS tempat Anda membuat cluster Anda. + Contoh ID akun,*123456789012*, dengan Akun AWS ID Anda. + *msk-serverless-tutorial-cluster*/*c07c74ea-5146-4a03-add1-9baa787a5b14-s3*dan *msk-serverless-tutorial-cluster* dengan ID cluster tanpa server dan nama topik Anda. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "kafka-cluster:Connect", "kafka-cluster:DescribeCluster" ], "Resource": [ "arn:aws:kafka:us-east-1:123456789012:cluster/msk-serverless-tutorial-cluster/c07c74ea-5146-4a03-add1-9baa787a5b14-s3" ] }, { "Effect": "Allow", "Action": [ "kafka-cluster:CreateTopic", "kafka-cluster:WriteData", "kafka-cluster:DescribeTopic" ], "Resource": [ "arn:aws:kafka:us-east-1:123456789012:topic/msk-serverless-tutorial-cluster/*" ] } ] } ``` ------ Untuk petunjuk tentang cara menulis kebijakan aman, lihat[Kontrol akses IAM](iam-access-control.md). 1. Pilih **Berikutnya: Tanda**. 1. Pilih **Berikutnya: Tinjau**. 1. Untuk nama kebijakan, masukkan nama deskriptif, seperti**msk-serverless-tutorial-policy**. 1. Pilih **Buat kebijakan**. **Untuk membuat peran IAM dan melampirkan kebijakan padanya** 1. Pada panel navigasi, pilih **Peran**. 1. Pilih **Buat peran**. 1. Di bawah **Kasus penggunaan umum**, pilih **EC2**, lalu pilih **Berikutnya: Izin**. 1. Di kotak pencarian, masukkan nama kebijakan yang sebelumnya Anda buat untuk tutorial ini. Kemudian pilih kotak di sebelah kiri kebijakan. 1. Pilih **Berikutnya: Tanda**. 1. Pilih **Berikutnya: Tinjau**. 1. Untuk nama peran, masukkan nama deskriptif, seperti**msk-serverless-tutorial-role**. 1. Pilih **Buat peran**. **Langkah Selanjutnya** [Buat mesin klien untuk mengakses kluster MSK Tanpa Server](create-serverless-cluster-client.md) # Buat mesin klien untuk mengakses kluster MSK Tanpa Server Pada langkah tersebut, Anda melakukan dua tugas. Tugas pertama adalah membuat instans Amazon EC2 untuk digunakan sebagai mesin klien Apache Kafka. Tugas kedua adalah menginstal alat Java dan Apache Kafka pada mesin. **Untuk membuat mesin klien** 1. Buka konsol Amazon EC2 di. [https://console.aws.amazon.com/ec2/](https://console.aws.amazon.com/ec2/) 1. Pilih **Luncurkan instans**. 1. Masukkan **Nama** deskriptif untuk mesin klien Anda, seperti**msk-serverless-tutorial-client**. 1. Biarkan **Amazon Linux 2 AMI (HVM) - Kernel 5.10, Jenis Volume SSD dipilih untuk jenis** **Amazon Machine Image (AMI)**. 1. Biarkan tipe instans **t2.micro** dipilih. 1. Di bawah **Key pair (login)**, pilih **Create a new key pair**. Masukkan **MSKServerlessKeyPair** untuk **nama pasangan kunci**. Kemudian pilih **Download Key Pair**. Alternatifnya, Anda dapat menggunakan pasangan kunci yang sudah ada. 1. Untuk **pengaturan Jaringan**, pilih **Edit**. 1. Di bawah **VPC**, masukkan ID virtual private cloud (VPC) untuk cluster tanpa server Anda. Ini adalah VPC berdasarkan layanan VPC Amazon yang IDnya Anda simpan setelah Anda membuat cluster. 1. Untuk **Subnet**, pilih subnet yang IDnya Anda simpan setelah Anda membuat cluster. 1. Untuk **Firewall (grup keamanan)**, pilih grup keamanan yang terkait dengan cluster. Nilai ini berfungsi jika grup keamanan tersebut memiliki aturan masuk yang memungkinkan lalu lintas dari grup keamanan ke dirinya sendiri. Dengan aturan seperti itu, anggota kelompok keamanan yang sama dapat berkomunikasi satu sama lain. Untuk informasi selengkapnya, lihat [Aturan grup keamanan](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_SecurityGroups.html#SecurityGroupRules) di Panduan Pengembang Amazon VPC. 1. Perluas bagian **Detail lanjutan** dan pilih peran IAM yang Anda buat. [Buat peran IAM untuk topik di MSK Serverless cluster](create-iam-role.md) 1. Pilih **Luncurkan**. 1. Di panel navigasi kiri, pilih **Instans**. Kemudian pilih kotak centang di baris yang mewakili instans Amazon EC2 yang baru dibuat. Dari titik ini ke depan, kami menyebut contoh ini *mesin klien*. 1. Pilih **Connect** dan ikuti petunjuk untuk terhubung ke mesin klien. **Untuk mengatur alat klien Apache Kafka pada mesin klien** 1. Untuk menginstal Java, jalankan perintah berikut pada mesin klien: ``` sudo yum -y install java-11 ``` 1. Untuk mendapatkan alat Apache Kafka yang kita butuhkan untuk membuat topik dan mengirim data, jalankan perintah berikut: ``` wget https://archive.apache.org/dist/kafka/2.8.1/kafka_2.12-2.8.1.tgz ``` ``` tar -xzf kafka_2.12-2.8.1.tgz ``` **catatan** Setelah mengekstrak arsip Kafka, pastikan skrip di `bin` direktori memiliki izin eksekusi yang tepat. Untuk melakukan ini, jalankan perintah berikut. ``` chmod +x kafka_2.12-2.8.1/bin/*.sh ``` 1. Buka `kafka_2.12-2.8.1/libs` direktori, lalu jalankan perintah berikut untuk mengunduh file Amazon MSK IAM JAR. Amazon MSK IAM JAR memungkinkan mesin klien untuk mengakses cluster. ``` wget https://github.com/aws/aws-msk-iam-auth/releases/download/v2.3.0/aws-msk-iam-auth-2.3.0-all.jar ``` Dengan menggunakan perintah ini, Anda juga dapat [mengunduh file Amazon MSK IAM JAR versi lain atau](https://github.com/aws/aws-msk-iam-auth/releases) yang lebih baru. 1. Pergi ke `kafka_2.12-2.8.1/bin` direktori. Salin pengaturan properti berikut dan tempel ke file baru. Beri nama file `client.properties` dan simpan. ``` security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler ``` **Langkah Selanjutnya** [Buat topik Apache Kafka](msk-serverless-create-topic.md) # Buat topik Apache Kafka Pada langkah ini, Anda menggunakan mesin klien yang dibuat sebelumnya untuk membuat topik di klaster tanpa server. **Topics** + [Menyiapkan lingkungan Anda untuk membuat topik](#msk-serverless-create-topic-prerequisites) + [Membuat topik dan menulis data untuk itu](#msk-serverless-create-topic-procedure) ## Menyiapkan lingkungan Anda untuk membuat topik + Sebelum membuat topik, pastikan Anda telah mengunduh file AWS MSK IAM JAR ke direktori instalasi Kafka Anda. `libs/` Jika Anda belum melakukan ini, jalankan perintah berikut di `libs/` direktori Kafka Anda. ``` wget https://github.com/aws/aws-msk-iam-auth/releases/download/v2.3.0/aws-msk-iam-auth-2.3.0-all.jar ``` File JAR ini diperlukan untuk otentikasi IAM dengan kluster MSK Serverless Anda. + Saat menjalankan perintah Kafka, Anda mungkin perlu memastikan `classpath` menyertakan file AWS MSK IAM JAR. Untuk melakukannya, lakukan salah satu hal berikut: + Tetapkan variabel `CLASSPATH` lingkungan untuk menyertakan pustaka Kafka Anda seperti yang ditunjukkan pada contoh berikut. ``` export CLASSPATH=/libs/*:/libs/aws-msk-iam-auth-2.3.0-all.jar ``` + Jalankan perintah Kafka menggunakan perintah Java lengkap dengan eksplisit`classpath`, seperti yang ditunjukkan pada contoh berikut. ``` java -cp "/libs/*:/libs/aws-msk-iam-auth-2.3.0-all.jar" org.apache.kafka.tools.TopicCommand --bootstrap-server $BS --command-config client.properties --create --topic msk-serverless-tutorial --partitions 6 ``` ## Membuat topik dan menulis data untuk itu 1. Dalam `export` perintah berikut, ganti *my-endpoint* dengan string bootstrap-server yang Anda simpan setelah Anda membuat cluster. Kemudian, pergi ke `kafka_2.12-2.8.1/bin` direktori pada mesin klien dan jalankan `export` perintah. ``` export BS=my-endpoint ``` 1. Jalankan perintah berikut untuk membuat topik yang disebut`msk-serverless-tutorial`. ``` /bin/kafka-topics.sh --bootstrap-server $BS --command-config client.properties --create --topic msk-serverless-tutorial --partitions 6 ``` **Langkah Selanjutnya** [Menghasilkan dan mengkonsumsi data di MSK Serverless](msk-serverless-produce-consume.md) # Menghasilkan dan mengkonsumsi data di MSK Serverless Pada langkah ini, Anda menghasilkan dan mengkonsumsi data menggunakan topik yang Anda buat pada langkah sebelumnya. **Untuk menghasilkan dan mengkonsumsi pesan** 1. Jalankan perintah berikut untuk membuat produser konsol. ``` /bin/kafka-console-producer.sh --broker-list $BS --producer.config client.properties --topic msk-serverless-tutorial ``` 1. Masukkan pesan apa pun yang Anda inginkan, dan tekan **Enter**. Ulangi langkah ini dua atau tiga kali. Setiap kali Anda memasukkan baris dan tekan **Enter**, baris itu dikirim ke cluster Anda sebagai pesan terpisah. 1. Biarkan koneksi ke mesin klien tetap terbuka, dan kemudian buka koneksi kedua yang terpisah ke mesin itu di jendela baru. 1. Gunakan koneksi kedua Anda ke mesin klien untuk membuat konsumen konsol dengan perintah berikut. Ganti *my-endpoint* dengan string server bootstrap yang Anda simpan setelah Anda membuat cluster. ``` /bin/kafka-console-consumer.sh --bootstrap-server my-endpoint --consumer.config client.properties --topic msk-serverless-tutorial --from-beginning ``` Anda mulai melihat pesan yang Anda masukkan sebelumnya saat Anda menggunakan perintah produser konsol. 1. Masukkan lebih banyak pesan di jendela produser, dan saksikan mereka muncul di jendela konsumen. Jika Anda mengalami `classpath` masalah saat menjalankan perintah ini, pastikan Anda menjalankannya dari direktori yang benar. Juga, pastikan bahwa AWS MSK IAM JAR ada di direktori. `libs` Atau, Anda dapat menjalankan perintah Kafka menggunakan perintah Java lengkap dengan eksplisit`classpath`, seperti yang ditunjukkan pada contoh berikut. ``` java -cp "kafka_2.12-2.8.1/libs/*:kafka_2.12-2.8.1/libs/aws-msk-iam-auth-2.3.0-all.jar" org.apache.kafka.tools.ConsoleProducer —broker-list $BS —producer.config client.properties —topic msk-serverless-tutorial ``` **Langkah Selanjutnya** [Hapus sumber daya yang Anda buat untuk MSK Tanpa Server](delete-resources.md) # Hapus sumber daya yang Anda buat untuk MSK Tanpa Server Pada langkah ini, Anda menghapus sumber daya yang Anda buat dalam tutorial ini. **Untuk menghapus klaster** 1. Buka konsol MSK Amazon di [https://console.aws.amazon.com/msk/rumah](https://console.aws.amazon.com/msk/home). 1. Dalam daftar cluster, pilih cluster yang Anda buat untuk tutorial ini. 1. Untuk **Tindakan**, pilih **Hapus klaster**. 1. Masukkan `delete` di bidang, lalu pilih **Hapus**. **Untuk menghentikan mesin klien** 1. Buka konsol Amazon EC2 di. [https://console.aws.amazon.com/ec2/](https://console.aws.amazon.com/ec2/) 1. Dalam daftar instans Amazon EC2, pilih mesin klien yang Anda buat untuk tutorial ini. 1. Pilih **status Instance**, lalu pilih **Terminate instance**. 1. Pilih **Akhiri**. **Untuk menghapus kebijakan IAM** 1. Buka konsol IAM di [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/). 1. Pada panel navigasi, pilih **Peran**. 1. Di kotak pencarian, masukkan nama peran IAM yang Anda buat untuk tutorial ini. 1. Pilih peran. Kemudian pilih **Hapus peran**, dan konfirmasikan penghapusan. 1. Pada panel navigasi, pilih **Kebijakan**. 1. Di kotak pencarian, masukkan nama kebijakan yang Anda buat untuk tutorial ini. 1. Pilih kebijakan untuk membuka halaman ringkasannya. Pada halaman **Ringkasan** kebijakan, pilih **Hapus kebijakan**. 1. Pilih **Hapus**. # Properti konfigurasi untuk kluster MSK Tanpa Server Amazon MSK menetapkan properti konfigurasi broker untuk cluster tanpa server. Anda tidak dapat mengubah pengaturan properti konfigurasi broker ini. Namun, Anda dapat mengatur atau memodifikasi properti konfigurasi tingkat topik berikut. Semua properti konfigurasi tingkat topik lainnya tidak dapat dikonfigurasi. **** | Properti konfigurasi | Default | Dapat diedit | Nilai maksimum yang diizinkan | | --- | --- | --- | --- | | [cleanup.policy](https://kafka.apache.org/documentation/#topicconfigs_cleanup.policy) | Delete | Ya, tetapi hanya pada waktu pembuatan topik | | | [kompresi.type](https://kafka.apache.org/documentation/#topicconfigs_compression.type) | Produser | Ya | | | [max.message.bytes](https://kafka.apache.org/documentation/#topicconfigs_max.message.bytes) | 1048588 | Ya | 8388608 (8MiB) | | [message.timestamp.difference.max.ms](https://kafka.apache.org/documentation/#topicconfigs_message.timestamp.difference.max.ms) | panjang.max | Ya | | | [message.timestamp.type](https://kafka.apache.org/documentation/#topicconfigs_message.timestamp.type) | CreateTime | Ya | | | [retensi.bytes](https://kafka.apache.org/documentation/#topicconfigs_retention.bytes) | 250 GiB | Ya | Tidak terbatas; atur ke -1 untuk retensi tak terbatas | | [retensi.ms](https://kafka.apache.org/documentation/#topicconfigs_retention.ms) | 7 hari | Ya | Tidak terbatas; atur ke -1 untuk retensi tak terbatas | Untuk mengatur atau memodifikasi properti konfigurasi tingkat topik ini, Anda dapat menggunakan alat baris perintah Apache Kafka. Lihat [3.2 Konfigurasi tingkat topik](https://kafka.apache.org/documentation/#topicconfigs) dalam dokumentasi resmi Apache Kafka untuk informasi selengkapnya dan contoh cara mengaturnya. **catatan** Anda tidak dapat mengubah konfigurasi segment.bytes untuk topik di MSK Tanpa Server. Namun, aplikasi Kafka Streams mungkin mencoba membuat topik internal dengan nilai konfigurasi segment.bytes, yang berbeda dari yang diizinkan MSK Tanpa Server. Untuk informasi tentang mengkonfigurasi Kafka Streams dengan MSK Serverless, lihat. [Menggunakan Kafka Streams dengan broker MSK Express dan MSK Tanpa Server](use-kafka-streams-express-brokers-msk-serverless.md) [Saat menggunakan alat baris perintah Apache Kafka dengan Amazon MSK Tanpa Server, pastikan Anda menyelesaikan langkah 1-4 di *Untuk mengatur alat klien Apache Kafka di bagian mesin klien* dari dokumentasi Amazon MSK Serverless Getting Started.](https://docs.aws.amazon.com/msk/latest/developerguide/create-serverless-cluster-client.html) Selain itu, Anda harus menyertakan `--command-config client.properties` parameter dalam perintah Anda. Misalnya, perintah berikut dapat digunakan untuk memodifikasi properti konfigurasi topik retention.bytes untuk menyetel retensi tak terbatas: ``` /bin/kafka-configs.sh —bootstrap-server —command-config client.properties --entity-type topics --entity-name --alter --add-config retention.bytes=-1 ``` Dalam contoh ini, ganti ** dengan titik akhir server bootstrap untuk cluster Amazon MSK Tanpa Server Anda, dan ** dengan nama topik yang ingin Anda modifikasi. `--command-config client.properties`Parameter memastikan bahwa alat baris perintah Kafka menggunakan pengaturan konfigurasi yang sesuai untuk berkomunikasi dengan cluster Amazon MSK Serverless Anda. # Konfigurasikan tipe jaringan dual-stack Amazon MSK mendukung tipe jaringan dual-stack untuk kluster MSK Serverless yang ada yang menggunakan Kafka versi 3.6.0 atau yang lebih baru tanpa biaya tambahan. Dengan jaringan dual-stack, cluster Anda dapat menggunakan keduanya IPv4 dan alamat. IPv6 Titik akhir dual-stack juga mendukung IPv4 sehingga mempertahankan kompatibilitas mundur. Amazon MSK menyediakan IPv6 dukungan melalui tipe jaringan dual-stack, bukan sebagai -only. IPv6 Secara default, klien terhubung ke cluster MSK Amazon menggunakan jenis IPv4 jaringan. Semua cluster baru yang Anda buat juga digunakan secara IPv4 default. Untuk memperbarui jenis jaringan cluster ke dual-stack, pastikan Anda telah memenuhi prasyarat yang dijelaskan di bagian berikut. Kemudian, gunakan [UpdateConnectivity](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn-connectivity.html#UpdateConnectivity)API untuk memperbarui konektivitas ke dual-stack. **catatan** Setelah Anda memperbarui cluster Anda untuk menggunakan tipe jaringan dual-stack, Anda tidak dapat mengubahnya kembali ke jenis IPv4 jaringan. **Topics** + [Prasyarat untuk menggunakan tipe jaringan dual-stack](#msks-ipv6-prerequisites) + [Izin IAM untuk MSK Tanpa Server](#msks-ipv6-iam-permissions) + [Gunakan tipe jaringan dual-stack untuk sebuah cluster](#update-msks-network-type) + [Pertimbangan untuk menggunakan tipe jaringan dual-stack](#msks-dual-stack-considerations) ## Prasyarat untuk menggunakan tipe jaringan dual-stack Sebelum Anda mengonfigurasi tipe jaringan dual-stack untuk cluster Anda, pastikan bahwa semua subnet yang Anda berikan selama pembuatan cluster harus mendukung tipe jaringan dual-stack. Jika bahkan satu subnet di cluster Anda tidak mendukung dual-stack, Anda tidak akan dapat memperbarui jenis jaringan untuk cluster Anda ke dual-stack. ## Izin IAM untuk MSK Tanpa Server Anda harus memiliki izin IAM berikut: + `ec2:DescribeSubnets` + `ec2:ModifyVpcEndpoint` Untuk daftar lengkap izin yang diperlukan untuk melakukan semua tindakan MSK Amazon, lihat kebijakan AWS terkelola: [Amazon MSKFull](https://docs.aws.amazon.com/msk/latest/developerguide/security-iam-awsmanpol.html#security-iam-awsmanpol-AmazonMSKFullAccess) Access. ## Gunakan tipe jaringan dual-stack untuk sebuah cluster Anda dapat memperbarui jenis jaringan untuk kluster MSK Tanpa Server menggunakan Konsol Manajemen AWS, AWS CLI, atau SDK. AWS ------ #### [ Using Konsol Manajemen AWS ] 1. Buka konsol MSK Amazon di [https://console.aws.amazon.com/msk/rumah? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/). 1. Pilih kluster MSK Tanpa Server yang ingin Anda konfigurasikan jenis jaringan dual-stack. 1. Pada halaman detail Cluster, pilih **Properties**. 1. Di **Pengaturan jaringan**, pilih **Edit jenis jaringan**. 1. Untuk **tipe Jaringan**, pilih **Dual stack**. 1. Pilih **Simpan perubahan**. ------ #### [ Using AWS CLI ] Anda dapat menggunakan API [update-connectivity](https://docs.aws.amazon.com/cli/latest/reference/kafka/update-connectivity.html) untuk memperbarui jenis jaringan kluster MSK Serverless yang ada ke dual-stack. Contoh berikut menggunakan ` update-connectivity` perintah untuk mengatur tipe jaringan cluster ke dual-stack. Dalam contoh berikut, ganti contoh cluster ARN, arn:aws:kafka: *us-east-1* ::cluster//, dengan ARN cluster MSK Anda yang sebenarnya* 123456789012*. *myCluster* *12345678-1234-1234-1234-123456789012 -1* Untuk mendapatkan versi cluster saat ini, gunakan [perintah describe-cluster](https://docs.aws.amazon.com/cli/latest/reference/kafka/describe-cluster.html). ``` aws kafka update-connectivity \ --cluster-arn "arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/12345678-1234-1234-1234-123456789012-1" \ --current-version "KTVPDKIKX0DER" \ --connectivity-info '{ "networkType": "DUAL" } ``` ------ #### [ Using AWS SDK ] Contoh berikut menggunakan [UpdateConnectivity](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn-connectivity.html#UpdateConnectivity)API untuk mengatur tipe jaringan cluster ke dual-stack. Dalam contoh berikut, ganti contoh cluster ARN, arn:aws:kafka: *us-east-1* ::cluster//, dengan ARN cluster MSK Anda yang sebenarnya*123456789012*. *myCluster* *12345678-1234-1234-1234-123456789012-1* Untuk mendapatkan versi cluster saat ini gunakan [DescribeCluster](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn.html#DescribeCluster)API. ``` import boto3 client = boto3.client("kafka") response = client.update_connectivity( ClusterArn="arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/12345678-1234-1234-1234-123456789012-1", CurrentVersion="KTVPDKIKX0DER", ConnectivityInfo={ "NetworkType": "DUAL" } ) print("Connectivity update initiated:", response) ``` ------ ## Pertimbangan untuk menggunakan tipe jaringan dual-stack + IPv6 dukungan saat ini hanya tersedia dalam mode dual-stack (IPv4 \$1 IPv6), bukan sebagai IPv6 -only. + Tipe jaringan dual-stack tidak tersedia untuk konektivitas pribadi multi-VPC. + Anda dapat mengubah jenis jaringan dari IPv4 ke dual-stack untuk cluster yang ada hanya jika semua subnetnya mendukung tipe jaringan dual-stack. + Anda tidak dapat kembali ke jenis IPv4 jaringan setelah mengaktifkan dual-stack. Untuk beralih kembali, Anda harus menghapus dan membuat ulang cluster. + Anda harus memiliki izin IAM berikut: + `ec2:DescribeSubnets` dan ` ec2:ModifyVpcEndpoint` # Pantau kluster MSK Tanpa Server Amazon MSK terintegrasi dengan Amazon CloudWatch sehingga Anda dapat mengumpulkan, melihat, dan menganalisis metrik untuk kluster MSK Tanpa Server Anda. Metrik yang ditunjukkan pada tabel berikut tersedia untuk semua cluster tanpa server. Karena metrik ini diterbitkan sebagai titik data individual untuk setiap partisi dalam topik, kami sarankan untuk melihatnya sebagai statistik 'SUM' untuk mendapatkan tampilan tingkat topik. Amazon MSK menerbitkan `PerSec` metrik dengan frekuensi CloudWatch sekali per menit. Ini berarti bahwa statistik 'SUM' untuk periode satu menit secara akurat mewakili data per detik untuk metrik. `PerSec` Untuk mengumpulkan data per detik untuk jangka waktu lebih dari satu menit, gunakan ekspresi CloudWatch matematika berikut:. `m1 * 60/PERIOD(m1)` **Metrik tersedia di tingkat pemantauan DEFAULT** | Nama | Saat terlihat | Dimensi | Deskripsi | | --- | --- | --- | --- | | BytesInPerSec | Setelah produser menulis ke suatu topik | Nama Cluster, Topik | Jumlah byte per detik yang diterima dari klien. Metrik ini tersedia untuk setiap topik. | | BytesOutPerSec | Setelah kelompok konsumen mengkonsumsi dari suatu topik | Nama Cluster, Topik | Jumlah byte per detik dikirim ke klien. Metrik ini tersedia untuk setiap topik. | | FetchMessageConversionsPerSec | Setelah kelompok konsumen mengkonsumsi dari suatu topik | Nama Cluster, Topik | Jumlah konversi pesan ambil per detik untuk topik tersebut. | | EstimatedMaxTimeLag | Setelah kelompok konsumen mengkonsumsi dari suatu topik | Nama Cluster, Grup Konsumen, Topik | Estimasi waktu MaxOffsetLag metrik. | | MaxOffsetLag | Setelah kelompok konsumen mengkonsumsi dari suatu topik | Nama Cluster, Grup Konsumen, Topik | Keterlambatan offset maksimum di semua partisi dalam suatu topik. | | MessagesInPerSec | Setelah produser menulis ke suatu topik | Nama Cluster, Topik | Jumlah pesan masuk per detik untuk topik tersebut. | | ProduceMessageConversionsPerSec | Setelah produser menulis ke suatu topik | Nama Cluster, Topik | Jumlah konversi pesan hasil per detik untuk topik tersebut. | | SumOffsetLag | Setelah kelompok konsumen mengkonsumsi dari suatu topik | Nama Cluster, Grup Konsumen, Topik | Kelambatan offset agregat untuk semua partisi dalam suatu topik. | **Untuk melihat metrik MSK Tanpa Server** 1. Masuk ke Konsol Manajemen AWS dan buka CloudWatch konsol di [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/). 1. Di panel navigasi, di bawah **Metrik, pilih **Semua** metrik**. 1. Dalam metrik, cari istilah **kafka** tersebut. 1. Pilih **AWS/KAFKA/Nama Cluster, Topik** atau **AWS/KAFKA/Nama Cluster, Grup Konsumen,** Topik untuk melihat metrik yang berbeda.