Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # Qu'est-ce que MSK Serverless ? **Note** MSK sans serveur est disponible dans les régions : USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Oregon), Canada (Centre), Asie-Pacifique (Mumbai), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Europe (Francfort), Europe (Stockholm), Europe (Irlande), Europe (Paris) et Europe (Londres). MSK sans serveur est un type de cluster pour Amazon MSK qui vous permet d'exécuter Apache Kafka sans avoir à gérer ni à mettre à l'échelle la capacité du cluster. Il provisionne et met à l'échelle automatiquement la capacité tout en gérant les partitions de votre rubrique, afin que vous puissiez diffuser des données sans devoir vous soucier de la bonne taille ou de la mise à l'échelle des clusters. MSK sans serveur propose un modèle de tarification basé sur le débit, de sorte que vous ne payez que ce que vous utilisez. Envisagez d'utiliser un cluster sans serveur si vos applications ont besoin d'une capacité de streaming à la demande qui augmente ou diminue automatiquement. MSK sans serveur est entièrement compatible avec Apache Kafka. Vous pouvez donc utiliser n'importe quelle application client compatible pour produire et consommer des données. Il intègre également les services suivants : + AWS PrivateLink pour fournir une connectivité privée + Gestion des identités et des accès AWS (IAM) pour l'authentification et l'autorisation à l'aide de langages Java et non-Java. Pour obtenir des instructions sur la configuration des clients pour IAM, consultez [Configurer les clients pour le contrôle d'accès IAM](configure-clients-for-iam-access-control.md). + AWS Glue Registre des schémas pour la gestion des schémas + Service géré Amazon pour Apache Flink pour le traitement de flux basé sur Apache Flink + AWS Lambda pour le traitement des événements **Note** MSK sans serveur nécessite un contrôle d'accès IAM pour tous les clusters. Les listes de contrôle d'accès Apache Kafka (ACLs) ne sont pas prises en charge. Pour de plus amples informations, veuillez consulter [Contrôle d'accès IAM](iam-access-control.md). Pour obtenir des informations sur les quotas de service qui s'appliquent à MSK sans serveur, veuillez consulter [Quota de MSK sans serveur](limits.md#serverless-quota). Pour vous aider à démarrer avec les clusters sans serveur et pour en savoir plus sur leurs options de configuration et de surveillance, consultez ce qui suit. **Topics** + [Utilisation de clusters MSK sans serveur](serverless-getting-started.md) + [Propriétés de configuration pour les clusters MSK Serverless](serverless-config.md) + [Configuration du type de réseau à double pile](serverless-config-dual-stack.md) + [Surveillez les clusters MSK Serverless](serverless-monitoring.md) # Utilisation de clusters MSK sans serveur Ce didacticiel présente un exemple de la manière dont vous pouvez créer un cluster MSK sans serveur, créer une machine cliente pouvant y accéder et utiliser le client pour créer des rubriques sur le cluster et pour écrire des données dans ces rubriques. Cet exercice ne représente pas toutes les options que vous pouvez choisir lorsque vous créez un cluster sans serveur. Dans les différentes parties de cet exercice, nous choisissons les options par défaut par souci de simplicité. Cela ne signifie pas qu'il s'agit des seules options qui fonctionnent pour configurer un cluster sans serveur. Vous pouvez également utiliser l'API AWS CLI ou l'API Amazon MSK. Pour plus d'informations, consultez la [Référence 2.0 d'API Amazon MSK](https://docs.aws.amazon.com/MSK/2.0/APIReference/what-is-msk.html). **Topics** + [Création d'un cluster MSK Serverless](create-serverless-cluster.md) + [Création d'un rôle IAM pour les rubriques du cluster MSK Serverless](create-iam-role.md) + [Créez une machine cliente pour accéder au cluster MSK Serverless](create-serverless-cluster-client.md) + [Création d'un sujet Apache Kafka](msk-serverless-create-topic.md) + [Produire et consommer des données dans MSK Serverless](msk-serverless-produce-consume.md) + [Supprimer les ressources que vous avez créées pour MSK Serverless](delete-resources.md) # Création d'un cluster MSK Serverless Au cours de cette étape, vous effectuez deux tâches. Vous devez d'abord créer un cluster MSK sans serveur avec les paramètres par défaut. Ensuite, vous collectez des informations sur le cluster. Il s'agit d'informations dont vous aurez besoin ultérieurement lorsque vous créerez un client capable d'envoyer des données au cluster. **Pour créer un cluster sans serveur** 1. Connectez-vous à la AWS Management Console console Amazon MSK et ouvrez-la [https://console.aws.amazon.com/msk/chez](https://console.aws.amazon.com/msk/home) vous. 1. Choisissez **Créer un cluster**. 1. Dans **Méthode de création**, laissez l'option **Création rapide** sélectionnée. L'option **Création rapide** vous permet de créer un cluster sans serveur avec les paramètres par défaut. 1. Pour **Nom du cluster**, entrez un nom descriptif, tel que **msk-serverless-tutorial-cluster**. 1. Dans **Propriétés générales du cluster**, choisissez **Sans serveur** comme **Type de cluster**. Utilisez les valeurs par défaut pour les autres **propriétés générales du cluster**. 1. Notez le tableau sous **Tous les paramètres du cluster**. Ce tableau répertorie les valeurs par défaut pour les paramètres importants tels que le réseau et la disponibilité, et indique si vous pouvez modifier chaque paramètre après avoir créé le cluster. Pour modifier un paramètre avant de créer le cluster, vous devez choisir l'option **Création personnalisée** sous **Méthode de création**. **Note** Vous pouvez connecter des clients provenant d'un maximum de cinq clients différents VPCs grâce aux clusters MSK Serverless. Pour aider les applications clientes à basculer vers une autre zone de disponibilité en cas de panne, vous devez spécifier au moins deux sous-réseaux dans chaque VPC. 1. Choisissez **Créer un cluster**. **Pour recueillir des informations sur le cluster** 1. Dans la section **Résumé du cluster**, choisissez **Voir les informations client**. Ce bouton reste grisé tant qu'Amazon MSK n'a pas fini de créer le cluster. Vous devrez peut-être attendre quelques minutes avant que le bouton soit actif pour pouvoir l'utiliser. 1. Copiez la chaîne sous le libellé **Point de terminaison**. Il s'agit de la chaîne de votre serveur d'amorçage. 1. Choisissez l’onglet **Propriétés**. 1. Dans la section **Paramètres réseau**, copiez les sous-réseaux et le groupe IDs de sécurité et enregistrez-les car vous aurez besoin de ces informations ultérieurement pour créer un ordinateur client. 1. Choisissez l'un des sous-réseaux. Cela ouvre la console Amazon VPC. Recherchez l'identifiant de l'Amazon VPC associé au sous-réseau. Enregistrez l'ID de cet Amazon VPC pour une utilisation ultérieure. **Étape suivante** [Création d'un rôle IAM pour les rubriques du cluster MSK Serverless](create-iam-role.md) # Création d'un rôle IAM pour les rubriques du cluster MSK Serverless Au cours de cette étape, vous effectuez deux tâches. La première tâche consiste à créer une politique IAM qui autorise l'accès à la création de rubriques sur le cluster et à l'envoi de données vers ces rubriques. La deuxième tâche consiste à créer un rôle IAM et à lui associer cette politique. À une étape ultérieure, nous créons un ordinateur client qui assume ce rôle et l'utilise pour créer une rubrique sur le cluster et pour envoyer des données à cette rubrique. **Pour créer une politique IAM permettant de créer des rubriques et d'y écrire** 1. Ouvrez la console IAM à l’adresse [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/). 1. Dans le panneau de navigation, choisissez **Politiques**. 1. Choisissez **Create Policy** (Créer une politique). 1. Choisissez l'onglet **JSON**, puis remplacez le JSON dans la fenêtre de l'éditeur par le JSON suivant. Dans l'exemple suivant, remplacez ce qui suit : + *region*avec le code de l' Région AWS endroit où vous avez créé votre cluster. + Exemple d'identifiant de compte*123456789012*, avec votre Compte AWS identifiant. + *msk-serverless-tutorial-cluster*/*c07c74ea-5146-4a03-add1-9baa787a5b14-s3*et *msk-serverless-tutorial-cluster* avec votre ID de cluster sans serveur et le nom du sujet. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "kafka-cluster:Connect", "kafka-cluster:DescribeCluster" ], "Resource": [ "arn:aws:kafka:us-east-1:123456789012:cluster/msk-serverless-tutorial-cluster/c07c74ea-5146-4a03-add1-9baa787a5b14-s3" ] }, { "Effect": "Allow", "Action": [ "kafka-cluster:CreateTopic", "kafka-cluster:WriteData", "kafka-cluster:DescribeTopic" ], "Resource": [ "arn:aws:kafka:us-east-1:123456789012:topic/msk-serverless-tutorial-cluster/*" ] } ] } ``` ------ Pour obtenir des instructions sur la façon de rédiger des politiques de sécurité, consultez[Contrôle d'accès IAM](iam-access-control.md). 1. Choisissez **Suivant : Balises**. 1. Choisissez **Suivant : Vérification**. 1. Pour le nom de politique, entrez un nom descriptif, tel que **msk-serverless-tutorial-policy**. 1. Choisissez **Create Policy** (Créer une politique). **Pour créer un rôle IAM et lui attacher la politique** 1. Dans le panneau de navigation, choisissez **Rôles**. 1. Sélectionnez **Créer un rôle**. 1. Sous **Cas d'utilisation courants**, choisissez **EC2**, puis **Suivant : Autorisations**. 1. Dans la zone de recherche, saisissez le nom de la politique que vous avez créée précédemment pour ce didacticiel. Ensuite, cochez la case située à gauche de la politique. 1. Choisissez **Suivant : Balises**. 1. Choisissez **Suivant : Vérification**. 1. Pour le nom de rôle, entrez un nom descriptif, tel que **msk-serverless-tutorial-role**. 1. Sélectionnez **Créer un rôle**. **Étape suivante** [Créez une machine cliente pour accéder au cluster MSK Serverless](create-serverless-cluster-client.md) # Créez une machine cliente pour accéder au cluster MSK Serverless Au cours de cette étape, vous effectuez deux tâches. La première tâche consiste à créer une instance Amazon EC2 à utiliser comme ordinateur client Apache Kafka. La deuxième tâche consiste à installer les outils Java et Apache Kafka sur l'ordinateur. **Pour créer un ordinateur client** 1. Ouvrez la console Amazon EC2 à l’adresse [https://console.aws.amazon.com/ec2/](https://console.aws.amazon.com/ec2/). 1. Choisissez **Lancer l'instance**. 1. Saisissez un **nom** descriptif pour votre ordinateur client, tel que **msk-serverless-tutorial-client**. 1. Laissez **Amazon Linux 2 AMI (HVM) - Kernel 5.10, type de volume SSD** sélectionné pour le **type Amazon Machine Image (AMI)**. 1. Laissez le type d'instance **t2.micro** sélectionné. 1. Sous **Paire de clés (connexion)**, choisissez **Créer une nouvelle paire de clés**. Saisissez **MSKServerlessKeyPair** pour **Nom de la paire de clés**. Puis choisissez **Télécharger la paire de clés**. Vous pouvez utiliser également une paire de clés existante. 1. Sous **Paramètres réseau**, choisissez **Modifier**. 1. Dans **VPC**, saisissez l'ID du cloud privé virtuel (VPC) pour votre cluster sans serveur. Il s'agit du VPC basé sur le service Amazon VPC dont vous avez enregistré l'ID après avoir créé le cluster. 1. Pour **Sous-réseau**, choisissez le sous-réseau dont vous avez enregistré l'ID après avoir créé le cluster. 1. Pour **Pare-feu (groupes de sécurité)**, sélectionnez le groupe de sécurité associé au cluster. Cette valeur fonctionne si ce groupe de sécurité possède une règle d'entrée qui autorise le trafic provenant du groupe de sécurité à se diriger vers lui-même. Avec une telle règle, les membres d'un même groupe de sécurité peuvent communiquer entre eux. Pour de plus amples informations, veuillez consulter [Règles des groupes de sécurité](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_SecurityGroups.html#SecurityGroupRules) dans le Manuel du développeur Amazon VPC. 1. Développez la section **Détails avancés** et choisissez le rôle IAM que vous avez créé dans la section [Création d'un rôle IAM pour les rubriques du cluster MSK Serverless](create-iam-role.md). 1. Choisissez **Lancer**. 1. Dans le panneau de navigation de gauche, sélectionnez **Instances**. Cochez ensuite la case dans la ligne qui représente votre instance Amazon EC2 nouvellement créée. À partir de maintenant, nous appelons cette instance l'*ordinateur client*. 1. Choisissez **Connexion** et suivez les instructions pour vous connecter à l'ordinateur client. **Pour configurer les outils client Apache Kafka sur l'ordinateur client** 1. Pour installer Java, exécutez la commande suivante sur l'ordinateur client : ``` sudo yum -y install java-11 ``` 1. Pour obtenir les outils Apache Kafka dont nous avons besoin pour créer des rubriques et envoyer des données, exécutez les commandes suivantes : ``` wget https://archive.apache.org/dist/kafka/2.8.1/kafka_2.12-2.8.1.tgz ``` ``` tar -xzf kafka_2.12-2.8.1.tgz ``` **Note** Après avoir extrait l'archive Kafka, assurez-vous que les scripts du `bin` répertoire disposent des autorisations d'exécution appropriées. Pour ce faire, exécutez la commande suivante. ``` chmod +x kafka_2.12-2.8.1/bin/*.sh ``` 1. Accédez au répertoire `kafka_2.12-2.8.1/libs`, puis exécutez la commande suivante pour télécharger le fichier Amazon MSK IAM JAR. Le fichier Amazon MSK IAM JAR permet à l'ordinateur client d'accéder au cluster. ``` wget https://github.com/aws/aws-msk-iam-auth/releases/download/v2.3.0/aws-msk-iam-auth-2.3.0-all.jar ``` À l'aide de cette commande, vous pouvez également [télécharger d'autres versions ou des versions plus récentes](https://github.com/aws/aws-msk-iam-auth/releases) du fichier Amazon MSK IAM JAR. 1. Accédez au répertoire `kafka_2.12-2.8.1/bin`. Copiez les paramètres de propriété suivants et collez-les dans un nouveau fichier. Nommez le fichier `client.properties` et enregistrez-le. ``` security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler ``` **Étape suivante** [Création d'un sujet Apache Kafka](msk-serverless-create-topic.md) # Création d'un sujet Apache Kafka Dans cette étape, vous utilisez l'ordinateur client créé précédemment pour créer une rubrique sur le cluster sans serveur. **Topics** + [Configuration de votre environnement pour la création de sujets](#msk-serverless-create-topic-prerequisites) + [Créer un sujet et y écrire des données](#msk-serverless-create-topic-procedure) ## Configuration de votre environnement pour la création de sujets + Avant de créer un sujet, assurez-vous d'avoir téléchargé le fichier JAR AWS MSK IAM dans le répertoire de votre installation Kafka. `libs/` Si vous ne l'avez pas encore fait, exécutez la commande suivante dans le `libs/` répertoire de votre Kafka. ``` wget https://github.com/aws/aws-msk-iam-auth/releases/download/v2.3.0/aws-msk-iam-auth-2.3.0-all.jar ``` Ce fichier JAR est requis pour l'authentification IAM avec votre cluster MSK Serverless. + Lorsque vous exécutez des commandes Kafka, vous devrez peut-être vous assurer qu'elles `classpath` incluent le fichier JAR AWS MSK IAM. Pour ce faire, optez pour l'une des solutions suivantes : + Définissez la variable d'`CLASSPATH`environnement pour inclure vos bibliothèques Kafka, comme indiqué dans l'exemple suivant. ``` export CLASSPATH=/libs/*:/libs/aws-msk-iam-auth-2.3.0-all.jar ``` + Exécutez les commandes Kafka en utilisant la commande Java complète avec explicit`classpath`, comme indiqué dans l'exemple suivant. ``` java -cp "/libs/*:/libs/aws-msk-iam-auth-2.3.0-all.jar" org.apache.kafka.tools.TopicCommand --bootstrap-server $BS --command-config client.properties --create --topic msk-serverless-tutorial --partitions 6 ``` ## Créer un sujet et y écrire des données 1. Dans la `export` commande suivante, remplacez *my-endpoint* par la chaîne bootstrap-server que vous avez enregistrée après avoir créé le cluster. Accédez ensuite au répertoire `kafka_2.12-2.8.1/bin` de l'ordinateur client et exécutez la commande `export`. ``` export BS=my-endpoint ``` 1. Exécutez la commande suivante pour créer une rubrique appelée `msk-serverless-tutorial`. ``` /bin/kafka-topics.sh --bootstrap-server $BS --command-config client.properties --create --topic msk-serverless-tutorial --partitions 6 ``` **Étape suivante** [Produire et consommer des données dans MSK Serverless](msk-serverless-produce-consume.md) # Produire et consommer des données dans MSK Serverless Dans cette étape, vous produisez et consommez des données à l'aide de la rubrique que vous avez créée à l'étape précédente. **Pour produire et consommer des messages** 1. Exécutez la commande suivante pour créer un producteur de console. ``` /bin/kafka-console-producer.sh --broker-list $BS --producer.config client.properties --topic msk-serverless-tutorial ``` 1. Saisissez le message souhaité, puis appuyez sur **Entrée**. Répétez cette étape deux ou trois fois. Chaque fois que vous entrez une ligne et appuyez sur **Entrée**, cette ligne est envoyée à votre cluster sous forme de message distinct. 1. Gardez la connexion à l'ordinateur client ouverte, puis ouvrez une deuxième connexion séparée à cet ordinateur dans une nouvelle fenêtre. 1. Utilisez votre deuxième connexion à l'ordinateur client pour créer un consommateur de console avec la commande suivante. *my-endpoint*Remplacez-la par la chaîne du serveur bootstrap que vous avez enregistrée après avoir créé le cluster. ``` /bin/kafka-console-consumer.sh --bootstrap-server my-endpoint --consumer.config client.properties --topic msk-serverless-tutorial --from-beginning ``` Vous commencez à voir les messages que vous avez entrés plus tôt lorsque vous avez utilisé la commande du producteur de la console. 1. Entrez d'autres messages dans la fenêtre du producteur et regardez-les apparaître dans la fenêtre du consommateur. Si vous rencontrez `classpath` des problèmes lors de l'exécution de ces commandes, assurez-vous de les exécuter depuis le bon répertoire. Assurez-vous également que le fichier JAR AWS MSK IAM se trouve dans le `libs` répertoire. Vous pouvez également exécuter des commandes Kafka en utilisant la commande Java complète avec explicite`classpath`, comme indiqué dans l'exemple suivant. ``` java -cp "kafka_2.12-2.8.1/libs/*:kafka_2.12-2.8.1/libs/aws-msk-iam-auth-2.3.0-all.jar" org.apache.kafka.tools.ConsoleProducer —broker-list $BS —producer.config client.properties —topic msk-serverless-tutorial ``` **Étape suivante** [Supprimer les ressources que vous avez créées pour MSK Serverless](delete-resources.md) # Supprimer les ressources que vous avez créées pour MSK Serverless Dans cette étape, vous supprimez les ressources que vous avez créées dans ce didacticiel. **Pour supprimer le cluster** 1. Ouvrez la console Amazon MSK à la [https://console.aws.amazon.com/msk/maison](https://console.aws.amazon.com/msk/home). 1. Dans la liste des clusters, choisissez le cluster que vous avez créé pour ce didacticiel. 1. Pour **Actions**, choisissez **Supprimer le cluster**. 1. Saisissez `delete` dans le champ, puis choisissez **Supprimer**. **Pour arrêter l'ordinateur client** 1. Ouvrez la console Amazon EC2 à l’adresse [https://console.aws.amazon.com/ec2/](https://console.aws.amazon.com/ec2/). 1. Dans la liste des instances Amazon EC2, choisissez l'ordinateur client que vous avez créé pour ce didacticiel. 1. Choisissez **État de l'instance**, puis **Résilier l'instance**. 1. Sélectionnez **Résilier**. **Pour supprimer la politique et le rôle IAM** 1. Ouvrez la console IAM à l’adresse [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/). 1. Dans le panneau de navigation, choisissez **Rôles**. 1. Dans la zone de recherche, saisissez le nom du rôle IAM que vous avez créé pour ce didacticiel. 1. Choisissez le rôle. Ensuite, choisissez **Supprimer le rôle** et confirmez la suppression. 1. Dans le panneau de navigation, choisissez **Politiques**. 1. Dans la zone de recherche, saisissez le nom de la politique que vous avez créée pour ce didacticiel. 1. Choisissez la politique pour ouvrir sa page récapitulative. Sur la page **Récapitulatif** de la politique, choisissez **Supprimer la politique**. 1. Sélectionnez **Supprimer**. # Propriétés de configuration pour les clusters MSK Serverless Amazon MSK définit les propriétés de configuration des agents pour les clusters sans serveur. Vous ne pouvez pas modifier les paramètres des propriétés de configuration de ces agents. Toutefois, vous pouvez définir ou modifier les propriétés de configuration thématiques suivantes. Toutes les autres propriétés de configuration au niveau de la rubrique ne sont pas configurables. **** | Propriété de configuration | Par défaut | Modifiable | Valeur maximale autorisée | | --- | --- | --- | --- | | [cleanup.policy](https://kafka.apache.org/documentation/#topicconfigs_cleanup.policy) | Suppression | Oui, mais uniquement au moment de la création de la rubrique | | | [compression.type](https://kafka.apache.org/documentation/#topicconfigs_compression.type) | Producer | Oui | | | [max.message.bytes](https://kafka.apache.org/documentation/#topicconfigs_max.message.bytes) | 1048588 | Oui | 8388608 (8 Mo) | | [message.timestamp.difference.max.ms](https://kafka.apache.org/documentation/#topicconfigs_message.timestamp.difference.max.ms) | long.max | Oui | | | [message.timestamp.type](https://kafka.apache.org/documentation/#topicconfigs_message.timestamp.type) | CreateTime | Oui | | | [retention.bytes](https://kafka.apache.org/documentation/#topicconfigs_retention.bytes) | 250 Gio | Oui | Illimité ; réglez-le sur -1 pour une rétention illimitée | | [retention.ms](https://kafka.apache.org/documentation/#topicconfigs_retention.ms) | 7 jours | Oui | Illimité ; réglez-le sur -1 pour une rétention illimitée | Pour définir ou modifier ces propriétés de configuration au niveau du sujet, vous pouvez utiliser les outils de ligne de commande Apache Kafka. Consultez [3.2 Configurations thématiques](https://kafka.apache.org/documentation/#topicconfigs) dans la documentation officielle d'Apache Kafka pour plus d'informations et des exemples de leur définition. **Note** Vous ne pouvez pas modifier la configuration segment.bytes pour les rubriques dans MSK Serverless. Cependant, une application Kafka Streams peut tenter de créer un sujet interne avec une valeur de configuration segment.bytes, différente de celle autorisée par MSK Serverless. Pour plus d'informations sur la configuration de Kafka Streams avec MSK Serverless, consultez. [Utilisation de Kafka Streams avec les courtiers MSK Express et MSK Serverless](use-kafka-streams-express-brokers-msk-serverless.md) Lorsque vous utilisez les outils de ligne de commande Apache Kafka avec Amazon MSK Serverless, assurez-vous d'avoir suivi les étapes 1 à 4 de la section *Pour configurer les outils client Apache Kafka sur la machine cliente de la documentation* de démarrage [Amazon MSK](https://docs.aws.amazon.com/msk/latest/developerguide/create-serverless-cluster-client.html) Serverless. En outre, vous devez inclure le `--command-config client.properties` paramètre dans vos commandes. Par exemple, la commande suivante peut être utilisée pour modifier la propriété de configuration de la rubrique retention.bytes afin de définir une rétention illimitée : ``` /bin/kafka-configs.sh —bootstrap-server —command-config client.properties --entity-type topics --entity-name --alter --add-config retention.bytes=-1 ``` Dans cet exemple, remplacez-le ** par le point de terminaison du serveur bootstrap de votre cluster Amazon MSK Serverless et ** par le nom du sujet que vous souhaitez modifier. Le `--command-config client.properties` paramètre garantit que l'outil de ligne de commande Kafka utilise les paramètres de configuration appropriés pour communiquer avec votre cluster Amazon MSK Serverless. # Configuration du type de réseau à double pile Amazon MSK prend en charge le type de réseau à double pile pour les clusters MSK sans serveur existants qui utilisent la version 3.6.0 ou ultérieure de Kafka, sans frais supplémentaires. Avec un réseau à double pile, vos clusters peuvent utiliser à la fois des IPv6 adresses IPv4 et des adresses. Les points de terminaison à double pile sont également compatibles IPv4 , préservant ainsi la rétrocompatibilité. Amazon MSK fournit une IPv6 assistance via un type de réseau à double pile, et non uniquement sous forme IPv6 de réseau. Par défaut, les clients se connectent aux clusters Amazon MSK en utilisant le type de IPv4 réseau. Tous les nouveaux clusters que vous créez sont également utilisés IPv4 par défaut. Pour mettre à jour le type de réseau d'un cluster vers le mode Dual-Stack, assurez-vous de remplir les conditions requises décrites dans la section suivante. Utilisez ensuite l'[UpdateConnectivity](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn-connectivity.html#UpdateConnectivity)API pour mettre à jour la connectivité vers Dual-Stack. **Note** Une fois que vous avez mis à jour votre cluster pour utiliser le type de réseau à double pile, vous ne pouvez pas revenir au type de IPv4 réseau. **Topics** + [Conditions préalables à l'utilisation du type de réseau à double pile](#msks-ipv6-prerequisites) + [Autorisations IAM pour MSK Serverless](#msks-ipv6-iam-permissions) + [Utiliser un type de réseau à double pile pour un cluster](#update-msks-network-type) + [Considérations relatives à l'utilisation du type de réseau à double pile](#msks-dual-stack-considerations) ## Conditions préalables à l'utilisation du type de réseau à double pile Avant de configurer le type de réseau à double pile pour vos clusters, assurez-vous que tous les sous-réseaux que vous fournissez lors de la création du cluster doivent prendre en charge le type de réseau à double pile. Si même un sous-réseau de votre cluster ne prend pas en charge la double pile, vous ne pourrez pas mettre à jour le type de réseau de votre cluster vers la double pile. ## Autorisations IAM pour MSK Serverless Vous devez détenir les autorisations IAM suivants : + `ec2:DescribeSubnets` + `ec2:ModifyVpcEndpoint` Pour obtenir la liste complète des autorisations requises pour effectuer toutes les actions Amazon MSK, consultez la politique AWS gérée : [Amazon MSKFull Access](https://docs.aws.amazon.com/msk/latest/developerguide/security-iam-awsmanpol.html#security-iam-awsmanpol-AmazonMSKFullAccess). ## Utiliser un type de réseau à double pile pour un cluster Vous pouvez mettre à jour le type de réseau d'un cluster MSK Serverless à l'aide du AWS Management Console AWS CLI, ou AWS du SDK. ------ #### [ Using AWS Management Console ] 1. Vous voulez ouvrir la console Amazon MSK à la [https://console.aws.amazon.com/msk/maison ? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/). 1. Choisissez le cluster MSK Serverless pour lequel vous souhaitez configurer le type de réseau à double pile. 1. Sur la page des détails du cluster, sélectionnez **Propriétés**. 1. Dans **Paramètres réseau**, choisissez **Modifier le type de réseau**. 1. Pour **Type de réseau**, choisissez **Dual stack**. 1. Sélectionnez **Enregistrer les modifications**. ------ #### [ Using AWS CLI ] Vous pouvez utiliser l'API de [mise à jour de connectivité](https://docs.aws.amazon.com/cli/latest/reference/kafka/update-connectivity.html) pour mettre à jour le type de réseau de votre cluster MSK Serverless existant vers le mode Dual-Stack. L'exemple suivant utilise la ` update-connectivity` commande pour définir le type de réseau du cluster sur Dual-Stack. Dans l'exemple suivant, remplacez l'exemple d'ARN du cluster, arn:aws:kafka : *us-east-1* ::cluster//, par l'ARN de votre cluster MSK réel* 123456789012*. *myCluster* *12345678-1234-1234-1234-123456789012 -1* Pour obtenir la version actuelle du cluster, utilisez la commande [describe-cluster](https://docs.aws.amazon.com/cli/latest/reference/kafka/describe-cluster.html). ``` aws kafka update-connectivity \ --cluster-arn "arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/12345678-1234-1234-1234-123456789012-1" \ --current-version "KTVPDKIKX0DER" \ --connectivity-info '{ "networkType": "DUAL" } ``` ------ #### [ Using AWS SDK ] L'exemple suivant utilise l'[UpdateConnectivity](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn-connectivity.html#UpdateConnectivity)API pour définir le type de réseau du cluster sur Dual-Stack. Dans l'exemple suivant, remplacez l'exemple d'ARN du cluster, arn:aws:kafka : *us-east-1* ::cluster//, par l'ARN de votre cluster MSK réel*123456789012*. *myCluster* *12345678-1234-1234-1234-123456789012-1* Pour obtenir la version actuelle du cluster, utilisez l'[DescribeCluster](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn.html#DescribeCluster)API. ``` import boto3 client = boto3.client("kafka") response = client.update_connectivity( ClusterArn="arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/12345678-1234-1234-1234-123456789012-1", CurrentVersion="KTVPDKIKX0DER", ConnectivityInfo={ "NetworkType": "DUAL" } ) print("Connectivity update initiated:", response) ``` ------ ## Considérations relatives à l'utilisation du type de réseau à double pile + IPv6 le support n'est actuellement disponible qu'en mode double pile (IPv4 \$1 IPv6), et non en tant que IPv6 -only. + Le type de réseau à double pile n'est pas disponible pour la connectivité privée multi-VPC. + Vous pouvez changer le type de IPv4 réseau en double pile pour un cluster existant uniquement si tous ses sous-réseaux prennent en charge le type de réseau à double pile. + Vous ne pouvez pas revenir au type de IPv4 réseau après avoir activé la technologie Dual-Stack. Pour revenir en arrière, vous devez supprimer et recréer le cluster. + Vous devez détenir les autorisations IAM suivants : + `ec2:DescribeSubnets` et ` ec2:ModifyVpcEndpoint` # Surveillez les clusters MSK Serverless Amazon MSK s'intègre à Amazon CloudWatch afin que vous puissiez collecter, consulter et analyser les métriques de votre cluster MSK Serverless. Les métriques indiquées dans le tableau suivant sont disponibles pour tous les clusters sans serveur. Comme ces métriques sont publiées sous forme de points de données individuels pour chaque partition de la rubrique, nous vous recommandons de les consulter sous forme de statistiques « SUM » pour obtenir une vue au niveau de la rubrique. Amazon MSK publie `PerSec` des statistiques CloudWatch à une fréquence d'une fois par minute. Cela signifie que la statistique « SUM » pour une période d'une minute représente avec précision les données par seconde pour les métriques `PerSec`. Pour collecter des données par seconde pendant une période de plus d'une minute, utilisez l'expression CloudWatch mathématique suivante : `m1 * 60/PERIOD(m1)` **Métriques disponibles au niveau de la surveillance DEFAULT** | Nom | Lorsqu'il est visible | Dimensions | Description | | --- | --- | --- | --- | | BytesInPerSec | Après qu'un producteur a écrit dans une rubrique | Nom du cluster, rubrique | Nombre d'octets par seconde reçus des clients. Cette métrique est disponible pour chaque rubrique. | | BytesOutPerSec | Après qu'un groupe de consommateurs a consommé à partir d'une rubrique | Nom du cluster, rubrique | Nombre d'octets par seconde envoyés aux clients. Cette métrique est disponible pour chaque rubrique. | | FetchMessageConversionsPerSec | Après qu'un groupe de consommateurs a consommé à partir d'une rubrique | Nom du cluster, rubrique | Nombre de conversions de messages d'extraction par seconde pour la rubrique. | | EstimatedMaxTimeLag | Après qu'un groupe de consommateurs a consommé à partir d'une rubrique | Nom du cluster, groupe de consommateurs, rubrique | Une estimation temporelle de la MaxOffsetLag métrique. | | MaxOffsetLag | Après qu'un groupe de consommateurs a consommé à partir d'une rubrique | Nom du cluster, groupe de consommateurs, rubrique | Décalage maximal entre toutes les partitions d'une rubrique. | | MessagesInPerSec | Après qu'un producteur a écrit dans une rubrique | Nom du cluster, rubrique | Nombre de messages entrants par seconde pour la rubrique. | | ProduceMessageConversionsPerSec | Après qu'un producteur a écrit dans une rubrique | Nom du cluster, rubrique | Nombre de conversions de messages de production par seconde pour la rubrique. | | SumOffsetLag | Après qu'un groupe de consommateurs a consommé à partir d'une rubrique | Nom du cluster, groupe de consommateurs, rubrique | Décalage agrégé pour toutes les partitions d'une rubrique. | **Pour consulter les métriques MSK sans serveur** 1. Connectez-vous à la CloudWatch console AWS Management Console et ouvrez-la à l'adresse [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/). 1. Dans le panneau de navigation, sous **Métriques**, sélectionnez **Toutes les métriques**. 1. Dans les métriques, recherchez le terme **kafka**. 1. Choisissez **AWS/Kafka/ Nom du cluster, rubrique** ou **AWS/Kafka/ Nom du cluster, groupe de consommateurs, rubrique** pour voir les différentes métriques.