Création d'un MSK cluster Amazon

Ce processus décrit la tâche courante qui consiste à créer un cluster provisionné à l'aide d'options de création personnalisées. Vous pouvez sélectionner d'autres options dans la MSK console pour créer un cluster sans serveur.

1. Ouvrez la MSK console Amazon à l'adressehttps://console.aws.amazon.com/msk/.

2. Choisissez Créer un cluster.

3. Pour la méthode de création du cluster, choisissez Création personnalisée.

4. Spécifiez un nom de cluster unique ne comportant pas plus de 64 caractères.

5. Pour le type de cluster, choisissez Provisioned, qui vous permet de spécifier le nombre de courtiers, la taille du courtier et la capacité de stockage du cluster.

6. Sélectionnez la version d'Apache Kafka que vous souhaitez exécuter sur les courtiers. Pour voir une comparaison des MSK fonctionnalités prises en charge par chaque version d'Apache Kafka, sélectionnez Afficher la compatibilité des versions.

7. Selon la version d'Apache Kafka que vous sélectionnez, vous pouvez choisir le mode de métadonnées du cluster : ZooKeeper ou KRaft.

8. Sélectionnez la taille de courtier à utiliser pour le cluster en fonction des besoins de calcul, de mémoire et de stockage du cluster. Voir Tailles des courtiers,

9. Sélectionnez le nombre de zones dans lesquelles les courtiers sont répartis.

10. Spécifiez le nombre de courtiers que vous MSK souhaitez créer dans chaque zone de disponibilité. Le minimum est d'un courtier par zone de disponibilité et le maximum est de 30 courtiers par cluster pour les clusters ZooKeeper basés et de 60 courtiers par cluster pour les clusters KRaft basés.

11. Sélectionnez la quantité initiale de stockage que vous souhaitez attribuer à votre cluster. Vous ne pouvez pas réduire la capacité de stockage après avoir créé le cluster.

12. En fonction de la taille du courtier (taille de l'instance) que vous avez sélectionnée, vous pouvez spécifier le débit de stockage provisionné par courtier. Pour activer cette option, choisissez la taille du broker (taille de l'instance) kafka.m5.4xlarge ou supérieure pour x86, et kafka.m7g.2xlarge ou supérieure pour les instances basées sur Graviton. Consultez Provisionnement du débit de stockage.

13. Sélectionnez une option de mode de stockage en cluster, soit EBS stockage uniquement, soit stockage et EBS stockage hiérarchisés.

14. Si vous souhaitez créer et utiliser une configuration de cluster personnalisée (ou si vous avez déjà enregistré une configuration de cluster), choisissez-en une. Sinon, vous pouvez créer le cluster en utilisant la configuration de cluster MSK par défaut d'Amazon. Pour plus d'informations sur MSK les configurations Amazon, consultezMSKConfiguration d'Amazon.

15. Sélectionnez Suivant.

16. Pour les paramètres réseau, choisissez celui que VPC vous souhaitez utiliser pour le cluster.

17. Sur la base du nombre de zones que vous avez précédemment sélectionné, spécifiez les zones de disponibilité et les sous-réseaux dans lesquels les courtiers seront déployés. Les sous-réseaux doivent se trouver dans des zones de disponibilité différentes.

18. Vous pouvez sélectionner un ou plusieurs groupes de sécurité auxquels vous souhaitez donner accès à votre cluster (par exemple, les groupes de sécurité des machines clientes). Si vous spécifiez des groupes de sécurité partagés avec vous, vous devez vous assurer que vous êtes autorisé à les utiliser. Vous devez disposer en particulier de l'autorisation ec2:DescribeSecurityGroups. Connexion à un MSK cluster Amazon.

19. Sélectionnez Suivant.

20. Sélectionnez les méthodes de contrôle d'accès et les paramètres de chiffrement du cluster pour chiffrer les données lors de leur transit entre les clients et les courtiers. Pour de plus amples informations, veuillez consulter Chiffrement en transit.

21. Choisissez le type de KMS clé que vous souhaitez utiliser pour chiffrer les données au repos. Pour de plus amples informations, veuillez consulter Chiffrement au repos.

22. Sélectionnez Suivant.

23. Choisissez le monitoring et les tags souhaités. Cela détermine l'ensemble de mesures que vous obtenez. Pour de plus amples informations, veuillez consulter Surveillance d'un MSK cluster Amazon. Amazon CloudWatch, Prometheus, Broker log delivery ou Cluster tags, puis sélectionnez Next.

24. Vérifiez les paramètres de votre cluster. Vous pouvez revenir en arrière et modifier les paramètres en sélectionnant Précédent pour revenir à l'écran de console précédent, ou Modifier pour modifier des paramètres de cluster spécifiques. Si les paramètres sont corrects, sélectionnez Créer un cluster.

25. Vérifiez le Statut du cluster sur la page Résumé du cluster. Le statut passe de Création à Actif à mesure qu'Amazon MSK approvisionne le cluster. Lorsque le statut est Actif, vous pouvez vous connecter au cluster. Pour de plus amples informations sur le statut des clusters, consultez États du cluster.

1. Copiez ce qui suit JSON et enregistrez-le dans un fichier. Nommez le fichier brokernodegroupinfo.json. Remplacez le sous-réseau IDs JSON par les valeurs correspondant à vos sous-réseaux. Les sous-réseaux doivent se trouver dans des zones de disponibilité différentes. Remplacez "Security-Group-ID" avec l'ID d'un ou de plusieurs groupes de sécurité du clientVPC. Les clients associés à ces groupes de sécurité ont accès au cluster. Si vous spécifiez des groupes de sécurité qui ont été partagés avec vous, vous devez vous assurer que vous disposez des autorisations pour ces groupes. Vous devez disposer en particulier de l'autorisation ec2:DescribeSecurityGroups. Par exemple, consultez Amazon EC2 : permet de gérer les groupes EC2 de sécurité Amazon associés à un groupe spécifiqueVPC, par programmation et dans la console. Enfin, enregistrez le JSON fichier mis à jour sur l'ordinateur sur lequel vous l'avez AWS CLI installé.

   {
     "InstanceType": "kafka.m5.large",
     "ClientSubnets": [
       "Subnet-1-ID",
       "Subnet-2-ID"
     ],
     "SecurityGroups": [
       "Security-Group-ID"
     ]
   }

   Important

   Spécifiez exactement deux sous-réseaux si vous utilisez la région USA Ouest (Californie du Nord). Pour les autres régions où Amazon MSK est disponible, vous pouvez spécifier deux ou trois sous-réseaux. Les sous-réseaux que vous spécifiez doivent se trouver dans des zones de disponibilité distinctes. Lorsque vous créez un cluster, Amazon MSK distribue les nœuds de courtage de manière uniforme sur les sous-réseaux que vous spécifiez.

2. Exécutez la AWS CLI commande suivante dans le répertoire où vous avez enregistré le brokernodegroupinfo.json fichier, en remplaçant "Your-Cluster-Name" avec le nom de votre choix. Dans "Monitoring-Level", vous pouvez spécifier l'une des trois valeurs suivantes : DEFAULTPER_BROKER, ouPER_TOPIC_PER_BROKER. Pour de plus amples informations sur ces trois niveaux de surveillance, veuillez consulter Surveillance d'un MSK cluster Amazon. Le paramètre enhanced-monitoring est facultatif. Si vous ne le spécifiez pas dans la commande create-cluster, vous obtenez le niveau de surveillance DEFAULT.

   aws kafka create-cluster --cluster-name "Your-Cluster-Name" --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "2.8.1" --number-of-broker-nodes 3 --enhanced-monitoring "Monitoring-Level"

   Le résultat de la commande ressemble à ce qui suit JSON :

   {
       "ClusterArn": "...",
       "ClusterName": "AWSKafkaTutorialCluster",
       "State": "CREATING"
   }

   Note

   La commande create-cluster peut renvoyer une erreur indiquant qu'un ou plusieurs sous-réseaux appartiennent à des zones de disponibilité non prises en charge. Lorsque cela se produit, l'erreur indique quelles zones de disponibilité ne sont pas prises en charge. Créez des sous-réseaux qui n'utilisent pas les zones de disponibilité non prises en charge et réessayez la commande create-cluster.

3. Enregistrez la valeur de la clé ClusterArn car vous en avez besoin pour effectuer d'autres actions sur votre cluster.

4. Exécutez la commande suivante pour vérifier votre cluster STATE. La STATE valeur passe de CREATING à à au ACTIVE fur et à mesure qu'Amazon MSK approvisionne le cluster. Lorsque le statut est ACTIVE, vous pouvez vous connecter au cluster. Pour de plus amples informations sur le statut des clusters, consultez États du cluster.

   aws kafka describe-cluster --cluster-arn <your-cluster-ARN>

Pour plus d'informations sur les MSK configurations Amazon personnalisées et sur la façon de les créer, consultezMSKConfiguration d'Amazon.

1. Enregistrez ce qui suit JSON dans un fichier, en remplaçant configuration-arn avec ARN la configuration que vous souhaitez utiliser pour créer le cluster.

   {
       "Arn": configuration-arn,
       "Revision": 1
   }

2. Exécutez la create-cluster commande et utilisez l'configuration-infooption pour pointer vers le JSON fichier que vous avez enregistré à l'étape précédente. Voici un exemple.

   aws kafka create-cluster --cluster-name ExampleClusterName --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "2.8.1" --number-of-broker-nodes 3 --enhanced-monitoring PER_TOPIC_PER_BROKER --configuration-info file://configuration.json

   Voici un exemple de réponse réussie après l'exécution de cette commande.

   {
       "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/CustomConfigExampleCluster/abcd1234-abcd-dcba-4321-a1b2abcd9f9f-2",
       "ClusterName": "CustomConfigExampleCluster",
       "State": "CREATING"
   }