View a markdown version of this page

Créez un cluster MSK Provisioned à l'aide du Console de gestion AWS - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Créez un cluster MSK Provisioned à l'aide du Console de gestion AWS

Les procédures décrites dans cette rubrique décrivent la tâche courante qui consiste à créer un cluster MSK Provisioned à l'aide de l'option de création personnalisée du. Console de gestion AWSÀ l'aide des autres options disponibles dans le Console de gestion AWS, vous pouvez également créer les éléments suivants :

Procédures décrites dans cette rubrique

  1. Ouvrez la console Amazon MSK à l'adresse https://console.aws.amazon.com/msk/.

  2. Choisissez Créer un cluster.

  3. Pour Méthode de création de cluster, choisissez Création personnalisée.

  4. Pour Nom du cluster, spécifiez un nom unique ne contenant pas plus de 64 caractères.

  5. Pour Type de cluster, choisissez Provisioned.

  6. Pour la version Apache Kafka, choisissez une version à exécuter sur les courtiers. Pour voir une comparaison des fonctionnalités d'Amazon MSK prises en charge par chaque version d'Apache Kafka, choisissez Afficher la compatibilité des versions.

  7. Dans la section Courtiers, procédez comme suit :

    1. Pour Type de courtier, choisissez l'une des options suivantes :

      • Courtiers express  : High-performance courtiers évolutifs dotés d'un stockage virtuel entièrement géré. Choisissez ce type de courtier pour les applications exigeantes à haut débit.

      • Courtiers standard  : courtier Kafka traditionnel avec contrôle complet de la configuration. Choisissez ce type de broker pour les charges de travail à usage général nécessitant un débit modéré.

      Pour plus d'informations sur ces types de courtiers, consultezTypes d’agents Amazon MSK.

    2. Pour Broker size, choisissez la taille à utiliser pour le cluster en fonction de ses besoins de calcul, de mémoire et de stockage.

    3. Pour Nombre de zones, choisissez le nombre de zones AWS Zones de disponibilité dans lesquelles les courtiers sont répartis.

      Les courtiers Express ont besoin de trois zones de disponibilité pour une disponibilité accrue.

    4. Pour les courtiers par zone, spécifiez le nombre de courtiers que vous souhaitez qu'Amazon MSK crée dans chaque zone de disponibilité. Le minimum est d'un courtier par zone de disponibilité et le maximum est de 30 courtiers par cluster pour les ZooKeeper-based clusters et de 60 courtiers par cluster pour les KRaft-based clusters.

Cette procédure décrit comment configurer vos besoins de stockage de données pour tous les courtiers et spécifier le mode de stockage. Cela vous permet de définir vos besoins de stockage de données en fonction de vos besoins en matière de charge de travail. En outre, cette procédure décrit les paramètres de configuration du cluster qui contrôlent le fonctionnement de vos courtiers. Ces paramètres incluent les configurations des courtiers, les paramètres de rubrique par défaut et la politique de stockage hiérarchisé.

  1. Si vous avez sélectionné le type de courtier Standard, procédez comme suit dans la section Stockage :

    1. Pour le stockage, choisissez la quantité initiale de stockage que vous souhaitez attribuer à votre cluster. Vous ne pouvez pas réduire la capacité de stockage après avoir créé le cluster.

    2. (Facultatif) En fonction de la taille du broker (taille de l'instance) que vous avez sélectionnée, vous pouvez également spécifier le débit de stockage provisionné par courtier. Cette option vous permet d'allouer des performances d'entrée et de sortie (I/O) dédiées aux volumes Amazon EBS de chaque courtier.

      Pour activer cette option, choisissez la taille du broker (taille de l'instance) kafka.m5.4xlarge ou plus pour x86, et kafka.m7g.2xlarge ou plus pour les instances. Graviton-based Cochez ensuite la case Activer le débit de stockage provisionné. En cochant cette case, vous pouvez définir manuellement un débit minimum de 250 MiB par seconde. Cela est utile pour les I/O-intensive charges de travail ou les applications qui nécessitent des performances de stockage rapides et prévisibles. Pour de plus amples informations, veuillez consulter Provisionnez le débit de stockage pour les courtiers Standard dans un cluster Amazon MSK.

    3. Pour le mode de stockage en cluster, spécifiez comment les données sont stockées et gérées au sein de votre cluster. Cette option détermine le type et la configuration du stockage utilisés par vos courtiers. Choisissez l’une des options suivantes :

      • Stockage EBS uniquement  : stocke toutes les données thématiques localement sur les volumes Amazon Elastic Block Store (Amazon EBS) attachés à chaque courtier. Choisissez ce mode pour des performances constantes et un accès rapide aux messages récents.

      • Stockage hiérarchisé et stockage EBS  : combine les données Amazon EBS locales avec un stockage à distance rentable pour les grands ensembles de données dans Amazon S3. Ce mode réduit les coûts de stockage Amazon EBS, permet une conservation des données plus longue et fait évoluer le stockage automatiquement sans intervention manuelle. Choisissez ce mode si vous souhaitez conserver des données pendant de plus longues périodes à moindre coût, ou si vous vous attendez à une augmentation significative de vos besoins de stockage.

    Note

    Vous n'avez pas besoin de gérer le stockage pour les courtiers Express.

  2. Pour la configuration du cluster, spécifiez l'une des options suivantes pour définir le comportement de votre cluster :

    • Configuration par défaut d'Amazon MSK  : contient un ensemble prédéfini de configurations optimisées pour les cas d'utilisation généraux. Choisissez cette option pour une configuration et un déploiement rapides du cluster. Pour de plus amples informations sur les configurations Amazon MSK, veuillez consulter Configuration provisionnée d'Amazon MSK.

    • Configuration personnalisée  : vous permet de spécifier vos propres paramètres de courtier et de rubrique. Vous pouvez choisir une configuration personnalisée existante dans la liste ou créer une nouvelle configuration personnalisée. Choisissez cette option pour affiner le contrôle de vos courtiers, par exemple en termes de performances spécifiques, de paramètres de sécurité, etc.

  3. Choisissez Suivant pour continuer.

La configuration réseau définit la manière dont votre cluster est déployé au sein de votre AWS infrastructure. Cela inclut le VPC, les zones de disponibilité et les sous-réseaux, ainsi que les groupes de sécurité qui contrôlent le réseau, la disponibilité et l'accès.

  1. Pour la mise en réseau, procédez comme suit :

    1. Choisissez le VPC que vous souhaitez utiliser pour le cluster.

    2. En fonction du nombre de zones de disponibilité que vous avez précédemment sélectionnées, spécifiez les zones de disponibilité et les sous-réseaux dans lesquels les courtiers seront déployés.

      Pour les courtiers Standard de la région Ouest des États-Unis (Californie du Nord), vous avez besoin de deux sous-réseaux dans deux zones de disponibilité différentes. Pour les autres régions où Amazon MSK est disponible, vous pouvez spécifier deux ou trois sous-réseaux. Vos sous-réseaux doivent être dans des zones de disponibilité différentes.

      Pour les courtiers Express, vous avez besoin de trois sous-réseaux dans trois zones de disponibilité différentes.

      Lorsque vous créez un cluster MSK Provisioned, MSK répartit les nœuds Broker de manière uniforme sur les sous-réseaux que vous spécifiez.

    3. Pour les groupes de sécurité dans Amazon EC2, choisissez ou créez un ou plusieurs groupes de sécurité auxquels vous souhaitez donner accès à votre cluster. Ces groupes de sécurité Amazon EC2 contrôlent le trafic entrant et sortant destiné à vos courtiers. Par exemple, les groupes de sécurité des machines clientes.

      Si vous spécifiez des groupes de sécurité qui sont partagés avec vous, vous devez vous assurer que vous êtes autorisé à les utiliser. Vous devez disposer en particulier de l'autorisation ec2:DescribeSecurityGroups. Pour plus d'informations, consultez la section Connexion à un cluster MSK.

  2. Choisissez Suivant pour continuer.

  1. Dans la section Paramètres de sécurité, procédez comme suit :

    1. Choisissez une ou plusieurs des méthodes d'authentification et d'autorisation suivantes pour contrôler l'accès des clients à vos clusters Kafka :

      • Accès non authentifié  : permet aux clients d'accéder au cluster sans fournir d'informations d'authentification. Cette méthode présente un risque de sécurité et peut ne pas être conforme aux meilleures pratiques de sécurité. Pour plus d'informations, consultez https://docs.aws.amazon.com/config/latest/developerguide/msk-unrestricted-access-check.html msk-unrestricted-access-check.

      • Authentification basée sur les rôles IAM  : permet l'authentification et l'autorisation des clients à l'aide d'IAM. AWS users/roles Cette méthode fournit un contrôle précis de l'accès au cluster par le biais de politiques IAM. Nous avons recommandé cette méthode pour les applications déjà en cours d'exécution AWS.

      • SASL/SCRAM authentification  : demande aux clients de fournir les informations d'identification par nom d'utilisateur et mot de passe stockées AWS Secrets Manager pour l'authentification. Amazon MSK extrait ces informations d'identification depuis Secrets Manager et authentifie les utilisateurs en toute sécurité.

        Pour configurer les informations de connexion relatives à l'authentification d'un cluster, créez d'abord une ressource secrète dans Secrets Manager. Associez ensuite les informations de connexion à ce secret. Pour plus d'informations sur cette méthode de contrôle d'accès, consultezConfigurer SASL/SCRAM l'authentification pour un cluster Amazon MSK.

      • Authentification client TLS via AWS Certificate Manager (ACM)  : permet une authentification mutuelle entre les clients et les courtiers à l'aide de certificats numériques. Vous devez configurer un Autorité de certification privée AWS (CA privée AWS) identique ou différent de Compte AWS celui de votre cluster.

        Nous vous recommandons vivement d'utiliser des CA privée AWS s indépendants pour chaque cluster MSK lors de la mise en œuvre de mTLS. Cela garantit que les certificats TLS signés par les PCA ne s'authentifient qu'auprès d'un seul cluster MSK, maintenant ainsi un contrôle d'accès strict.

  2. Dans Chiffrement, choisissez le type de clé KMS que vous souhaitez utiliser pour chiffrer les données au repos. Pour de plus amples informations, veuillez consulter Chiffrement Amazon MSK au repos.

    Le chiffrement des données au repos protège l’intégrité des données stockées, tandis que le chiffrement en transit protège la confidentialité des données contre la surveillance du réseau pendant le transfert.

  3. Choisissez Suivant pour continuer.

Cette procédure explique comment configurer les statistiques de votre courtier, ainsi que collecter et diffuser les journaux des courtiers. Ces paramètres vous permettent d'observer et d'analyser l'état de santé et les performances de votre cluster et de résoudre les problèmes. Pour de plus amples informations, veuillez consulter Surveiller un cluster Amazon MSK Provisioned.

  1. Pour les CloudWatch statistiques Amazon relatives à ce cluster, choisissez l'un des niveaux de surveillance suivants. Les mesures collectées à chaque niveau de surveillance sont intégrées à des CloudWatch fins de visualisation et d'alerte.

    1. Surveillance de base  : fournit un ensemble de mesures essentielles au niveau du cluster sans frais supplémentaires. Ce niveau convient à la plupart des cas d'utilisation nécessitant des besoins de surveillance généraux.

    2. Surveillance améliorée au niveau des courtiers  : fournit des statistiques détaillées sur les courtiers moyennant des frais supplémentaires. Ce niveau inclut une surveillance de base et des mesures de courtage plus détaillées, telles que les métriques de stockage hiérarchisé, les octets in/out des autres courtiers, le temps total des read/write opérations. Vous payez pour les métriques de ce niveau, alors que les métriques de base restent gratuites.

    3. Surveillance améliorée au niveau des sujets  : fournit des mesures pour des sujets individuels moyennant des frais supplémentaires. Choisissez ce niveau pour obtenir une vue plus précise des performances thématiques des agents. Ce niveau inclut une surveillance améliorée au niveau de l’agent et des métriques au niveau des rubriques, telles que des métriques de stockage à plusieurs niveaux pour une rubrique spécifique et le nombre de messages reçus par seconde.

    4. Surveillance améliorée au niveau des partitions  : fournit la vue la plus détaillée des mesures par partition, moyennant des frais supplémentaires. Choisissez ce niveau pour obtenir la surveillance la plus détaillée en capturant des métriques pour chaque partition au sein de chaque rubrique entre les agents. Ce niveau comprend une surveillance améliorée au niveau des rubriques et des métriques précises spécifiques aux partitions, telles que les métriques de décalage.

    Pour plus d'informations sur les mesures disponibles pour les types de courtiers Standard et Express à chacun de ces niveaux de surveillance, consultez CloudWatch mesures pour les courtiers standard etCloudWatch indicateurs pour les courtiers Express.

  2. (Facultatif) Si vous souhaitez exporter des métriques au format Prometheus à l'aide de JMX Exporter, de Node Exporter ou des deux, choisissez Activer la surveillance ouverte avec Prometheus. Pour plus d’informations sur cette option, consultez Moniteur avec Prometheus.

  3. (Facultatif) Pour configurer votre cluster MSK afin de fournir des journaux de courtage à différents Services AWS utilisateurs à des fins de dépannage et d'audit, choisissez une ou plusieurs des options suivantes. Amazon MSK ne crée pas ces ressources de destination pour vous si elles n’existent pas déjà. Pour de plus amples informations, veuillez consulter Journaux d'agent.

    • Envoyer à Amazon CloudWatch Logs  : envoie des journaux à CloudWatch avec des fonctionnalités de clustering, de recherche et de visualisation. Vous pouvez interroger et analyser les journaux sans quitter le Console de gestion AWS.

    • Diffuser vers Amazon S3  : stocke les journaux sous forme de fichiers dans des compartiments Amazon S3 pour un archivage à long terme et une analyse par lots.

    • Envoyer à Amazon Data Firehose  : envoyez les journaux à Firehose pour qu'ils soient automatiquement transmis à Amazon OpenSearch Service pour une résolution des problèmes en temps réel.

  4. (Facultatif) Pour vous aider à identifier, organiser ou rechercher votre cluster, choisissez Ajouter une nouvelle balise pour ajouter des balises sous forme de paires clé-valeur. Par exemple, ajoutez une balise à votre cluster avec la paire clé-valeur de Load testing et. Test

    Pour plus d'informations sur l'utilisation des balises dans vos clusters, consultezMarquer un cluster Amazon MSK.

  5. Choisissez Suivant pour continuer.

  1. Vérifiez les paramètres de votre cluster.

    Choisissez Modifier ou Précédent pour modifier les paramètres que vous avez précédemment spécifiés ou pour revenir à l'écran de console précédent.

  2. Choisissez Créer un cluster.

  3. Vérifiez l'état de ce cluster dans la section Résumé du cluster de la page des détails du cluster. Le statut passe de Création à Actif à mesure qu'Amazon MSK alloue le cluster. Lorsque le statut est Actif, vous pouvez vous connecter au cluster. Pour de plus amples informations sur le statut des clusters, consultez Comprendre les états des clusters provisionnés par MSK.