Mettre à jour la taille du broker de cluster Amazon MSK - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Mettre à jour la taille du broker de cluster Amazon MSK

Vous pouvez faire évoluer votre cluster MSK à la demande en modifiant la taille de vos courtiers sans réaffecter les partitions Apache Kafka. La modification de la taille de vos courtiers vous donne la possibilité d'ajuster la capacité de calcul de votre cluster MSK en fonction de l'évolution de vos charges de travail, sans interrompre les E/S de votre cluster. Amazon MSK utilise la même taille de courtier pour tous les courtiers d'un cluster donné.

Cette section explique comment mettre à jour la taille du broker pour votre cluster MSK. Pour les courtiers standard, vous pouvez mettre à jour la taille de votre courtier de cluster de M5 ou T3 à M7g, ou de M7g à M5. Pour les courtiers Express, vous ne pouvez utiliser que des tailles de courtier M7g.

Note

Vous ne pouvez pas migrer d'un broker de plus grande taille vers un broker de plus petite taille. Par exemple, m7g.Large vers T3.small.

Sachez que la migration vers un courtier de plus petite taille peut diminuer les performances et réduire le débit maximal réalisable par courtier. La migration vers un broker de plus grande taille peut améliorer les performances mais peut coûter plus cher.

La mise à jour de la taille du courtier s'effectue de manière continue lorsque le cluster est opérationnel. Cela signifie qu'Amazon MSK supprime un courtier à la fois pour effectuer la mise à jour de la taille du courtier. Pour plus d'informations sur la manière de rendre un cluster hautement disponible lors d'une mise à jour de la taille d'un courtier, consultez. Créer des clusters hautement disponibles Pour réduire davantage tout impact potentiel sur la productivité, vous pouvez effectuer la mise à jour de la taille du courtier pendant une période de faible trafic.

Lors d'une mise à jour de la taille d'un courtier, vous pouvez continuer à produire et à consommer des données. Cependant, vous devez attendre que la mise à jour soit terminée avant de pouvoir redémarrer les agents ou invoquer l'une des opérations de mise à jour répertoriées sous les opérations Amazon MSK.

Si vous souhaitez mettre à jour votre cluster vers une taille de broker plus petite, nous vous recommandons d'essayer d'abord la mise à jour sur un cluster de test pour voir comment elle affecte votre scénario.

Important

Vous ne pouvez pas mettre à jour un cluster vers une taille de broker inférieure si le nombre de partitions par broker dépasse le nombre maximum spécifié dans Dimensionnez correctement votre cluster : nombre de partitions par courtier standard.

Mettez à jour la taille du broker de cluster Amazon MSK à l'aide du AWS Management Console

Ce processus montre comment mettre à jour la taille du broker de cluster Amazon MSK à l'aide du AWS Management Console

  1. Connectez-vous à la AWS Management Console console Amazon MSK et ouvrez-la https://console.aws.amazon.com/msk/chez vous ? region=us-east-1#/home/.

  2. Choisissez le cluster MSK pour lequel vous souhaitez mettre à jour la taille du broker.

  3. Sur la page de détails du cluster, recherchez la section Récapitulatif des courtiers, puis choisissez Modifier la taille du courtier.

  4. Choisissez la taille de courtier que vous souhaitez dans la liste.

  5. Enregistrez les modifications.

Mettez à jour la taille du broker de cluster Amazon MSK à l'aide du AWS CLI

Exécutez la commande suivante, en la ClusterArn remplaçant par le Amazon Resource Name (ARN) que vous avez obtenu lors de la création de votre cluster. Si vous n'avez pas l'ARN pour votre cluster, vous pouvez le trouver en listant tous les clusters. Pour de plus amples informations, veuillez consulter Répertorier les clusters Amazon MSK.

  1. Current-Cluster-VersionRemplacez-le par la version actuelle du cluster et TargetType par la nouvelle taille que vous souhaitez donner aux courtiers. Pour en savoir plus sur la taille des courtiers, consultezTypes de courtiers Amazon MSK.

    aws kafka update-broker-type --cluster-arn ClusterArn --current-version Current-Cluster-Version --target-instance-type TargetType

    Voici un exemple qui montre comment utiliser la commande :

    aws kafka update-broker-type --cluster-arn "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1" --current-version "K1X5R6FKA87" --target-instance-type kafka.m5.large

    La sortie de cette commande ressemble à l'exemple JSON suivant.

    { "ClusterArn": "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1", "ClusterOperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef" }
  2. Pour obtenir le résultat de l'update-broker-typeopération, exécutez la commande suivante en la ClusterOperationArn remplaçant par l'ARN que vous avez obtenu dans le résultat de la update-broker-type commande.

    aws kafka describe-cluster-operation --cluster-operation-arn ClusterOperationArn

    La sortie de cette commande describe-cluster-operation ressemble à l'exemple JSON suivant.

    { "ClusterOperationInfo": { "ClientRequestId": "982168a3-939f-11e9-8a62-538df00285db", "ClusterArn": "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1", "CreationTime": "2021-01-09T02:24:22.198000+00:00", "OperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef", "OperationState": "UPDATE_COMPLETE", "OperationType": "UPDATE_BROKER_TYPE", "SourceClusterInfo": { "InstanceType": "t3.small" }, "TargetClusterInfo": { "InstanceType": "m5.large" } } }

    Si OperationState a la valeur UPDATE_IN_PROGRESS, attendez un moment, puis exécutez à nouveau la commande describe-cluster-operation.

Mise à jour de la taille du broker à l'aide de l'API

Pour mettre à jour la taille du broker à l'aide de l'API, consultez UpdateBrokerType.

Vous pouvez l'utiliser UpdateBrokerType pour mettre à jour la taille de votre courtier de cluster de M5 ou T3 à M7g, ou de M7g à M5.