Étape 3 : créer un Amazon MSK Replicator - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Étape 3 : créer un Amazon MSK Replicator

Avant de créer Amazon MSK Replicator, assurez-vous de l'avoir faitAutorisations requises pour créer un MSK réplicateur.

Créez un réplicateur à l'aide du AWS console dans la région du cluster cible

  1. Dans le volet AWS Région dans laquelle se trouve votre MSK cluster cible, ouvrez-vous la MSK console Amazon https://console.aws.amazon.com/msk/chez vous ? region=us-east-1#/home/.

  2. Choisissez Réplicateurs pour afficher la liste des réplicateurs du compte.

  3. Choisissez Créer un réplicateur.

  4. Dans le volet Détails du réplicateur, attribuez un nom unique au nouveau réplicateur.

Choisissez votre cluster source

Le cluster source contient les données que vous souhaitez copier vers un MSK cluster cible.

  1. Dans le volet Cluster source, sélectionnez AWS Région dans laquelle se trouve le cluster source.

    Vous pouvez rechercher la région d'un cluster en accédant à MSKClusters et en consultant les détails du clusterARN. Le nom de la région est intégré dans la ARN chaîne. Dans l'exemple suivantARN, ap-southeast-2 il s'agit de la région du cluster.

    arn:aws:kafka:ap-southeast-2:123456789012:cluster/cluster-11/eec93c7f-4e8b-4baf-89fb-95de01ee639c-s1
  2. Entrez le nom ARN de votre cluster source ou naviguez pour choisir votre cluster source.

  3. Choisissez un ou plusieurs sous-réseaux pour votre cluster source.

    La console affiche les sous-réseaux disponibles dans la région du cluster source que vous pouvez sélectionner. Vous devez sélectionner au moins deux sous-réseaux. Pour un MSK réplicateur de même région, les sous-réseaux que vous sélectionnez définis pour accéder au cluster source et les sous-réseaux pour accéder au cluster cible doivent se trouver dans la même zone de disponibilité.

  4. Choisissez un ou plusieurs groupes de sécurité pour que le MSK réplicateur accède à votre cluster source.

    • Pour la réplication entre régions (CRR), il n'est pas nécessaire de fournir un ou plusieurs groupes de sécurité pour votre cluster source.

    • Pour la réplication dans la même région (SRR), accédez à la EC2 console Amazon à l' https://console.aws.amazon.com/ec2/adresse et assurez-vous que les groupes de sécurité que vous fournirez au réplicateur disposent de règles de sortie autorisant le trafic vers les groupes de sécurité de votre cluster source. Assurez-vous également que les groupes de sécurité de votre cluster source disposent de règles entrantes qui autorisent le trafic provenant des groupes de sécurité Replicator fournis pour la source.

      Pour ajouter des règles de trafic entrant au groupe de sécurité de votre cluster source :
      1. Dans le volet AWS console, accédez aux détails de votre cluster source en sélectionnant le nom du cluster.

      2. Sélectionnez l'onglet Propriétés, puis faites défiler l'écran jusqu'au volet des paramètres réseau pour sélectionner le nom du groupe de sécurité appliqué.

      3. Accédez aux règles entrantes et sélectionnez Modifier les règles entrantes.

      4. Sélectionnez Ajouter une règle.

      5. Dans la colonne Type de la nouvelle règle, sélectionnez Personnaliser TCP.

      6. Dans la colonne Plage de ports, tapez9098. MSKReplicator utilise le contrôle IAM d'accès pour se connecter à votre cluster qui utilise le port 9098.

      7. Dans la colonne Source, tapez le nom du groupe de sécurité que vous fournirez lors de la création du réplicateur pour le cluster source (il peut être identique au groupe de sécurité du cluster MSK source), puis sélectionnez Enregistrer les règles.

      Pour ajouter des règles de sortie au groupe de sécurité de Replicator fourni pour la source :
      1. Dans le volet AWS console pour AmazonEC2, accédez au groupe de sécurité que vous fournirez lors de la création du réplicateur pour la source.

      2. Accédez aux règles sortantes et sélectionnez Modifier les règles sortantes.

      3. Sélectionnez Ajouter une règle.

      4. Dans la colonne Type de la nouvelle règle, sélectionnez Personnaliser TCP.

      5. Dans la colonne Plage de ports, tapez9098. MSKReplicator utilise le contrôle IAM d'accès pour se connecter à votre cluster qui utilise le port 9098.

      6. Dans la colonne Source, tapez le nom du groupe de sécurité du cluster MSK source, puis sélectionnez Enregistrer les règles.

Note

Si vous ne souhaitez pas restreindre le trafic à l'aide de vos groupes de sécurité, vous pouvez également ajouter des règles entrantes et sortantes autorisant tout le trafic.

1. Sélectionnez Ajouter une règle.

2. Dans la colonne Type, choisissez Tout le trafic.

3. Dans la colonne Source, tapez 0.0.0.0/0, puis sélectionnez Enregistrer les règles.

Choisissez votre cluster cible

Le cluster cible est le cluster MSK provisionné ou sans serveur vers lequel les données sources sont copiées.

Note

MSKReplicator crée de nouveaux sujets dans le cluster cible avec un préfixe généré automatiquement ajouté au nom du sujet. Par exemple, MSK Replicator réplique les données contenues dans « topic » depuis le cluster source vers un nouveau sujet du cluster cible appelé. <sourceKafkaClusterAlias>.topic Cela permet de distinguer les rubriques contenant des données répliquées à partir du cluster source des autres rubriques du cluster cible et d'éviter que les données ne soient répliquées de manière circulaire entre les clusters. Vous trouverez le préfixe qui sera ajouté aux noms des rubriques dans le cluster cible dans le champ sourceKafkaClusterAlias à l'aide DescribeReplicator API de la page de détails du réplicateur de la MSK console. Le préfixe du cluster cible est<sourceKafkaClusterAlias>.

  1. Dans le volet Cluster cible, choisissez AWS Région dans laquelle se trouve le cluster cible.

  2. Entrez le ARN cluster cible ou parcourez pour choisir votre cluster cible.

  3. Choisissez un ou plusieurs sous-réseaux pour votre cluster cible.

    La console affiche les sous-réseaux disponibles dans la région du cluster cible que vous pouvez sélectionner. Sélectionnez au moins deux sous-réseaux.

  4. Choisissez un ou plusieurs groupes de sécurité pour que le MSK réplicateur accède à votre cluster cible.

    Les groupes de sécurité disponibles dans la région du cluster cible sont affichés pour que vous puissiez les sélectionner. Le groupe de sécurité choisi est associé à chaque connexion. Pour plus d'informations sur l'utilisation des groupes de sécurité, consultez la section Contrôler le trafic vers votre AWS ressources utilisant des groupes de sécurité dans le guide de VPC l'utilisateur Amazon.

    • Pour la réplication entre régions (CRR) et pour la réplication entre régions (SRR), accédez à la EC2 console Amazon à l'adresse https://console.aws.amazon.com/ec2/et assurez-vous que les groupes de sécurité que vous fournirez au réplicateur disposent de règles sortantes autorisant le trafic vers les groupes de sécurité de votre cluster cible. Veillez également à ce que les groupes de sécurité de votre cluster cible disposent de règles entrantes qui autorisent le trafic vers les groupes de sécurité du réplicateur fournis pour la cible.

      Pour ajouter des règles de trafic entrant au groupe de sécurité de votre cluster cible :
      1. Dans le volet AWS console, accédez aux détails de votre cluster cible en sélectionnant le nom du cluster.

      2. Sélectionnez l'onglet Propriétés, puis faites défiler l'écran jusqu'au volet des paramètres réseau pour sélectionner le nom du groupe de sécurité appliqué.

      3. Accédez aux règles entrantes et sélectionnez Modifier les règles entrantes.

      4. Sélectionnez Ajouter une règle.

      5. Dans la colonne Type de la nouvelle règle, sélectionnez Personnaliser TCP.

      6. Dans la colonne Plage de ports, tapez9098. MSKReplicator utilise le contrôle IAM d'accès pour se connecter à votre cluster qui utilise le port 9098.

      7. Dans la colonne Source, tapez le nom du groupe de sécurité que vous fournirez lors de la création du réplicateur pour le cluster cible (il peut être identique au groupe de sécurité du cluster MSK cible), puis sélectionnez Enregistrer les règles.

      Pour ajouter des règles de sortie au groupe de sécurité de Replicator fourni à la cible :
      1. Dans le volet AWS console, accédez au groupe de sécurité que vous allez fournir lors de la création du réplicateur pour la cible.

      2. Sélectionnez l'onglet Propriétés, puis faites défiler l'écran jusqu'au volet des paramètres réseau pour sélectionner le nom du groupe de sécurité appliqué.

      3. Accédez aux règles sortantes et sélectionnez Modifier les règles sortantes.

      4. Sélectionnez Ajouter une règle.

      5. Dans la colonne Type de la nouvelle règle, sélectionnez Personnaliser TCP.

      6. Dans la colonne Plage de ports, tapez9098. MSKReplicator utilise le contrôle IAM d'accès pour se connecter à votre cluster qui utilise le port 9098.

      7. Dans la colonne Source, tapez le nom du groupe de sécurité du cluster MSK cible, puis sélectionnez Enregistrer les règles.

Note

Si vous ne souhaitez pas restreindre le trafic à l'aide de vos groupes de sécurité, vous pouvez également ajouter des règles entrantes et sortantes autorisant tout le trafic.

1. Sélectionnez Ajouter une règle.

2. Dans la colonne Type, choisissez Tout le trafic.

3. Dans la colonne Source, tapez 0.0.0.0/0, puis sélectionnez Enregistrer les règles.

Configurez les paramètres et les autorisations du réplicateur

  1. Dans le volet Paramètres du réplicateur, spécifiez les rubriques que vous souhaitez répliquer à l'aide d'expressions régulières dans les listes d'autorisation et de refus. Par défaut, toutes les rubriques sont répliquées.

    Note

    MSKReplicator ne réplique que 750 sujets par ordre trié. Si vous devez répliquer d'autres rubriques, nous vous recommandons de créer un réplicateur distinct. Accédez au AWS console Support Center et créez un dossier de support si vous avez besoin d'assistance pour plus de 750 sujets par réplicateur. Vous pouvez contrôler le nombre de sujets répliqués à l'aide de la métrique « TopicCount ». Consultez MSKQuota Amazon.

  2. Par défaut, MSK Replicator démarre la réplication à partir du dernier décalage (le plus récent) dans les rubriques sélectionnées. Vous pouvez également démarrer la réplication à partir du décalage le plus ancien (le plus ancien) des rubriques sélectionnées si vous souhaitez répliquer les données existantes sur vos rubriques. Une fois le réplicateur créé, vous ne pouvez pas modifier ce paramètre. Ce paramètre correspond au startingPositionchamp de la CreateReplicatordemande et de la DescribeReplicatorréponseAPIs.

  3. Choisissez une configuration de nom de rubrique :

    • PREFIXEDréplication du nom du sujet (ajoute un préfixe au nom du sujet dans la console) : paramètre par défaut. MSKLe réplicateur réplique « topic1 » du cluster source vers un nouveau sujet du cluster cible portant le nom. <sourceKafkaClusterAlias>.topic1

    • Réplication du nom de rubrique identique (conservez le même nom de rubrique dans la console) : les rubriques du cluster source sont répliquées avec des noms de rubrique identiques dans le cluster cible.

    Ce paramètre correspond au TopicNameConfiguration champ de la CreateReplicator demande et de la DescribeReplicator réponseAPIs. Consultez Comment fonctionne Amazon MSK Replicator.

    Note

    Par défaut, MSK Replicator crée de nouveaux sujets dans le cluster cible avec un préfixe généré automatiquement ajouté au nom du sujet. Cela permet de distinguer les rubriques contenant des données répliquées à partir du cluster source des autres rubriques du cluster cible et d'éviter que les données ne soient répliquées de manière circulaire entre les clusters. Vous pouvez également créer un MSK réplicateur avec une réplication du nom de rubrique identique (conserver le même nom de rubrique dans la console) afin que les noms des rubriques soient préservés pendant la réplication. Cette configuration réduit le besoin de reconfigurer les applications clientes lors de l'installation et simplifie le fonctionnement des architectures de streaming multi-clusters.

  4. Par défaut, MSK Replicator copie toutes les métadonnées, y compris les configurations des rubriques, les listes de contrôle d'accès (ACLs) et les décalages des groupes de consommateurs pour un basculement fluide. Si vous ne créez pas le réplicateur pour le basculement, vous pouvez éventuellement choisir de désactiver un ou plusieurs de ces paramètres disponibles dans la section Paramètres supplémentaires.

    Note

    MSKReplicator ne reproduit pas l'écriture, ACLs car vos producteurs ne doivent pas écrire directement sur le sujet répliqué dans le cluster cible. Vos producteurs doivent écrire sur la rubrique locale du cluster cible après le basculement. Consultez Réalisation d'un basculement planifié vers le secondaire AWS Région pour plus de détails.

  5. Dans le volet Réplication de groupe de consommateurs, spécifiez les groupes de consommateurs que vous souhaitez répliquer à l'aide d'expressions régulières dans les listes d'autorisation et de refus. Par défaut, tous les groupes de consommateurs sont répliqués.

  6. Dans le volet Compression, vous pouvez éventuellement choisir de compresser les données écrites sur le cluster cible. Si vous comptez utiliser la compression, nous vous recommandons d'utiliser la même méthode de compression que les données de votre cluster source.

  7. Dans le volet Autorisations d'accès, effectuez l'une des opérations suivantes :

    1. Sélectionnez Créer ou mettre à jour IAM un rôle avec les politiques requises. MSKla console associera automatiquement les autorisations et la politique de confiance nécessaires au rôle d'exécution du service requis pour lire et écrire sur vos MSK clusters source et cible.

      MSKconsole pour créer ou mettre à jour le rôle de réplicateur IAM
    2. Indiquez votre propre IAM rôle en sélectionnant Choisir parmi IAM les rôles qu'Amazon MSK peut assumer. Nous vous recommandons d'associer la IAM politique AWSMSKReplicatorExecutionRole gérée à votre rôle d'exécution du service, au lieu de rédiger votre propre IAM stratégie.

      1. Créez le IAM rôle que le réplicateur utilisera pour lire et écrire sur vos MSK clusters source et cible avec les éléments ci-dessous dans le JSON cadre de la politique de confiance et les éléments AWSMSKReplicatorExecutionRole attachés au rôle. Dans la politique de confiance, remplacez l'espace réservé < yourAccount ID> par votre identifiant de compte réel.

        { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "kafka.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "<yourAccountID>" } } } ] }
  8. Dans le volet des balises du réplicateur, vous pouvez éventuellement attribuer des balises à la ressource du MSK réplicateur. Pour de plus amples informations, veuillez consulter Balisage d'un cluster Amazon MSK. Pour un MSK réplicateur interrégional, les balises sont automatiquement synchronisées avec la région distante lorsque le réplicateur est créé. Si vous modifiez les balises après la création du réplicateur, la modification n'est pas automatiquement synchronisée avec la région distante. Vous devrez donc synchroniser manuellement les références du réplicateur local et du réplicateur distant.

  9. Sélectionnez Créer.

Si vous souhaitez restreindre les kafka-cluster:WriteData autorisations, reportez-vous à la section Créer des politiques d'autorisation de Comment MSK fonctionne le contrôle IAM d'accès pour Amazon. Vous devez ajouter une kafka-cluster:WriteDataIdempotently autorisation au cluster source et au cluster cible.

Il faut environ 30 minutes pour que le MSK réplicateur soit créé avec succès et passe au RUNNING statut.

Si vous créez un nouveau MSK réplicateur pour remplacer un réplicateur que vous avez supprimé, le nouveau réplicateur démarre la réplication à partir du dernier décalage.

Si votre MSK réplicateur est passé à un FAILED statut, reportez-vous à la section MSKDépannage du réplicateur.