Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
# ¿Qué es el Replicador Amazon MSK?
El Replicador Amazon MSK es una característica de Amazon MSK que permite replicar los datos de forma fiable en clústeres de Amazon MSK situados en la misma Región de AWS o en regiones diferentes. Sin embargo, tanto el clúster de origen como el clúster de destino deben estar en la misma Cuenta de AWS. Con el Replicador MSK, puede crear fácilmente aplicaciones de streaming resistentes a nivel regional para aumentar la disponibilidad y la continuidad empresarial. El Replicador MSK proporciona una replicación asíncrona automática en los clústeres de MSK, lo que elimina la necesidad de escribir código personalizado, administrar la infraestructura o configurar redes entre regiones.
El Replicador MSK escala automáticamente los recursos subyacentes, para que pueda replicar los datos bajo demanda sin tener que supervisar ni escalar la capacidad. MSK Replicator también replica los metadatos de Kafka necesarios, incluidas las configuraciones de los temas, las listas de control de acceso (ACLs) y las compensaciones de grupos de consumidores. Si se produce un suceso inesperado en una región, puede realizar la conmutación por error a la otra AWS región y reanudar el procesamiento sin problemas.
El Replicador MSK admite la replicación entre regiones (CRR) y la replicación en la misma región (SRR). En la replicación entre regiones, los clústeres de MSK de origen y destino se encuentran en regiones diferentes. AWS En la replicación en la misma región, los clústeres de MSK de origen y de destino se encuentran en la misma región. AWS Debe crear clústeres de MSK de origen y de destino antes de usarlos con el Replicador MSK.
**nota**
MSK Replicator es compatible con las siguientes AWS regiones: EE. UU. Este (us-east-1, Virginia del Norte); EE. UU. Este (us-East-2, Ohio); EE. UU. Oeste (us-west-2, Oregón); Europa (eu-west-1, Irlanda); Europa (eu-central-1, Frankfurt); Asia Pacífico (ap-southeast-1, Singapur)); Asia Pacífico (ap-southeast-2, Sídney); Europa (eu-north-1, Estocolmo); Asia Pacífico (ap-south-1, Bombay); Europa (eu-west-3, París); Sudamérica (sa-east-1, São Paulo); Asia Pacífico (ap-northeast-2, Seúl); Europa (eu-west-2, Londres); Asia-Pacífico (ap-northeast-1, Tokio); EE.UU. Oeste (us-west-1, norte de California); Canadá (ca-central-1, central); China (Pekín) (cn-north-1); China (Ningxia) (cn-northwest-1); Asia Pacífico (Hyderabad) (ap-south-2), Asia Pacífico (Malasia) (ap-southeast-5), Asia Pacífico (Tailandia) (ap-southeast-7), México (Central) (mx-central-1), Asia Pacífico (Taipéi) (ap-east-2), Canadá oeste (Calgary) (ca-west-1), Europa (España) (eu-south-2), Oriente Medio (Baréin) (me-south-1), Asia Pacífico (Yakarta) (ap-southeast-3), África (Ciudad del Cabo) (af-southeast-3) -south-1), Oriente Medio (Emiratos Árabes Unidos) (me-central-1), Asia Pacífico (Hong Kong) (ap-east-1), Asia Pacífico (Osaka) (ap-northeast-3), Asia Pacífico (Melbourne) (ap-southeast-4), Europa (Milán) (eu-south-1), Israel (Tel Aviv) (il-central-1), Europa (Zúrich) (eu-central-2) y Asia Pacífico (Nueva Zelanda) (ap-southeast-6)
Estos son algunos usos comunes del Replicador Amazon MSK.
+ Creación de aplicaciones de streaming multirregionales: cree aplicaciones de streaming de alta disponibilidad y tolerantes a errores para aumentar la resistencia sin necesidad de configurar soluciones personalizadas.
+ Acceso a los datos con menor latencia: proporcione acceso a los datos con menor latencia a los consumidores de diferentes regiones geográficas.
+ Distribuya los datos entre sus socios: copie los datos de un clúster de Apache Kafka a varios clústeres de Apache Kafka para que cada uno tenga sus propias copias de los datos. teams/partners
+ Adición de datos para análisis: copie los datos de varios clústeres de Apache Kafka en un solo clúster para generar fácilmente información sobre los datos agregados en tiempo real.
+ Escriba de forma local y acceda a sus datos en todo el mundo: configure la replicación multiactiva para propagar automáticamente las escrituras realizadas en una AWS región a otras regiones a fin de proporcionar datos con una latencia y un coste más bajos.
# Funcionamiento del Replicador Amazon MSK
Para empezar a utilizar MSK Replicator, debe crear un replicador nuevo en la región del clúster de destino. AWS *MSK Replicator copia automáticamente todos los datos del clúster de la AWS región principal denominada *origen* al clúster de la región de destino denominada destino.* Los clústeres de origen y destino pueden estar en la misma región o en regiones diferentes AWS . Deberá crear el clúster de destino si aún no existe.
Al crear un replicador, MSK Replicator despliega todos los recursos necesarios en la AWS región del clúster de destino para optimizar la latencia de la replicación de datos. La latencia de la replicación varía en función de muchos factores, como la distancia de red entre las AWS regiones de los clústeres de MSK, la capacidad de rendimiento de los clústeres de origen y destino y la cantidad de particiones de los clústeres de origen y destino. El Replicador MSK escala automáticamente los recursos subyacentes, para que pueda replicar los datos bajo demanda sin tener que supervisar ni escalar la capacidad.
## Replicación de los datos
De forma predeterminada, el Replicador MSK copia todos los datos de forma asíncrona desde el último desplazamiento de las particiones de temas del clúster de origen al clúster de destino. Si la opción “Detectar y copiar temas nuevos” está activada, el Replicador MSK detecta y copia los nuevos temas o particiones de temas en el clúster de destino automáticamente. Sin embargo, el Replicador puede tardar hasta 30 segundos en detectar y crear los nuevos temas o particiones de temas en el clúster de destino. Cualquier mensaje generado en el tema de origen antes de que se creara el tema en el clúster de destino no se replicará. Como alternativa, puede [configurar el Replicador durante la creación](msk-replicator-prepare-cluster.md) para que inicie la replicación desde el primer desplazamiento en las particiones de los temas del clúster de origen si desea replicar los mensajes existentes sobre sus temas en el clúster de destino.
El Replicador MSK no almacena los datos. Los datos se consumen del clúster de origen, se almacenan en memoria intermedia y se escriben en el clúster de destino. El búfer se borra automáticamente cuando los datos se escriben correctamente o cuando se produce un error tras volver a intentarlo. Toda la comunicación y los datos entre el Replicador MSK y sus clústeres siempre se cifran durante el tránsito. Se capturan todas las llamadas a la API de MSK Replicator`DescribeClusterV2`, como`CreateTopic`,`DescribeTopicDynamicConfiguration`. AWS CloudTrail Los registros del agente de MSK también reflejarán lo mismo.
El Replicador MSK crea temas en el clúster de destino con un factor de replicación de 3. Si lo necesita, puede modificar el factor de replicación directamente en el clúster de destino.
## Replicación de metadatos
El Replicador MSK también admite la copia de los metadatos del clúster de origen al clúster de destino. Los metadatos incluyen la configuración de los temas, las listas de control de acceso (ACLs) y las compensaciones de los grupos de consumidores. Al igual que la replicación de datos, la replicación de metadatos también se realiza de forma asíncrona. Para mejorar el rendimiento, el Replicador MSK prioriza la replicación de datos sobre la replicación de metadatos.
La siguiente tabla es una lista de listas de control de acceso (ACLs) que MSK Replicator copia.
| Operación | Investigación | APIs permitido |
| --- | --- | --- |
| Modificación | Topic | CreatePartitions |
| AlterConfigs | Topic | AlterConfigs |
| Crear | Topic | CreateTopics, Metadatos |
| Eliminar | Topic | DeleteRecords, DeleteTopics |
| Describir | Topic | ListOffsets, Metadatos OffsetFetch, OffsetForLeaderEpoch |
| DescribeConfigs | Topic | DescribeConfigs |
| Lectura | Topic | Buscar,, OffsetCommit TxnOffsetCommit |
| Escribir (solo denegar) | Topic | Producir, AddPartitionsToTxn |
MSK Replicator copia el tipo de patrón LITERAL ACLs solo para el tipo de recurso Topic. El tipo de patrón con prefijo ACLs y otros tipos de recursos ACLs no se copian. MSK Replicator tampoco elimina ACLs en el clúster de destino. Si elimina una ACL en el clúster de origen, también debe eliminarla en el clúster de destino al mismo tiempo. [Para obtener más información sobre los ACLs recursos, el patrón y las operaciones de Kafka, consulte https://kafka.apache.org/documentation/\$1security\$1authz\$1cli.](https://kafka.apache.org/documentation/#security_authz_cli)
MSK Replicator solo replica Kafka ACLs, que el control de acceso de IAM no utiliza. Si sus clientes utilizan el control de acceso de IAM read/write a sus clústeres de MSK, también debe configurar las políticas de IAM pertinentes en el clúster de destino para lograr una conmutación por error sin problemas. Esto también es válido tanto para las configuraciones de replicación de nombres de temas con prefijo como para los idénticos.
Como parte de la sincronización de desplazamiento entre grupos de consumidores, el Replicador MSK se optimiza para los consumidores del clúster de origen, que leen desde una posición más cercana a la punta de la transmisión (al final de la partición del tema). Si sus grupos de consumidores están rezagados en el clúster de origen, es posible que los grupos de consumidores del grupo de destino tengan un mayor retraso en comparación con los de origen. Esto significa que, tras la conmutación por error al clúster de destino, sus consumidores volverán a procesar más mensajes duplicados. Para reducir este retraso, los consumidores del clúster de origen tendrían que ponerse al día y empezar a consumir desde la punta de la transmisión (al final de la partición del tema). A medida que sus consumidores se pongan al día, el Replicador MSK reducirá automáticamente el retraso.
![\[Clústeres de origen y destino del Replicador MSK\]](http://docs.aws.amazon.com/es_es/msk/latest/developerguide/images/msk-replicator-diagram.png)
## Configuración del nombre del tema
El Replicador MSK tiene dos modos de configuración de nombres de temas: replicación de nombres de tema con *prefijo* (predeterminado) o *idéntico*.
**Replicación de nombres de temas con prefijo**
De forma predeterminada, el Replicador MSK crea nuevos temas en el clúster de destino con un prefijo generado automáticamente que se agrega al nombre del tema del clúster de origen, como `.topic`. Esto sirve para distinguir los temas replicados de otros temas del clúster de destino y para evitar que los datos se repliquen de manera circular entre los clústeres.
Por ejemplo, MSK Replicator replica los datos de un tema denominado «tema» del clúster de origen a un tema nuevo del clúster de destino denominado < Alias>.topic. sourceKafkaCluster **Puedes encontrar el prefijo que se añadirá a los nombres de los temas del clúster de destino en el campo **sourceKafkaClusterAlias mediante la `DescribeReplicator` API o en la página de detalles del replicador** de la consola de MSK.** El prefijo del clúster de destino es < Alias>. sourceKafkaCluster
Para garantizar que los consumidores puedan reiniciar el procesamiento de manera fiable desde el clúster en espera, debe configurar los consumidores para que lean los datos de los temas mediante el operador comodín `.*`. Por ejemplo, sus consumidores necesitarían consumir consumiendo. `*topic1`en ambas AWS regiones. Este ejemplo también incluiría un tema como `footopic1`, así que ajuste el operador comodín según sus necesidades.
Debe utilizar el Replicador de MSK que agrega un prefijo cuando desee conservar los datos del Replicador en un tema independiente del clúster de destino, por ejemplo, en el caso de las configuraciones de clústeres activo-activo.
**Replicación de nombre de tema idéntico**
Como alternativa a la configuración predeterminada, el Replicador Amazon MSK le permite crear un Replicador con la replicación de temas establecida en la replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola). Puede crear un nuevo replicador en la AWS región en la que se encuentre el clúster de MSK de destino. Los temas replicados con el mismo nombre le permiten evitar tener que volver a configurar los clientes para que lean temas replicados.
La replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola) tiene las siguientes ventajas:
+ Permite retener nombres de temas idénticos durante el proceso de replicación y, al mismo tiempo, evita automáticamente el riesgo de ciclos de replicación infinitos.
+ Simplifica la configuración y el funcionamiento de arquitecturas de transmisión de varios clústeres, ya que puede evitar tener que volver a configurar los clientes para leer los temas replicados.
+ En el caso de las arquitecturas de clústeres activas y pasivas, la funcionalidad de replicación de nombres de temas idénticos también agiliza el proceso de conmutación por error, ya que permite a las aplicaciones realizar la conmutación por error sin problemas a un clúster en espera sin necesidad de cambiar el nombre de los temas ni reconfigurar el cliente.
+ Se puede usar para consolidar más fácilmente los datos de varios clústeres de MSK en un solo clúster para la agregación de datos o el análisis centralizado. Esto requiere que cree Replicadores independientes para cada clúster de origen y para el mismo clúster de destino.
+ Puede agilizar la migración de datos de un clúster de MSK a otro replicando los datos en temas con nombres idénticos en el clúster de destino.
El Replicador Amazon MSK utiliza los encabezados de Kafka para evitar automáticamente que los datos se repliquen en el tema en el que se originaron, lo que elimina el riesgo de ciclos infinitos durante la replicación. Un encabezado es un par clave-valor que se puede incluir con la clave, el valor y la marca de tiempo de cada mensaje de Kafka. El Replicador MSK incorpora los identificadores del clúster de origen y del tema en el encabezado de cada registro que se está replicando. El Replicador MSK utiliza la información del encabezado para evitar bucles de replicación infinitos. Debe comprobar que sus clientes pueden leer los datos replicados según lo esperado.
# Tutorial: Configuración de clústeres de origen y destino para el Replicador Amazon MSK
En este tutorial, se muestra cómo configurar un clúster de origen y un clúster de destino en la misma AWS región o en regiones diferentes AWS . A continuación, utilice esos clústeres para crear un Replicador Amazon MSK.
# Preparación del clúster de origen de Amazon MSK
Si ya tiene un clúster de origen de MSK para el Replicador MSK, asegúrese de que cumple los requisitos descritos en esta sección. De lo contrario, siga estos pasos para crear un clúster de origen aprovisionado o sin servidor de MSK.
El proceso para crear un clúster de origen del Replicador MSK entre regiones y en una misma región es similar. Las diferencias se indican en los procedimientos siguientes.
1. Cree un clúster aprovisionado o sin servidor de MSK con el [control de acceso de IAM activado](create-iam-access-control-cluster-in-console.md) en la región de origen. El clúster de origen debe tener un mínimo de tres agentes.
1. En el caso de un Replicador MSK entre regiones, si el origen es un clúster aprovisionado, configúrelo con la conectividad privada de varias VPC activada para los esquemas de control de acceso de IAM. Tenga en cuenta que el tipo de autenticación no autenticada no se admite cuando varias VPC están activadas. No necesita activar la conectividad privada de varias VPC para otros esquemas de autenticación (mTLS) o SASL/SCRAM). You can simultaneously use mTLS or SASL/SCRAM esquemas de autenticación para sus otros clientes que se conecten a su clúster de MSK. Puede configurar la conectividad privada de varias VPC en los detalles del clúster de la consola, en **Configuración de red** o con la API `UpdateConnectivity`. Consulte [Cluster owner turns on multi-VPC](mvpc-cluster-owner-action-turn-on.md). Si el clúster de origen es un clúster sin servidor de MSK, no es necesario activar la conectividad privada de varias VPC.
Para un Replicador MSK de la misma región, el clúster de origen de MSK no requiere conectividad privada de varias VPC y otros clientes pueden seguir accediendo al clúster mediante el tipo de autenticación no autenticada.
1. En el caso de los replicadores de MSK entre regiones, debe asociar una política de permisos basada en recursos al clúster de origen. Esto permite a MSK conectarse a este clúster para replicar los datos. Puede hacerlo mediante los procedimientos de CLI o de AWS consola que se indican a continuación. Consulte también la página sobre las [políticas basadas en recursos de Amazon MSK](security_iam_service-with-iam.md). No es necesario realizar este paso para los replicadores de MSK de la misma región.
------
#### [ Console: create resource policy ]
Actualice la política del clúster de origen con el siguiente elemento JSON. Sustituya el marcador de posición por el ARN del clúster de origen.
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"kafka.amazonaws.com"
]
},
"Action": [
"kafka:CreateVpcConnection",
"kafka:GetBootstrapBrokers",
"kafka:DescribeClusterV2"
],
"Resource": "arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/abcd1234-5678-90ab-cdef-1234567890ab-1"
}
]
}
```
Utilice la opción **Editar la política del clúster** en el menú **Acciones** de la página de detalles del clúster.
![\[Editar política de clústeres en la consola\]](http://docs.aws.amazon.com/es_es/msk/latest/developerguide/images/edit-cluster-policy.png)
------
#### [ CLI: create resource policy ]
Nota: Si utiliza la AWS consola para crear un clúster de origen y elige la opción de crear una nueva función de IAM, AWS adjunta la política de confianza necesaria a la función. Si quiere que MSK utilice un rol de IAM existente o si crea un rol por su cuenta, asocie las siguientes políticas de confianza a dicho rol para que MSK pueda asumirlo. Para obtener información acerca de cómo modificar la relación de confianza de un rol, consulte [Modificación de un rol](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_manage_modify.html).
1. Obtenga la versión actual de la política de clústeres de MSK con este comando. Sustituya los marcadores de posición por el ARN del clúster real.
```
aws kafka get-cluster-policy —cluster-arn
{
"CurrentVersion": "K1PA6795UKM GR7",
"Policy": "..."
}
```
1. Cree una política basada en recursos para permitir que el Replicador MSK acceda al clúster de origen. Utilice la siguiente sintaxis como plantilla y sustituya el marcador de posición por el ARN del clúster de origen real.
```
aws kafka put-cluster-policy --cluster-arn "" --policy '{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"kafka.amazonaws.com"
]
},
"Action": [
"kafka:CreateVpcConnection",
"kafka:GetBootstrapBrokers",
"kafka:DescribeClusterV2"
],
"Resource": ""
}
]
```
------
# Preparación del clúster de destino de Amazon MSK
Cree un clúster de destino de MSK (aprovisionado o sin servidor) con el control de acceso de IAM activado. El clúster de destino no requiere que la conectividad privada de varias VPC esté activada. El clúster de destino puede estar en la misma AWS región o en una región diferente que el clúster de origen. Tanto el clúster de origen como el de destino deben estar en la misma AWS cuenta. El clúster de destino debe tener un mínimo de tres agentes.
# Tutorial: Creación de un Replicador Amazon MSK
Tras configurar los clústeres de origen y destino, puede utilizarlos para crear un Replicador Amazon MSK. Antes de crear el Replicador Amazon MSK, asegúrese de tener [Permisos de IAM obligatorios para crear un Replicador MSK](msk-replicator-requirements.md#replicator-role-permissions-successful).
**Contents**
+ [
# Consideraciones sobre la creación de un Replicador Amazon MSK
](msk-replicator-requirements.md)
+ [
## Permisos de IAM obligatorios para crear un Replicador MSK
](msk-replicator-requirements.md#replicator-role-permissions-successful)
+ [
# Tipos y versiones de clústeres compatibles para el Replicador MSK
](msk-replicator-supported-clusters-versions.md)
+ [
# Configuración de clústeres sin servidor de MSK compatibles
](msk-replicator-serverless-requirements.md)
+ [
## Cambios de configuraciones de clústeres
](msk-replicator-serverless-requirements.md#msk-replicator-config-changes)
+ [
# Cree un replicador mediante la consola de la región del clúster de destino AWS
](msk-replicator-create-console.md)
+ [
## Elección del clúster de origen
](msk-replicator-create-console.md#msk-replicator-create-console-choose-source)
+ [
## Elección del clúster de destino
](msk-replicator-create-console.md#msk-replicator-create-console-choose-target)
+ [
## Configurar los parámetros y los permisos del replicador
](msk-replicator-create-console.md#msk-replicator-create-settings)
# Consideraciones sobre la creación de un Replicador Amazon MSK
En las siguientes secciones se ofrece una descripción general de los requisitos previos, las configuraciones compatibles y las prácticas recomendadas para utilizar la característica del Replicador MSK. Abarca los permisos necesarios, la compatibilidad de los clústeres y los requisitos específicos sin servidor, así como orientación sobre la administración del Replicador tras su creación.
## Permisos de IAM obligatorios para crear un Replicador MSK
Este es un ejemplo de la política de IAM necesaria para crear un Replicador MSK. La acción `kafka:TagResource` solo es necesaria si se proporcionan etiquetas al crear el Replicador MSK. Las políticas de IAM del Replicador se deben asociar al rol de IAM que corresponda al cliente. Para obtener información sobre cómo crear políticas de autorización, consulte [Creación de políticas de autorización](https://docs.aws.amazon.com/msk/latest/developerguide/iam-access-control.html#create-iam-access-control-policies).
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "MSKReplicatorIAMPassRole",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": "arn:aws:iam::123456789012:role/MSKReplicationRole",
"Condition": {
"StringEquals": {
"iam:PassedToService": "kafka.amazonaws.com"
}
}
},
{
"Sid": "MSKReplicatorServiceLinkedRole",
"Effect": "Allow",
"Action": "iam:CreateServiceLinkedRole",
"Resource": "arn:aws:iam::123456789012:role/aws-service-role/kafka.amazonaws.com/AWSServiceRoleForKafka*"
},
{
"Sid": "MSKReplicatorEC2Actions",
"Effect": "Allow",
"Action": [
"ec2:DescribeSubnets",
"ec2:DescribeSecurityGroups",
"ec2:DescribeVpcs",
"ec2:CreateNetworkInterface"
],
"Resource": [
"arn:aws:ec2:us-east-1:123456789012:subnet/subnet-0abcd1234ef56789",
"arn:aws:ec2:us-east-1:123456789012:security-group/sg-0123abcd4567ef89",
"arn:aws:ec2:us-east-1:123456789012:network-interface/eni-0a1b2c3d4e5f67890",
"arn:aws:ec2:us-east-1:123456789012:vpc/vpc-0a1b2c3d4e5f67890"
]
},
{
"Sid": "MSKReplicatorActions",
"Effect": "Allow",
"Action": [
"kafka:CreateReplicator",
"kafka:TagResource"
],
"Resource": [
"arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/abcd1234-56ef-78gh-90ij-klmnopqrstuv",
"arn:aws:kafka:us-east-1:123456789012:replicator/myReplicator/wxyz9876-54vu-32ts-10rq-ponmlkjihgfe"
]
}
]
}
```
------
A continuación, se muestra un ejemplo de la política de IAM para describir el replicador. Se necesita la acción `kafka:DescribeReplicator` o la acción `kafka:ListTagsForResource`, no ambas.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "VisualEditor1",
"Effect": "Allow",
"Action": [
"kafka:DescribeReplicator",
"kafka:ListTagsForResource"
],
"Resource": "*"
}
]
}
```
------
# Tipos y versiones de clústeres compatibles para el Replicador MSK
Estos son requisitos para los tipos de instancias, las versiones de Kafka y las configuraciones de red compatibles.
+ El Replicador MSK es compatible con clústeres aprovisionados de MSK y clústeres sin servidor de MSK en cualquier combinación como clústeres de origen y destino. Actualmente, el Replicador MSK no es compatible con otros tipos de clústeres de Kafka.
+ Los clústeres sin servidor de MSK requieren el control de acceso de IAM, no son compatibles con la replicación de ACL de Apache Kafka y tienen una compatibilidad limitada para la replicación de configuraciones de temas. Consulte [¿Qué es MSK sin servidor?](serverless.md).
+ El Replicador MSK solo es compatible con clústeres que ejecutan Apache Kafka versión 2.7.0 o superior, independientemente de si los clústeres de origen y destino se encuentran en la misma Regiones de AWS o en una diferente.
+ Replicador MSK admite clústeres que utilizan tipos de instancia m5.large o superiores. Los clústeres t3.small no son compatibles.
+ Si utiliza el Replicador MSK con un clúster aprovisionado por MSK, se necesita un mínimo de tres agentes en los clústeres de origen y destino. Puede replicar datos en clústeres de dos zonas de disponibilidad, pero necesitará un mínimo de cuatro agentes en esos clústeres.
+ Los clústeres de MSK de origen y de destino deben estar en la misma AWS cuenta. No se admite la replicación en clústeres de cuentas diferentes.
+ Si los clústeres de MSK de origen y de destino se encuentran en AWS regiones diferentes (entre regiones), MSK Replicator requiere que el clúster de origen tenga activada la conectividad privada de varias VPC para su método de control de acceso de IAM.
No se necesitan utilizar varias VPC para otros métodos de autenticación en el clúster de origen al realizar la replicación con MSK en Regiones de AWS.
Tampoco se necesitan utilizar varias VPC si replica datos entre clústeres que se encuentran en la misma Región de AWS. Consulte [Conectividad privada con varias VPC de Amazon MSK en una sola región](aws-access-mult-vpc.md).
+ La replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola) requiere un clúster de MSK que ejecute la versión 2.8.1 o superior de Kafka.
+ Para configuraciones de replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola), para evitar el riesgo de replicación cíclica, no realice cambios en los encabezados que crea el Replicador MSK (`__mskmr`).
# Configuración de clústeres sin servidor de MSK compatibles
+ MSK sin servidor es compatible con la replicación de estas configuraciones de temas para los clústeres de destino sin servidor de MSK durante la creación de los temas: `cleanup.policy`, `compression.type`, `max.message.bytes`, `retention.bytes` y `retention.ms`.
+ MSK sin servidor solo es compatible con estas configuraciones de temas durante la sincronización de la configuración de temas: `compression.type`, `max.message.bytes`, `retention.bytes` y `retention.ms`.
+ El replicador utiliza 83 particiones compactadas en los clústeres sin servidor de MSK de destino. Asegúrese de que los clústeres sin servidor de MSK de destino tengan suficientes particiones compactadas. Consulte [Cuota de MSK sin servidor](limits.md#serverless-quota).
## Cambios de configuraciones de clústeres
+ Se recomienda no activar ni desactivar el almacenamiento por niveles una vez creado el Replicador MSK. Si el clúster de destino no está organizado por niveles, MSK no copiará las configuraciones de almacenamiento por niveles, independientemente de si el clúster de origen lo está o no. Si activa el almacenamiento por niveles en el clúster de destino después de crear el replicador, es necesario volver a crearlo. Si quiere copiar los datos de un clúster sin niveles a otro con niveles, no debe copiar las configuraciones de los temas. Consulte [Habilitación y deshabilitación del almacenamiento por niveles en un tema existente](https://docs.aws.amazon.com/msk/latest/developerguide/msk-enable-disable-topic-tiered-storage-cli.html).
+ No cambie los parámetros de configuración del clúster después de crear el Replicador MSK. Los parámetros de configuración del clúster se validan durante la creación del Replicador MSK. Para evitar problemas con el Replicador MSK, no cambie los parámetros siguientes una vez creado el Replicador MSK.
+ Cambiar clúster de MSK al tipo de instancia t3.
+ Cambiar permisos de rol de ejecución de servicios.
+ Deshabilitar conectividad privada de varias VPC de MSK.
+ Cambiar política basada en recursos de clúster adjunto.
+ Cambiar reglas de grupos de seguridad de clúster.
# Cree un replicador mediante la consola de la región del clúster de destino AWS
En la siguiente sección se explica el flujo de trabajo de la consola paso a paso para crear un Replicador.
**Detalles del Replicador**
1. [En la AWS región en la que se encuentra el clúster de MSK de destino, ¿abre la consola de Amazon MSK en https://console.aws.amazon.com/msk/ casa? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/).
1. Elija **Replicadores** para mostrar la lista de replicadores de la cuenta.
1. Elija **Crear replicador**.
1. En el panel **Detalles del replicador**, asigne un nombre único al nuevo replicador.
## Elección del clúster de origen
El clúster de origen contiene los datos que quiere copiar a un clúster de MSK de destino.
1. En el panel **Clúster de origen**, elija la región de AWS en la que se encuentra el clúster de origen.
Para buscar la región de un clúster, vaya a **Clústeres de MSK** y consulte el ARN de detalles del **clúster**. El nombre de la región está incrustado en la cadena de ARN. En el ejemplo siguiente de ARN, `ap-southeast-2` es la región del clúster.
```
arn:aws:kafka:ap-southeast-2:123456789012:cluster/cluster-11/eec93c7f-4e8b-4baf-89fb-95de01ee639c-s1
```
1. Introduzca el ARN del clúster de origen o busque y elija el clúster de origen.
1. Elija las subredes para el clúster de origen.
La consola muestra las subredes disponibles en la región del clúster de origen para que las seleccione. Debe seleccionar un mínimo de dos subredes. En el caso de un Replicador MSK de la misma región, las subredes que seleccione para acceder al clúster de origen y las subredes para acceder al clúster de destino deben encontrarse en la misma zona de disponibilidad.
1. Elija los grupos de seguridad para que el Replicador MSK acceda al clúster de origen.
+ Para la replicación entre regiones (CRR), no necesita proporcionar grupos de seguridad para el clúster de origen.
+ Para la replicación en la misma región (SRR), vaya a la consola de Amazon EC2 https://console.aws.amazon.com/ec2/ en y asegúrese de que los grupos de seguridad que proporcionará al replicador tengan reglas de salida que permitan el tráfico a los grupos de seguridad de su clúster de origen. Además, garantice que los grupos de seguridad del clúster de origen tengan reglas de entrada que permitan el tráfico desde los grupos de seguridad del Replicador proporcionados para el origen.
**Cómo agregar reglas de entrante al grupo de seguridad de su clúster:**
1. **En la AWS consola, vaya a los detalles del clúster de origen seleccionando el nombre del clúster.**
1. Seleccione la pestaña **Propiedades** y, luego, desplácese hacia abajo hasta el panel **Configuración de red** para seleccionar el nombre del **grupo de seguridad** aplicado.
1. Vaya a las reglas de entrada y seleccione **Editar reglas de entrada**.
1. Seleccione **Agregar regla**.
1. En la columna **Tipo** de la nueva regla, seleccione **TCP personalizado**.
1. En la columna **Rango de puertos**, escriba `9098`. El Replicador MSK utiliza el control de acceso de IAM para conectarse a su clúster, que utiliza el puerto 9098.
1. En la columna **Origen**, escriba el nombre del grupo de seguridad que proporcionará durante la creación del Replicador para el clúster de origen (puede ser el mismo que el grupo de seguridad del clúster de origen de MSK) y, luego, seleccione **Guardar reglas**.
**Cómo agregar reglas de salida al grupo de seguridad del Replicador proporcionado para el origen:**
1. En la AWS consola de Amazon EC2, vaya al grupo de seguridad que proporcionará durante la creación del replicador para la fuente.
1. Vaya a las reglas de salida y seleccione **Editar reglas de salida**.
1. Seleccione **Agregar regla**.
1. En la columna **Tipo** de la nueva regla, seleccione **TCP personalizado**.
1. En la columna **Rango de puertos**, escriba `9098`. El Replicador MSK utiliza el control de acceso de IAM para conectarse a su clúster, que utiliza el puerto 9098.
1. En la columna **Origen**, escriba el nombre del grupo de seguridad del clúster de origen de MSK y, a continuación, seleccione **Guardar reglas.**
**nota**
Como alternativa, si no desea restringir el tráfico mediante sus grupos de seguridad, puede agregar reglas de entrada y salida que permitan Todo el tráfico.
1. Seleccione **Agregar regla**.
2. En la columna **Tipo**, seleccione **Todo el tráfico**.
3. En la columna Origen, escriba `0.0.0.0/0` y, luego, seleccione **Guardar reglas**.
## Elección del clúster de destino
El clúster de destino es el clúster aprovisionado o sin servidor de MSK en el que se copian los datos de origen.
**nota**
El Replicador MSK crea nuevos temas en el clúster de destino con un prefijo generado automáticamente que se agrega al nombre del tema. Por ejemplo, el Replicador MSK replica los datos en “`topic`” del clúster de origen a un tema nuevo del clúster de destino denominado `.topic`. Esto sirve para distinguir los temas que contienen datos replicados del clúster de origen de otros temas del clúster de destino y para evitar que los datos se repliquen de manera circular entre los clústeres. Puede encontrar el prefijo que se añadirá a los nombres de los temas del clúster de destino en el campo **sourceKafkaClusterAlias** mediante la `DescribeReplicator` API o en la página de **detalles del replicador** de la consola de MSK. El prefijo del clúster de destino es ``.
1. En el panel **Clúster de destino**, elija la AWS región en la que se encuentra el clúster de destino.
1. Introduzca el ARN del clúster de destino o busque y elija el clúster de destino.
1. Elija las subredes para el clúster de destino.
La consola muestra las subredes disponibles en la región del clúster de destino para que las seleccione. Seleccione un mínimo de dos subredes.
1. Elija los grupos de seguridad para que el Replicador MSK acceda al clúster de destino.
Se muestran los grupos de seguridad disponibles en la región del clúster de destino para que los seleccione. El grupo de seguridad elegido se asocia a cada conexión. Para obtener más información sobre el uso de grupos de seguridad, consulte [la Guía del usuario de AWS Amazon VPC](https://docs.aws.amazon.com/vpc/latest/userguide/vpc-security-groups.html) en la Guía del *usuario de Amazon VPC*.
+ Tanto para la replicación entre regiones (CRR) como para la replicación en la misma región (SRR), vaya a la consola de Amazon EC2 [https://console.aws.amazon.com/ec2/](https://console.aws.amazon.com/ec2/)en y asegúrese de que los grupos de seguridad que proporcionará al Replicador tengan reglas de salida que permitan el tráfico a los grupos de seguridad del clúster de destino. Además, asegúrese de que los grupos de seguridad del clúster de destino tengan reglas de entrada que acepten el tráfico de los grupos de seguridad del replicador proporcionados para el destino.
**Cómo agregar reglas de entrada al grupo de seguridad de su clúster:**
1. **En la AWS consola, vaya a los detalles del clúster de destino seleccionando el nombre del clúster.**
1. Seleccione la pestaña **Propiedades** y, luego, desplácese hacia abajo hasta el panel Configuración de red para seleccionar el nombre del **grupo de seguridad** aplicado.
1. Vaya a las reglas de entrada y seleccione **Editar reglas de entrada**.
1. Seleccione **Agregar regla**.
1. En la columna **Tipo** de la nueva regla, seleccione **TCP personalizado**.
1. En la columna **Rango de puertos**, escriba `9098`. El Replicador MSK utiliza el control de acceso de IAM para conectarse a su clúster, que utiliza el puerto 9098.
1. En la columna **Origen**, escriba el nombre del grupo de seguridad que proporcionará durante la creación del Replicador para el clúster de destino (puede ser el mismo que el grupo de seguridad del clúster de MSK de destino) y, luego, seleccione **Guardar reglas**.
**Cómo agregar reglas de salida al grupo de seguridad del Replicador proporcionado para el destino:**
1. En la AWS consola, vaya al grupo de seguridad que proporcionará durante la creación del replicador para el destino.
1. Seleccione la pestaña **Propiedades** y, luego, desplácese hacia abajo hasta el panel Configuración de red para seleccionar el nombre del **grupo de seguridad** aplicado.
1. Vaya a las reglas de salida y seleccione **Editar reglas de salida**.
1. Seleccione **Agregar regla**.
1. En la columna **Tipo** de la nueva regla, seleccione **TCP personalizado**.
1. En la columna **Rango de puertos**, escriba `9098`. El Replicador MSK utiliza el control de acceso de IAM para conectarse a su clúster, que utiliza el puerto 9098.
1. En la columna **Origen**, escriba el nombre del grupo de seguridad del clúster de destino de MSK y, a continuación, seleccione **Guardar reglas**.
**nota**
Como alternativa, si no desea restringir el tráfico mediante sus grupos de seguridad, puede agregar reglas de entrada y salida que permitan Todo el tráfico.
1. Seleccione **Agregar regla**.
2. En la columna **Tipo**, seleccione **Todo el tráfico**.
3. En la columna Origen, escriba `0.0.0.0/0` y, luego, seleccione **Guardar reglas**.
## Configurar los parámetros y los permisos del replicador
1. En el panel **Configuración del replicador**, indique los temas que quiere replicar mediante expresiones regulares en las listas de permitidos y denegados. De manera predeterminada, se replican todos los temas.
**nota**
El Replicador MSK solo replica hasta 750 temas en orden. Si necesita replicar más temas, le recomendamos que cree un Replicador independiente. Vaya al Support Center de la AWS consola y [cree un caso de soporte](https://console.aws.amazon.com/support/home#/) si necesita soporte para más de 750 temas por replicador. Puede controlar la cantidad de temas que se replican mediante la métrica «TopicCount». Consulte [Cuota estándar de agentes de Amazon MSK](limits.md#msk-provisioned-quota).
1. De forma predeterminada, el Replicador MSK inicia la replicación desde el *último* desplazamiento (el más reciente) de los temas seleccionados. Como alternativa, puede iniciar la replicación desde el desplazamiento más *temprano* (el más antiguo) de los temas seleccionados si desea replicar los datos existentes sobre los temas. Una vez creado el Replicador, no puede cambiar esta configuración. Esta configuración corresponde al [https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators-replicatorarn.html#v1-replicators-replicatorarn-model-replicationstartingposition](https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators-replicatorarn.html#v1-replicators-replicatorarn-model-replicationstartingposition)campo de la [https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators.html#CreateReplicator](https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators.html#CreateReplicator)solicitud y la [https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators-replicatorarn.html#DescribeReplicator](https://docs.aws.amazon.com/msk/1.0/apireference-replicator/v1-replicators-replicatorarn.html#DescribeReplicator)respuesta APIs.
1. Elija una configuración de nombre de tema:
+ Replicación de nombres de temas `PREFIXED` (**Agregar el prefijo al nombre de los temas** en la consola): la configuración predeterminada. El Replicador MSK replica “topic1” del clúster de origen a un tema nuevo del clúster de destino con el nombre `.topic1`.
+ Replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola): los temas del clúster de origen se replican con nombres de tema idénticos en el clúster de destino.
Esta configuración corresponde al `TopicNameConfiguration` campo de la `CreateReplicator` solicitud y la `DescribeReplicator` respuesta APIs. Consulte [Funcionamiento del Replicador Amazon MSK](msk-replicator-how-it-works.md).
**nota**
De forma predeterminada, el Replicador MSK crea nuevos temas en el clúster de destino con un prefijo generado automáticamente que se agrega al nombre del tema. Esto sirve para distinguir los temas que contienen datos replicados del clúster de origen de otros temas del clúster de destino y para evitar que los datos se repliquen de manera circular entre los clústeres. Como alternativa, puede crear un Replicador de MSK con una replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola) para que los nombres de los temas se conserven durante la replicación. Esta configuración reduce su necesidad de volver a configurar las aplicaciones de cliente durante la instalación y simplifica el funcionamiento de las arquitecturas de streaming de varios clústeres.
1. De forma predeterminada, MSK Replicator copia todos los metadatos, incluidas las configuraciones de los temas, las listas de control de acceso (ACLs) y las compensaciones de los grupos de consumidores, para lograr una conmutación por error sin problemas. Si no va a crear el replicador para la conmutación por error, puede optar por desactivar una o varias de estas configuraciones disponibles en la sección **Configuración adicional**.
**nota**
MSK Replicator no replica la escritura, ACLs ya que sus productores no deberían escribir directamente en el tema replicado del clúster de destino. Tras la conmutación por error, los productores deberían escribir en el tema local del clúster de destino. Para obtener más información, consulte [Realiza una conmutación por error planificada a la región secundaria AWS](msk-replicator-perform-planned-failover.md).
1. En el panel **Replicación del grupo de consumidores**, indique los grupos de consumidores que quiere replicar mediante expresiones regulares en las listas de permitidos y denegados. De manera predeterminada, se replican todos los grupos de consumidores.
1. En el panel **Compresión**, si así lo quiere, puede optar por comprimir los datos escritos en el clúster de destino. Si va a utilizar la compresión, le recomendamos utilizar el mismo método de compresión que los datos del clúster de origen.
1. En el panel **Permisos de acceso**, realice uno de los siguientes procedimientos:
1. Seleccione **Crear o actualizar el rol de IAM con las políticas necesarias**. La consola de MSK asociará automáticamente los permisos y la política de confianza necesarios al rol de ejecución del servicio necesario para leer los clústeres de MSK de origen y destino, y escribir en estos.
![\[Consola de MSK para crear o actualizar el rol de IAM del replicador\]](http://docs.aws.amazon.com/es_es/msk/latest/developerguide/images/msk-replicator-ezCRC.png)
1. Proporcione su propio rol de IAM al seleccionar **Elegir de los roles de IAM que puede asumir Amazon MSK**. Le recomendamos que asocie la política de IAM administrada `AWSMSKReplicatorExecutionRole` a su rol de ejecución de servicios, en lugar de escribir su propia política de IAM.
1. Cree el rol de IAM que el Replicador utilizará para leer y escribir los clústeres de MSK de origen y destino con el siguiente JSON como parte de la política de confianza y el `AWSMSKReplicatorExecutionRole` asociado al rol. En la política de confianza, sustituya el marcador de posición por su ID de cuenta real.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "kafka.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {
"StringEquals": {
"aws:SourceAccount": ""
}
}
}
]
}
```
------
1. En el panel **Etiquetas del Replicador**, si así lo quiere, puede asignar etiquetas al recurso del Replicador MSK. Para obtener más información, consulte [Etiquetado de un clúster de Amazon MSK](msk-tagging.md). En el caso de un Replicador MSK entre regiones, las etiquetas se sincronizan automáticamente con la región remota cuando se crea el replicador. Si se cambian las etiquetas después de crear el replicador, el cambio no se sincroniza automáticamente con la región remota, por lo que tendrá que sincronizar las referencias del replicador local y del replicador remoto de forma manual.
1. Seleccione **Crear**.
Si desea restringir los permisos `kafka-cluster:WriteData`, consulte la sección *Create authorization policies* de [How IAM access control for Amazon MSK works](https://docs.aws.amazon.com/msk/latest/developerguide/iam-access-control.html#how-to-use-iam-access-control). Deberá agregar permisos `kafka-cluster:WriteDataIdempotently` tanto al clúster de origen como al de destino.
El Replicador MSK tarda aproximadamente 30 minutos en crearse correctamente y pasar al estado EN EJECUCIÓN.
Si crea un nuevo Replicador MSK para reemplazar uno que haya eliminado, el nuevo replicador iniciará la replicación a partir del último desplazamiento.
[Si el Replicador MSK ha pasado al estado ERROR, consulte la sección de solución de problemas del Replicador MSK](msk-replicator-troubleshooting.md).
# Editar la configuración del Replicador MSK
No puede cambiar el clúster de origen, el clúster de destino, la posición de inicio del Replicador ni la configuración de replicación de nombres de temas una vez creado el Replicador MSK. Debe crear un Replicador nuevo para utilizar una configuración de replicación de nombres de temas idénticos. Sin embargo, puede editar otros ajustes del Replicador, como los temas y los grupos de consumidores que desee replicar.
1. ¿Iniciar sesión en la Consola de administración de AWS consola Amazon MSK y abrirla desde [https://console.aws.amazon.com/msk/casa? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/).
1. En el panel de navegación izquierdo, elija **Replicadores** para mostrar la lista de Replicadores de la cuenta y seleccione el Replicador MSK que quiere modificar.
1. Elija la pestaña **Propiedades**.
1. En la sección **Configuración del replicador**, elija **Editar replicador**.
1. Para editar la configuración del Replicador MSK, cambie cualquiera de estas configuraciones.
+ Indique los temas que quiere replicar mediante expresiones regulares en las listas de permitidos y denegados. De forma predeterminada, MSK Replicator copia todos los metadatos, incluidas las configuraciones de los temas, las listas de control de acceso () y las compensaciones de los grupos de consumidores, para lograr una conmutación por error sin problemas. ACLs Si no va a crear el replicador para la conmutación por error, puede optar por desactivar una o varias de estas configuraciones disponibles en la sección **Configuración adicional**.
**nota**
MSK Replicator no replica la escritura, ACLs ya que sus productores no deberían escribir directamente en el tema replicado del clúster de destino. Tras la conmutación por error, los productores deberían escribir en el tema local del clúster de destino. Para obtener más información, consulte [Realiza una conmutación por error planificada a la región secundaria AWS](msk-replicator-perform-planned-failover.md).
+ Para la **replicación de grupos de consumidores**, puede indicar los grupos de consumidores que quiere replicar mediante expresiones regulares en las listas de permitidos y denegados. De manera predeterminada, se replican todos los grupos de consumidores. Si las listas de permitidos y denegados están vacías, la replicación de grupos de consumidores se desactiva.
+ En **Tipo de compresión de destino**, puede elegir si quiere comprimir los datos escritos en el clúster de destino. Si va a utilizar la compresión, le recomendamos utilizar el mismo método de compresión que los datos del clúster de origen.
1. Guarde los cambios.
El Replicador MSK tarda aproximadamente 30 minutos en crearse correctamente y pasar al estado En ejecución. Si el Replicador MSK ha pasado al estado ERROR, consulte la sección de solución de problemas [Solución de problemas del Replicador MSK](msk-replicator-troubleshooting.md).
# Eliminar un Replicador MSK
Es posible que tenga que eliminar un Replicador MSK si no se puede crear (estado ERROR). Los clústeres de origen y destino asignados a un Replicador MSK no se pueden cambiar una vez creado este. Puede eliminar un Replicador MSK existente y crear uno nuevo. Si crea un nuevo Replicador MSK para reemplazar el eliminado, el nuevo replicador iniciará la replicación a partir del último desplazamiento.
1. En la AWS región en la que se encuentra su clúster de origen, inicie sesión en la Consola de administración de AWS consola Amazon MSK y ábrala desde [https://console.aws.amazon.com/msk/casa. region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/).
1. En el panel de navegación, seleccione **Replicadores**.
1. En la lista de replicadores de MSK, seleccione el que quiere eliminar y elija **Eliminar**.
# Supervisar la replicación
Puede utilizarlo [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/)en la región del clúster de destino para `ReplicationLatency` ver las métricas de cada Amazon MSK Replicator y `ReplicatorThroughput` a nivel de tema y agregado. `MessageLag` Las métricas están visibles **ReplicatorName**en el espacio de nombres «AWS/Kafka». También puede ver las métricas `ReplicatorFailure`, `AuthError` y `ThrottleTime` para comprobar si hay problemas.
La consola de MSK muestra un subconjunto de métricas para cada replicador de CloudWatch MSK. En la lista **Replicadores** de la consola, seleccione el nombre de un replicador y, luego, seleccione la pestaña **Supervisión**.
## Métricas del Replicador MSK
Las siguientes métricas describen el rendimiento o conexión del Replicador MSK.
AuthError las métricas no cubren los errores de autenticación a nivel de tema. Para monitorear los errores de autenticación a nivel de tema de su MSK Replicator, supervise las métricas de Replicator y las métricas a nivel de tema del clúster de origen,. ReplicationLatency MessagesInPerSec Si un tema ReplicationLatency se reduce a 0 pero el tema aún contiene datos que se están generando, esto indica que el Replicator tiene un problema de autenticación con el tema. Compruebe que el rol de IAM de ejecución de servicios del replicador tenga los permisos suficientes para acceder al tema.
****
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/msk/latest/developerguide/msk-replicator-monitor.html)
# Uso de la replicación para aumentar la resiliencia de una aplicación de streaming de Kafka en las regiones
Puede usar MSK Replicator para configurar topologías de clústeres activo-activo o activo-pasivo a fin de aumentar la resiliencia de su aplicación Apache Kafka en todas las regiones. AWS En una configuración activo-activo, ambos clústeres de MSK prestan servicios activos de lectura y escritura. En una configuración activo-pasivo, solo un clúster de MSK a la vez ofrece datos de streaming de forma activa, mientras que el otro clúster se encuentra en espera.
## Consideraciones para crear aplicaciones Apache Kafka de varias regiones
Los consumidores deben poder volver a procesar los mensajes duplicados sin que ello repercuta en las fases posteriores. MSK Replicator replica los datos, lo que puede provocar duplicados en el clúster en espera. at-least-once Al cambiar a la AWS región secundaria, es posible que sus consumidores procesen los mismos datos más de una vez. El Replicador MSK prioriza la copia de datos por encima de los desplazamientos de los consumidores para mejorar el rendimiento. Tras una conmutación por error, el consumidor puede empezar a leer los desplazamientos anteriores, lo que resulta en un procesamiento duplicado.
Los productores y los consumidores también deben tolerar la pérdida de un mínimo de datos. Dado que MSK Replicator replica los datos de forma asíncrona, cuando la AWS región principal comienza a experimentar errores, no hay garantía de que todos los datos se repliquen en la región secundaria. Puede utilizar la latencia de replicación para determinar el número máximo de datos que no se copiaron en la región secundaria.
## Uso de una topología de clúster activo-activo frente a una activo-pasivo
Una topología de clústeres activo-activo ofrece un tiempo de recuperación prácticamente nulo y permite que la aplicación de streaming funcione simultáneamente en varias regiones de AWS . Cuando un clúster de una región está dañado, las aplicaciones conectadas al clúster de la otra región siguen procesando los datos.
Las configuraciones activo-pasivo son adecuadas para aplicaciones que solo pueden ejecutarse en una región de AWS a la vez o cuando se necesita un mayor control sobre el orden de procesamiento de los datos. Las configuraciones activo-pasivo requieren más tiempo de recuperación que las activo-activo, ya que debe iniciar toda la configuración activo-pasivo, incluidos los productores y los consumidores, en la región secundaria para reanudar el flujo de datos tras una conmutación por error.
# Creación de una configuración de clúster de Kafka activo-pasivo con las configuraciones recomendadas para los nombres de temas
Para una configuración activa-pasiva, le recomendamos que utilice una configuración similar de productores, clústeres de MSK y consumidores (con el mismo nombre de grupo de consumidores) en dos regiones diferentes. AWS Es importante que los dos clústeres de MSK tengan la misma capacidad de lectura y escritura para garantizar una replicación de datos fiable. Debe crear un Replicador MSK para copiar continuamente los datos del clúster principal al clúster en espera. También debes configurar a tus productores para que escriban los datos en los temas de un clúster de la misma región. AWS
Para una configuración activa-pasiva, cree un nuevo Replicador con una replicación de nombres de temas idénticos (**Mantener el mismo nombre de temas** en la consola) para empezar a replicar los datos del clúster de MSK de la región principal a su clúster de la región secundaria. Le recomendamos que utilice un conjunto duplicado de productores y consumidores en las dos AWS regiones, cada uno de los cuales se conecte al clúster de su propia región mediante su cadena de inicio. Esto simplifica el proceso de conmutación por error, ya que no requerirá cambios en la cadena de arranque. Para garantizar que los consumidores lean casi desde donde lo dejaron, los consumidores de los clústeres de origen y de destino deben tener el mismo ID de grupo de consumidores.
Si utiliza la replicación de nombres de temas idénticos (**Mantener el mismo nombre de temas** en la consola) para su Replicador MSK, este replicará sus temas con el mismo nombre que los temas de origen correspondientes.
Le recomendamos que configure los ajustes y los permisos a nivel de clúster para sus clientes en el clúster de destino. No es necesario configurar los ajustes a nivel de tema ni la lectura literal, ACLs ya que MSK Replicator los copia automáticamente si ha seleccionado la opción de copiar las listas de control de acceso. Consulte [Replicación de metadatos](msk-replicator-how-it-works.md#msk-replicator-metadata-replication).
# Conmutación por error a la región secundaria AWS
Le recomendamos que supervise la latencia de replicación en la AWS región secundaria mediante Amazon CloudWatch. Durante un evento de servicio en la AWS región principal, la latencia de replicación puede aumentar repentinamente. Si la latencia sigue aumentando, usa el AWS Service Health Dashboard para comprobar si hay eventos de servicio en la AWS región principal. Si se produce un evento, puedes realizar una conmutación por error a la AWS región secundaria.
# Realiza una conmutación por error planificada a la región secundaria AWS
Puedes realizar una conmutación por error planificada para comprobar la resiliencia de tu aplicación ante un suceso inesperado en la AWS región principal donde se encuentra el clúster de MSK de origen. Una conmutación por error planificada no debería provocar la pérdida de datos.
Si utiliza una configuración de replicación de nombres de temas idénticos, siga estos pasos:
1. Cierre todos los productores y consumidores que se conectan al clúster de origen.
1. Cree un nuevo Replicador MSK para replicar los datos del clúster de MSK de la región secundaria al clúster de MSK de la región principal con replicación de nombres de temas idénticos (**mantener el mismo nombre de tema** en la consola). Esto es necesario para copiar los datos que escribirá en la región secundaria de nuevo en la región principal, de modo que pueda conmutar por recuperación a la región principal una vez finalizado el evento inesperado.
1. Inicie la conexión de productores y consumidores con el clúster de destino en la región secundaria. AWS
Si utiliza una configuración de nombres de temas con prefijo, siga estos pasos para realizar la conmutación por error:
1. Cierre todos los productores y consumidores que se conectan al clúster de origen.
1. Cree un nuevo Replicador MSK para replicar los datos del clúster de MSK de la región secundaria al clúster de MSK de la región principal. Esto es necesario para copiar los datos que escribirá en la región secundaria de nuevo en la región principal, de modo que pueda conmutar por recuperación a la región principal una vez finalizado el evento inesperado.
1. Inicie a los productores en el clúster objetivo de la AWS región secundaria.
1. En función de los requisitos de orden de mensajes de la aplicación, siga los pasos de una de las siguientes pestañas.
------
#### [ No message ordering ]
Si su aplicación no requiere ordenar los mensajes, utilice un operador comodín (por ejemplo,) para que los consumidores de la AWS región secundaria lean tanto temas locales (por ejemplo, temas`.topic`) como temas replicados (por ejemplo). `.*topic`
------
#### [ Message ordering ]
Si la aplicación exige ordenar los mensajes, inicie los consumidores solo para los temas replicados del clúster de destino (por ejemplo, `.topic`), pero no para los temas locales (por ejemplo, `topic`).
------
1. Espere a que todos los consumidores de los temas replicados del clúster de MSK de destino terminen de procesar todos los datos, de modo que el retraso entre consumidores sea 0 y el número de registros procesados también sea 0. A continuación, detenga los consumidores de los temas replicados del clúster de destino. En este punto, se han consumido todos los registros que se replicaron desde el clúster de MSK de origen al clúster de MSK de destino.
1. Inicie los consumidores para los temas locales (por ejemplo, `topic`) del clúster de MSK de destino.
# Realice una conmutación por error no planificada a la región secundaria AWS
Puede realizar una conmutación por error no planificada cuando se produzca un evento de servicio en la AWS región principal que tenga su clúster de MSK de origen y desee redirigir temporalmente el tráfico a la región secundaria que tiene su clúster de MSK de destino. Una conmutación por error no planificada podría provocar la pérdida de algunos datos, ya que el Replicador MSK replica los datos de forma asíncrona. Puede realizar un seguimiento del retraso de los mensajes utilizando las métricas en [Supervisar la replicación](msk-replicator-monitor.md).
Si utiliza una configuración de replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola), siga estos pasos:
1. Intente desactivar todos los productores y consumidores que se conectan al clúster de MSK de origen de la región principal. Es posible que esta operación no se realice correctamente debido a deficiencias en esa región.
1. Haga que los productores y los consumidores se conecten al clúster de MSK de destino en la AWS región secundaria para completar la conmutación por error. Como MSK Replicator también replica los metadatos, incluidas las compensaciones por grupos de ACLs lectores y consumidores, sus productores y consumidores reanudarán el procesamiento sin problemas prácticamente desde donde lo dejaron antes de la conmutación por error.
Si utiliza la configuración de nombres de temas `PREFIX`, siga estos pasos para realizar la conmutación por error:
1. Intente desactivar todos los productores y consumidores que se conectan al clúster de MSK de origen de la región principal. Es posible que esta operación no se realice correctamente debido a deficiencias en esa región.
1. Inicie la conexión entre productores y consumidores al clúster de MSK de destino en la región secundaria AWS para completar la conmutación por error. Como MSK Replicator también replica los metadatos, incluidas las compensaciones por grupos de ACLs lectores y consumidores, sus productores y consumidores reanudarán el procesamiento sin problemas prácticamente desde donde lo dejaron antes de la conmutación por error.
1. En función de los requisitos de orden de mensajes de la aplicación, siga los pasos de una de las siguientes pestañas.
------
#### [ No message ordering ]
Si tu aplicación no requiere ordenar los mensajes, haz que los consumidores de la AWS región de destino lean tanto temas locales (por ejemplo) como replicados (por ejemplo`topic`) con un operador comodín (por ejemplo,`.topic`). `.*topic`
------
#### [ Message ordering ]
1. Inicie los consumidores solo para los temas replicados del clúster de destino (por ejemplo, `.topic`), pero no para los temas locales (por ejemplo, `topic`).
1. Espere a que todos los consumidores de los temas replicados del clúster de MSK de destino terminen de procesar todos los datos, de modo que el retraso del desplazamiento sea 0 y el número de registros procesados también sea 0. A continuación, detenga los consumidores de los temas replicados del clúster de destino. En este punto, se han consumido todos los registros que se replicaron desde el clúster de MSK de origen al clúster de MSK de destino.
1. Inicie los consumidores para los temas locales (por ejemplo, `topic`) del clúster de MSK de destino.
------
1. Una vez que el evento de servicio haya finalizado en la región principal, cree un nuevo Replicador MSK para replicar los datos del clúster de MSK de la región secundaria al clúster de MSK de la región principal con la posición de inicio del Replicador establecida como la más *temprana*. Esto es necesario para copiar los datos que escribirá en la región secundaria de nuevo en la región principal, de modo que pueda conmutar por recuperación a la región principal una vez finalizado el evento de servicio. Si no establece la posición de inicio del Replicador en la más *temprana*, cualquier dato que haya generado en el clúster de la región secundaria durante el evento de servicio en la región principal no se copiará de nuevo al clúster de la región principal.
# Realice una conmutación por recuperación a la región principal AWS
Puede realizar una conmutación por recuperación a la AWS región principal una vez finalizado el evento de servicio en esa región.
Si utiliza una configuración de replicación de nombres de temas idénticos, siga estos pasos:
1. Cree un nuevo Replicador MSK con el clúster secundario como origen y el clúster principal como destino; la posición inicial se establece como la más *temprana* y la replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola).
Esto iniciará el proceso de copiar todos los datos escritos en el clúster secundario después de la conmutación por error a la región principal.
1. Supervise la `MessageLag` métrica en el nuevo replicador de Amazon CloudWatch hasta que llegue`0`, lo que indica que todos los datos se han replicado del secundario al principal.
1. Una vez que se hayan replicado todos los datos, detenga la conexión de todos los productores al clúster secundario e inicie la conexión de los productores al clúster principal.
1. Espere a que la métrica `MaxOffsetLag` de los consumidores que se conectan al clúster secundario se conviertan en `0` para asegurarse de que han procesado todos los datos. Consulte [Supervisión del desfase del consumidor](consumer-lag.md).
1. Una vez que se hayan procesado todos los datos, detenga a los consumidores en la región secundaria e inicie la conexión de los consumidores al clúster principal para completar la conmutación por recuperación.
1. Elimine el Replicador que creó en el primer paso y que consiste en replicar los datos del clúster secundario al principal.
1. Compruebe que su replicador actual que copia datos del clúster principal al secundario tenga el estado «EN EJECUCIÓN» y una `ReplicatorThroughput` métrica en Amazon CloudWatch `0`.
Tenga en cuenta que, al crear un Replicador nuevo con la posición inicial de conmutación por recuperación más *temprana*, empezará a leer todos los datos de los temas de sus clústeres secundarios. En función de la configuración de retención de datos, es posible que los temas contengan datos procedentes del clúster de origen. Si bien el Replicador MSK filtra automáticamente esos mensajes, usted seguirá incurriendo en cargos por el procesamiento de datos y la transferencia de todos los datos de su clúster secundario. Puede realizar un seguimiento del total de datos procesados por el Replicador mediante `ReplicatorBytesInPerSec`. Consulte [Métricas del Replicador MSK](msk-replicator-monitor.md#msk-replicator-metrics).
Si está utilizando una configuración de nombres de temas con prefijo, siga estos pasos:
Debe iniciar los pasos de recuperación solo después de que la replicación del clúster de la región secundaria al clúster de la región principal se haya puesto al día y la MessageLag métrica de Amazon CloudWatch esté cerca de 0. Una conmutación por recuperación planificada no debería provocar la pérdida de datos.
1. Desactive todos los productores y consumidores que se conectan al clúster de MSK de la región secundaria.
1. Para una topología activo-pasivo, elimine el replicador que replica los datos del clúster de la región secundaria a la región principal. No es necesario eliminar el replicador para una topología activo-activo.
1. Inicie los productores que se conectan al clúster de MSK de la región principal.
1. En función de los requisitos de orden de mensajes de la aplicación, siga los pasos de una de las siguientes pestañas.
------
#### [ No message ordering ]
Si su aplicación no requiere ordenar los mensajes, utilice un operador comodín (por ejemplo,`topic`) para que los consumidores de la AWS región principal lean tanto los temas locales (por ejemplo`.topic`) como los replicados (por ejemplo). `.*topic` Los consumidores de temas locales (por ejemplo, topic) se reanudarán desde el último desplazamiento que consumieron antes de la conmutación por error. Si había datos sin procesar de antes de la conmutación por error, se procesarán ahora. En el caso de una conmutación por error planificada, no debería existir dicho registro.
------
#### [ Message ordering ]
1. Inicie los consumidores solo para los temas replicados de la región principal (por ejemplo, `.topic`), pero no para los temas locales (por ejemplo, `topic`).
1. Espere a que todos los consumidores de los temas replicados del clúster de la región principal terminen de procesar todos los datos, de modo que el retraso del desplazamiento sea 0 y el número de registros procesados también sea 0. A continuación, detenga los consumidores de los temas replicados del clúster de la región principal. En este momento, todos los registros que se produjeron en la región secundaria tras la conmutación por error se consumieron en la región principal.
1. Inicie los consumidores para los temas locales (por ejemplo, `topic`) del clúster de la región principal.
------
1. Compruebe que el Replicador existente, del clúster de la región principal al clúster de la región secundaria, tenga el estado EN EJECUCIÓN y funcione según lo esperado mediante las métricas y latencia `ReplicatorThroughput`.
# Creación de una configuración activa-activa mediante el Replicador MSK
Si desea crear una configuración activa-activa en la que ambos clústeres de MSK entreguen lecturas y escrituras de forma activa, le recomendamos que utilice un Replicador de MSK con la replicación de nombres de temas con prefijo (**Agregar el prefijo al nombre de los temas** en la consola). Sin embargo, esto requerirá que reconfigure a sus consumidores para que lean los temas replicados.
Siga estos pasos para configurar la topología activo-activo entre el clúster de MSK de origen A y el clúster de MSK de destino B.
1. Cree un Replicador MSK con el clúster A de MSK como origen y el clúster B de MSK como destino.
1. Una vez que el Replicador MSK anterior se haya creado correctamente, cree un replicador con el clúster B como origen y el clúster A como destino.
1. Cree dos conjuntos de productores y que cada uno escriba datos al mismo tiempo en el tema local (por ejemplo, “topic”) del clúster de la misma región que el productor.
1. Cree dos grupos de consumidores, cada uno de los cuales lea los datos mediante una suscripción con caracteres comodín (por ejemplo,»). \$1tema») del clúster de MSK de la misma AWS región que el consumidor. De esta manera, los consumidores leerán automáticamente los datos producidos localmente en la región del tema local (por ejemplo, `topic`), así como los datos replicados de otra región en el tema (con el prefijo `.topic`). Estos dos grupos de consumidores deben tener un grupo de consumidores diferente IDs para que las compensaciones entre grupos de consumidores no se sobrescriban cuando MSK Replicator las copia en el otro clúster.
Si desea evitar la reconfiguración de sus clientes, en lugar de la replicación de nombres de temas con prefijo (**Agregar el prefijo al nombre de los temas** en la consola), puede crear Replicadores MSK mediante la replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola) para crear una configuración activa-activa. Sin embargo, tendrá que pagar cargos adicionales por procesamiento y transferencia de datos por cada Replicador. Esto se debe a que cada Replicador necesitará procesar el doble de la cantidad habitual de datos, uno para la replicación y otro para evitar bucles infinitos. Puede realizar un seguimiento de la cantidad total de datos procesados por cada Replicador mediante la métrica `ReplicatorBytesInPerSec`. Consulte [Supervisar la replicación](msk-replicator-monitor.md). Esta métrica incluye los datos replicados en el clúster de destino, así como los datos filtrados por el Replicador MSK para evitar que los datos se copien de nuevo al mismo tema del que se originaron.
**nota**
Si utiliza la replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola) para configurar la topología activa-activa, espere al menos 30 segundos después de eliminar un tema antes de volver a crear uno con el mismo nombre. Este periodo de espera ayuda a evitar que los mensajes duplicados se vuelvan a replicar en el clúster de origen. Los consumidores deben poder volver a procesar los mensajes duplicados sin que ello repercuta en las fases posteriores. Consulte [Consideraciones para crear aplicaciones Apache Kafka de varias regiones](msk-replicator-increase-resiliency.md#msk-replication-multi-region-kafka-applications).
# Migración de un clúster de Amazon MSK a otro mediante el Replicador MSK
Puede utilizar la replicación de nombres de temas idénticos para la migración de clústeres, pero sus consumidores deben poder procesar los mensajes duplicados sin que ello repercuta en las fases posteriores. Esto se debe a que MSK Replicator proporciona at-least-once replicación, lo que puede provocar la duplicación de mensajes en raras ocasiones. Si sus consumidores cumplen con este requisito, siga estos pasos.
1. Cree un Replicador que replique los datos del clúster anterior al clúster nuevo, con la posición inicial del Replicador establecida como la más *temprana* y mediante la replicación de nombres de temas idénticos (**Mantener el mismo nombre de tema** en la consola).
1. Configuración de los ajustes y los permisos a nivel de clúster en el nuevo clúster. No es necesario configurar los ajustes a nivel de tema ni la lectura «literal» ACLs, ya que MSK Replicator los copia automáticamente.
1. Supervisa la `MessageLag` métrica en Amazon CloudWatch hasta que llegue a 0, lo que indica que se han replicado todos los datos.
1. Una vez que se hayan replicado todos los datos, impida que los productores escriban datos en el clúster anterior.
1. Vuelva a configurar esos productores para que se conecten al nuevo clúster y se inicien.
1. Supervise la métrica `MaxOffsetLag` para que sus consumidores lean los datos del clúster anterior hasta convertirse en `0`, lo que indica que se han procesado todos los datos existentes.
1. Detener a los consumidores que se conectan al clúster anterior.
1. Reconfigure a los consumidores para que se conecten al nuevo clúster y se inicien.
# Migre de MirrorMaker 2 autogestionado a MSK Replicator
Para migrar de MirrorMaker (MM2) a MSK Replicator, siga estos pasos:
1. Detenga al productor que está escribiendo en su clúster de Amazon MSK de origen.
1. Permite MM2 replicar todos los mensajes sobre los temas de tus clústeres de origen. Puede monitorizar el retraso entre los consumidores de su clúster de MSK de origen para determinar cuándo se han replicado todos los datos. MM2
1. Cree un Replicador nuevo con la posición inicial establecida en *última* y la configuración de nombres de temas establecida como `IDENTICAL` (**replicación de los mismos nombres de temas** en la consola).
1. Una vez que el Replicador tenga el estado EN EJECUCIÓN, puede volver a iniciar a los productores a escribir en el clúster de origen.
# Solución de problemas del Replicador MSK
La siguiente información puede ayudar a solucionar los problemas que podrían presentarse con el Replicador MSK. Consulte [Solución de problemas del clúster de Amazon MSK](troubleshooting.md) para obtener información sobre la resolución de problemas sobre otras características de Amazon MSK. También puede publicar el problema en [AWS re:Post](https://repost.aws/).
## El estado del Replicador MSK pasa de EN CREACIÓN a ERROR
Estas son algunas de las causas más comunes de los errores en la creación del Replicador MSK.
1. Compruebe que los grupos de seguridad proporcionados para la creación del replicador en la sección del clúster de destino tengan reglas de salida que permitan el tráfico a los grupos de seguridad del clúster de destino. Además, compruebe que los grupos de seguridad del clúster de destino tengan reglas de entrada que acepten el tráfico de los grupos de seguridad que proporcione para la creación del replicador en la sección del clúster de destino. Consulte [Elección del clúster de destino](msk-replicator-create-console.md#msk-replicator-create-console-choose-target).
1. Si va a crear un replicador para la replicación entre regiones, compruebe que el clúster de origen tenga activada la conectividad de varias VPC para el método de autenticación del control de acceso de IAM. Consulte [Conectividad privada con varias VPC de Amazon MSK en una sola región](aws-access-mult-vpc.md). Compruebe también que la política de clústeres esté configurada en el clúster de origen, para que el Replicador MSK pueda conectarse al clúster de origen. Consulte [Preparación del clúster de origen de Amazon MSK](msk-replicator-prepare-cluster.md).
1. Compruebe que el rol de IAM que proporcionó durante la creación del Replicador MSK tiene los permisos necesarios para leer los clústeres de origen y destino, y para escribir en estos. Compruebe también que el rol de IAM tenga permisos para escribir en los temas. Consulte [Configurar los parámetros y los permisos del replicador](msk-replicator-create-console.md#msk-replicator-create-settings)
1. Compruebe que su red ACLs no bloquee la conexión entre el MSK Replicator y los clústeres de origen y destino.
1. Es posible que los clústeres de origen o destino no estén completamente disponibles cuando el Replicador MSK intente conectarse a ellos. Esto puede deberse a una carga, uso del disco o de la CPU excesivos, lo que hace que el replicador no pueda conectarse a los agentes. Solucione el problema con los agentes e intente crear el replicador de nuevo.
Tras hacer las validaciones anteriores, vuelva a crear el Replicador MSK.
## El Replicador MSK aparece atascado en el estado EN CREACIÓN
A veces, la creación del Replicador MSK puede tardar hasta 30 minutos. Espere 30 minutos y compruebe de nuevo el estado del replicador.
## El Replicador MSK no replica los datos o solo replica datos parciales
Siga estos pasos para solucionar los problemas de replicación de datos.
1. Compruebe que su replicador no tiene ningún error de autenticación mediante la AuthError métrica proporcionada por MSK Replicator en Amazon. CloudWatch Si esta métrica es superior a 0, compruebe si la política del rol de IAM que proporcionó para el replicador es válida y que no se hayan establecido permisos de denegación para los permisos del clúster. En función de la dimensión ClusterAlias, puede identificar si el clúster de origen o de destino presenta errores de autenticación.
1. Compruebe que los clústeres de origen y destino no tengan ningún problema. Es posible que el replicador no pueda conectarse al clúster de origen o destino. Esto puede ocurrir debido a que hay demasiadas conexiones, el disco está al máximo de su capacidad o hay un uso elevado de la CPU.
1. Compruebe que se pueda acceder a los clústeres de origen y destino desde MSK Replicator mediante la métrica de Amazon KafkaClusterPingSuccessCount . CloudWatch En función de la dimensión ClusterAlias, puede identificar si el clúster de origen o de destino presenta errores de autenticación. Si el valor de esta métrica es 0 o no tiene ningún punto de datos, la conexión no funciona correctamente. Debe comprobar los permisos de la red y del rol de IAM que utiliza el Replicador MSK para conectarse a los clústeres.
1. Compruebe que su replicador no tenga errores debido a la falta de permisos de nivel de tema utilizando la métrica ReplicatorFailure de Amazon. CloudWatch Si esta métrica es superior a 0, compruebe el rol de IAM que proporcionó para los permisos a nivel de tema.
1. Compruebe que la expresión regular que proporcionó en la lista de permitidos al crear el replicador coincide con los nombres de los temas que quiere replicar. Compruebe también que los temas no se excluyan de la replicación debido a una expresión regular de la lista de denegados.
1. Tenga en cuenta que el Replicador puede tardar hasta 30 segundos en detectar y crear los nuevos temas o particiones de temas en el clúster de destino. Cualquier mensaje generado en el tema de origen antes de que se creara el tema en el clúster de destino no se replicará si la posición inicial del Replicador es la última (opción predeterminada). Como alternativa, si desea replicar los mensajes existentes sobre sus temas en el clúster de destino, puede iniciar la replicación desde el primer desplazamiento de las particiones de temas del clúster de origen. Consulte [Configurar los parámetros y los permisos del replicador](msk-replicator-create-console.md#msk-replicator-create-settings).
## Los desplazamientos de mensajes en el clúster de destino son diferentes a las del clúster de origen
Como parte de la replicación de datos, el Replicador MSK consume los mensajes del clúster de origen y los produce al clúster de destino. Esto puede provocar que los mensajes tengan diferentes desplazamientos en los clústeres de origen y destino. Sin embargo, si activó la sincronización de los desplazamientos de los grupos de consumidores durante la creación del Replicador, el Replicador MSK traducirá automáticamente los desplazamientos mientras copia los metadatos para que, tras la conmutación por error al clúster de destino, sus consumidores puedan reanudar el procesamiento casi desde donde lo dejaron en el clúster de origen.
## El Replicador MSK no sincroniza los desplazamientos de los grupos de consumidores o el grupo de consumidores no existe en el clúster de destino
Siga estos pasos para solucionar los problemas de replicación de metadatos.
1. Compruebe que la replicación de los datos funciona según lo esperado. Si no es así, consulte [El Replicador MSK no replica los datos o solo replica datos parciales](#msk-replicator-troubleshooting-not-replicating).
1. Compruebe que la expresión regular que proporcionó en la lista de permitidos al crear el Replicador coincide con los nombres de los grupos de consumidores que quiere replicar. También compruebe que los grupos de consumidores no se excluyan de la replicación debido a una expresión regular de la lista de denegados.
1. Compruebe que el Replicador MSK haya creado el tema en el clúster de destino. El Replicador puede tardar hasta 30 segundos en detectar y crear los nuevos temas o particiones de temas en el clúster de destino. Cualquier mensaje generado en el tema de origen antes de que se creara el tema en el clúster de destino no se replicará si la posición inicial del Replicador es la *última* (opción predeterminada). Si su grupo de consumidores del clúster de origen solo ha consumido los mensajes que el Replicador MSK no ha replicado, el grupo de consumidores no se replicará en el clúster de destino. Una vez que el tema se haya creado correctamente en el clúster de destino, el Replicador MSK empezará a replicar los mensajes recién escritos en el clúster de origen al clúster de destino. Una vez que su grupo de consumidores comience a leer estos mensajes del origen, el Replicador MSK replicará automáticamente el grupo de consumidores en el clúster de destino. Como alternativa, si desea replicar los mensajes existentes sobre sus temas en el clúster de destino, puede iniciar la replicación desde el primer desplazamiento de las particiones de temas del clúster de origen. Consulte [Configurar los parámetros y los permisos del replicador](msk-replicator-create-console.md#msk-replicator-create-settings).
**nota**
El Replicador MSK optimiza la sincronización de los desplazamientos de los grupos de consumidores para los consumidores del clúster de origen, que leen desde una posición más cercana al final de la partición de temas. Si sus grupos de consumidores están rezagados en el clúster de origen, es posible que los grupos de consumidores del grupo de destino tengan un mayor retraso en comparación con los de origen. Esto significa que, tras la conmutación por error al clúster de destino, sus consumidores volverán a procesar más mensajes duplicados. Para reducir este retraso, los consumidores del clúster de origen tendrían que ponerse al día y empezar a consumir desde la punta de la transmisión (al final de la partición del tema). A medida que sus consumidores se pongan al día, el Replicador MSK reducirá automáticamente el retraso.
## La latencia de replicación es alta o sigue aumentando
Estas son algunas de las causas comunes de la latencia alta de replicación.
1. Compruebe que tiene el número correcto de particiones en los clústeres de MSK de origen y destino. Tener muy pocas o demasiadas particiones puede afectar al rendimiento. Para instrucciones sobre cómo elegir el número de particiones, consulte [Prácticas recomendadas para utilizar el Replicador MSK](msk-replicator-best-practices.md). La tabla siguiente muestra el número mínimo de particiones recomendado para obtener el rendimiento deseado con el Replicador MSK.
**Rendimiento y número mínimo recomendado de particiones**
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/msk/latest/developerguide/msk-replicator-troubleshooting.html)
1. Compruebe que los clústeres de MSK de origen y destino tienen suficiente capacidad de lectura y escritura para admitir el tráfico de la replicación. El Replicador MSK actúa como consumidor del clúster de origen (salida) y como productor del clúster de destino (entrada). Por lo tanto, debe aprovisionar la capacidad del clúster para admitir el tráfico de la replicación, además del resto del tráfico de los clústeres. Consulte [Prácticas recomendadas para utilizar el Replicador MSK](msk-replicator-best-practices.md) para obtener orientación sobre el tamaño de los clústeres de MSK.
1. La latencia de replicación puede variar para los clústeres de MSK en diferentes pares de AWS regiones de origen y destino, en función de la distancia geográfica entre los clústeres. Por ejemplo, la latencia de la replicación suele ser menor cuando se replica entre clústeres de las regiones de Europa (Irlanda) y Europa (Londres), en comparación con la replicación entre clústeres de las regiones de Europa (Irlanda) y Asia-Pacífico (Sídney).
1. Compruebe que el replicador no se vea limitado debido a las cuotas demasiado agresivas que se establezcan en los clústeres de origen o destino. Puedes usar la ThrottleTime métrica proporcionada por MSK Replicator en Amazon CloudWatch para ver el tiempo medio en milisegundos que los agentes de tu clúster han limitado una solicitud. source/target Si esta métrica es superior a 0, debe ajustar las cuotas de Kafka para reducir las limitaciones, para que el replicador pueda recuperarse. Consulte [Administración del rendimiento del Replicador MSK mediante cuotas de Kafka](msk-replicator-best-practices.md#msk-replicator-manage-throughput-kafka-quotas) para obtener información sobre la administración de las cuotas de Kafka para el replicador.
1. ReplicationLatency y MessageLag podría aumentar cuando una AWS región se degrada. Use el [Panel de estado de servicio de AWS](https://health.aws.amazon.com/health/status) para comprobar si hay un evento de servicio de MSK en la región en la que se encuentra el clúster principal de MSK. Si se produce un evento de servicio, puede redirigir temporalmente las lecturas y escrituras de la aplicación a la otra región.
## Solución de problemas de errores de MSK Replicator mediante métricas ReplicatorFailure
La ReplicatorFailure métrica le ayuda a monitorear y detectar problemas de replicación en MSK Replicator. Un valor distinto de cero en esta métrica normalmente indica un problema de fallo de replicación, que se puede deber a los siguientes factores:
+ Limitaciones del tamaño de los mensajes
+ Infracciones del rango de marcas de tiempo
+ Problemas con el tamaño de los lotes de registros
Si la ReplicatorFailure métrica indica un valor distinto de cero, siga estos pasos para solucionar el problema.
**nota**
Para obtener más información sobre esta métrica, consulte [Métricas del Replicador MSK](msk-replicator-monitor.md#msk-replicator-metrics).
1. Configure un cliente que se pueda conectar al clúster de MSK de destino y que tenga instaladas las herramientas de la CLI de Apache Kafka. Para obtener información sobre cómo configurar el cliente y la herramienta de la CLI de Kafka, consulte [Conexión a un clúster de Amazon MSK aprovisionado](client-access.md).
1. ¿Abrir la consola Amazon MSK en [https://console.aws.amazon.com/msk/casa? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/).
A continuación, proceda del modo siguiente:
1. Obtenga el MSK Replicator y el clúster de MSK de destino ARNs .
1. [Obtenga los puntos de conexión de los agentes](get-bootstrap-console.md) del clúster de MSK de destino. Utilizará estos puntos de conexión en los pasos siguientes.
1. Ejecute los siguientes comandos para exportar el ARN del Replicador de MSK y los puntos de conexión de los agentes que obtuvo en el paso anterior.
Asegúrese de reemplazar los valores de marcador de posición de < *ReplicatorARN* >, < > y < *BootstrapServerString* *ConsumerConfigFile* > utilizados en los siguientes ejemplos por sus valores reales.
```
export TARGET_CLUSTER_SERVER_STRING=
```
```
export REPLICATOR_ARN=
```
```
export CONSUMER_CONFIG_FILE=
```
1. En el directorio `/bin`, realice lo siguiente:
1. Guarde el siguiente script y asígnele el nombre **query-replicator-failure-message.sh**.
```
#!/bin/bash
# Script: Query MSK Replicator Failure Message
# Description: This script queries exceptions from AWS MSK Replicator status topics
# It takes a replicator ARN and bootstrap server as input and searches for replicator exceptions
# in the replicator's status topic, formatting and displaying them in a readable manner
#
# Required Arguments:
# --replicator-arn: The ARN of the AWS MSK Replicator
# --bootstrap-server: The Kafka bootstrap server to connect to
# --consumer.config: Consumer config properties file
# Usage Example:
# ./query-replicator-failure-message.sh ./query-replicator-failure-message.sh --replicator-arn --bootstrap-server --consumer.config
print_usage() {
echo "USAGE: $0 ./query-replicator-failure-message.sh --replicator-arn --bootstrap-server --consumer.config "
echo "--replicator-arn REQUIRED: The ARN of AWS MSK Replicator."
echo "--bootstrap-server REQUIRED: The Kafka server to connect to."
echo "--consumer.config REQUIRED: Consumer config properties file."
exit 1
}
# Initialize variables
replicator_arn=""
bootstrap_server=""
consumer_config=""
# Parse arguments
while [[ $# -gt 0 ]]; do
case "$1" in
--replicator-arn)
if [ -z "$2" ]; then
echo "Error: --replicator-arn requires an argument."
print_usage
fi
replicator_arn="$2"; shift 2 ;;
--bootstrap-server)
if [ -z "$2" ]; then
echo "Error: --bootstrap-server requires an argument."
print_usage
fi
bootstrap_server="$2"; shift 2 ;;
--consumer.config)
if [ -z "$2" ]; then
echo "Error: --consumer.config requires an argument."
print_usage
fi
consumer_config="$2"; shift 2 ;;
*) echo "Unknown option: $1"; print_usage ;;
esac
done
# Check for required arguments
if [ -z "$replicator_arn" ] || [ -z "$bootstrap_server" ] || [ -z "$consumer_config" ]; then
echo "Error: --replicator-arn, --bootstrap-server, and --consumer.config are required."
print_usage
fi
# Extract replicator name and suffix from ARN
replicator_arn_suffix=$(echo "$replicator_arn" | awk -F'/' '{print $NF}')
replicator_name=$(echo "$replicator_arn" | awk -F'/' '{print $(NF-1)}')
echo "Replicator name: $replicator_name"
# List topics and find the status topic
topics=$(./kafka-topics.sh --command-config client.properties --list --bootstrap-server "$bootstrap_server")
status_topic_name="__amazon_msk_replicator_status_${replicator_name}_${replicator_arn_suffix}"
# Check if the status topic exists
if echo "$topics" | grep -Fq "$status_topic_name"; then
echo "Found replicator status topic: '$status_topic_name'"
./kafka-console-consumer.sh --bootstrap-server "$bootstrap_server" --consumer.config "$consumer_config" --topic "$status_topic_name" --from-beginning | stdbuf -oL grep "Exception" | stdbuf -oL sed -n 's/.*Exception:\(.*\) Topic: \([^,]*\), Partition: \([^\]*\).*/ReplicatorException:\1 Topic: \2, Partition: \3/p'
else
echo "No topic matching the pattern '$status_topic_name' found."
fi
```
1. Ejecute este script para consultar los mensajes de error del Replicador de MSK.
```
/bin/query-replicator-failure-message.sh --replicator-arn $REPLICATOR_ARN --bootstrap-server $TARGET_CLUSTER_SERVER_STRING --consumer.config $CONSUMER_CONFIG_FILE
```
Este script muestra todos los errores junto con sus mensajes de excepción y las particiones de temas afectadas. Puede utilizar esta información de excepción para mitigar los errores, tal como se describe en [Errores comunes del Replicador de MSK y sus soluciones](#msk-replicator-ReplicatorFailure-error-mitigation). Dado que el tema contiene todos los mensajes históricos de error, inicie la investigación con el último mensaje. Lo siguiente es un ejemplo de un mensaje de error.
```
ReplicatorException: The request included a message larger than the max message size the server will accept. Topic: test, Partition: 1
```
### Errores comunes del Replicador de MSK y sus soluciones
La siguiente lista describe algunos de los errores del Replicador de MSK que podría experimentar y cómo mitigarlos.
**Tamaño del mensaje mayor que max.request.size**
**Causa**
Este error se produce cuando el Replicador de MSK no logra replicar datos porque el tamaño del mensaje individual supera los 10 MB. De forma predeterminada, el Replicador de MSK replica mensajes de hasta 10 MB de tamaño.
Lo siguiente es un ejemplo de este tipo de mensaje de error.
```
ReplicatorException: The message is 20635370 bytes when serialized which is larger than 10485760, which is the value of the max.request.size configuration. Topic: test, Partition: 1
```
**Solución**
Reduzca el tamaño de los mensajes individuales en el tema. Si no puede hacerlo, siga estas instrucciones para [solicitar un aumento del límite](limits.md#request-msk-quota-increase).
**Tamaño del mensaje mayor que el tamaño máximo de mensaje que el servidor acepta**
**Causa**
Este error se produce cuando el tamaño del mensaje supera el tamaño máximo de mensaje permitido por el clúster de destino.
Lo siguiente es un ejemplo de este tipo de mensaje de error.
```
ReplicatorException: The request included a message larger than the max message size the server will accept. Topic: test, Partition: 1
```
**Solución**
Aumente la configuración de `max.message.bytes` en el clúster de destino o en el tema correspondiente del clúster de destino. Establezca la configuración `max.message.bytes` del clúster de destino para que coincida con el tamaño máximo de mensaje sin comprimir. Para obtener información sobre cómo hacerlo, consulte [max.message.bytes](https://kafka.apache.org/documentation/#topicconfigs_max.message.bytes).
**La marca de tiempo está fuera del intervalo**
**Causa**
Este fallo se produce porque la marca de tiempo del mensaje individual se encuentra fuera del intervalo permitido por el clúster de destino.
Lo siguiente es un ejemplo de este tipo de mensaje de error.
```
ReplicatorException: Timestamp 1730137653724 of message with offset 0 is out of range. The timestamp should be within [1730137892239, 1731347492239] Topic: test, Partition: 1
```
**Solución**
Actualice la configuración `message.timestamp.before.max.ms` del clúster de destino para permitir mensajes con marcas de tiempo más antiguas. Para obtener información sobre cómo hacerlo, consulte [message.timestamp.before.max.ms](https://kafka.apache.org/documentation/#topicconfigs_message.timestamp.before.max.ms).
**Lote de registros demasiado grande**
**Causa**
Este error se produce porque el tamaño del lote de registros supera el tamaño del segmento configurado para el tema en el clúster de destino. El Replicador de MSK admite un tamaño máximo de lote de 1 MB.
Lo siguiente es un ejemplo de este tipo de mensaje de error.
```
ReplicatorException: The request included message batch larger than the configured segment size on the server. Topic: test, Partition: 1
```
**Solución**
La configuración segment.bytes del clúster de destino debe ser, como mínimo, igual al tamaño del lote (1 MB) para que el Replicador de MSK pueda continuar sin errores. Actualice el valor de segment.bytes del clúster de destino a, como mínimo, 1048576 (1 MB). Para obtener información sobre cómo hacerlo, consulte [segment.bytes](https://kafka.apache.org/documentation/#topicconfigs_segment.bytes).
**nota**
Si la ReplicatorFailure métrica sigue emitiendo valores distintos de cero después de aplicar estas soluciones, repita el proceso de solución de problemas hasta que la métrica emita un valor de cero.
# Prácticas recomendadas para utilizar el Replicador MSK
En esta sección, se describen las prácticas recomendadas y las estrategias de implementación más comunes para utilizar el Replicador Amazon MSK.
**Contents**
+ [
## Administración del rendimiento del Replicador MSK mediante cuotas de Kafka
](#msk-replicator-manage-throughput-kafka-quotas)
+ [
## Establecimiento del periodo de retención del clúster
](#msk-replicator-retention-period)
## Administración del rendimiento del Replicador MSK mediante cuotas de Kafka
Dado que el Replicador MSK actúa como consumidor del clúster de origen, la replicación puede provocar que otros consumidores se vean limitados a utilizar el clúster de origen. El grado de limitación varía en función de la capacidad de lectura del clúster de origen y del rendimiento de los datos que replicará. Le recomendamos que aprovisione una capacidad idéntica para los clústeres de origen y de destino, y que tenga en cuenta el rendimiento de la replicación al calcular la capacidad que necesita.
También puede establecer cuotas de Kafka para el replicador en los clústeres de origen y de destino a fin de controlar la capacidad que puede utilizar el Replicador MSK. Se recomienda una cuota de ancho de banda de la red. Una cuota de ancho de banda de la red define un umbral de velocidad de bytes, definido como bytes por segundo, para uno o varios clientes que comparten una cuota. Esta cuota se define por agente.
Siga estos pasos para aplicar una cuota.
1. Recupere la cadena del servidor de arranque del clúster de origen. Consulte [Obtención de agentes de arranque para un clúster de Amazon MSK](msk-get-bootstrap-brokers.md).
1. Recupere el rol de ejecución de servicios (SER) que utiliza el Replicador MSK. Este es el SER que utilizó para una solicitud `CreateReplicator`. También puede extraer el SER de la DescribeReplicator respuesta de un replicador existente.
1. Con las herramientas de la CLI de Kafka, ejecute el siguiente comando en el clúster de origen.
```
./kafka-configs.sh --bootstrap-server --alter --add-config 'consumer_byte_
rate=' --entity-type users --entity-name arn:aws:sts:::assumed-role// --command-config
```
1. Tras ejecutar el comando anterior, compruebe que la métrica `ReplicatorThroughput` no supere la cuota que ha establecido.
Tenga en cuenta que, si reutiliza un rol de ejecución de servicios entre varios replicadores de MSK, todos estarán sujetos a esta cuota. Si quiere mantener cuotas independientes por replicador, utilice roles de ejecución de servicios independientes.
Para más información sobre el uso de la autenticación de IAM de MSK con cuotas, consulte [Multi-tenancy Apache Kafka clusters in Amazon MSK with IAM access control and Kafka Quotas – Part 1](https://aws.amazon.com/blogs/big-data/multi-tenancy-apache-kafka-clusters-in-amazon-msk-with-iam-access-control-and-kafka-quotas-part-1/).
**aviso**
Si se establece una tasa de consumo extremadamente baja, es posible que el Replicador MSK actúe de forma inesperada.
## Establecimiento del periodo de retención del clúster
Puede establecer el periodo de retención de los registros para los clústeres aprovisionados y sin servidor de MSK. El periodo de retención recomendado es de 7 días. Consulte [Cambios de configuraciones de clústeres](msk-replicator-serverless-requirements.md#msk-replicator-config-changes) o [Configuración de clústeres sin servidor de MSK compatibles](msk-replicator-serverless-requirements.md).