Utilizar un clúster OpenSearch de Amazon Service como objetivo para AWS Database Migration Service

• Para una carga de datos completa, considere la cantidad total de datos que va a migrar, así como la velocidad de la transferencia.

• Para la replicación de cambios continuos, considere la frecuencia de las actualizaciones y los requisitos totales de latencia.

Configuración de tareas de carga completa con varios subprocesos

Para ayudar a aumentar la velocidad de la transferencia, AWS DMS admite la carga completa de subprocesos múltiples en un clúster de destino del OpenSearch servicio. AWS DMS admite este subprocesamiento múltiple con configuraciones de tareas que incluyen lo siguiente:

• MaxFullLoadSubTasks: utilice esta opción para indicar el número máximo de tablas de origen que se pueden cargar en paralelo. DMS carga cada tabla en su índice de objetivos de OpenSearch servicio correspondiente mediante una subtarea dedicada. El valor predeterminado es 8, el valor máximo es 49.

• ParallelLoadThreads— Utilice esta opción para especificar el número de subprocesos que se AWS DMS utilizan para cargar cada tabla en su índice de objetivos OpenSearch de servicio. El valor máximo para un objetivo OpenSearch de servicio es 32. Puede pedir que se incremente este límite máximo.

  nota

  Si no cambia ParallelLoadThreads desde su valor predeterminado (0), AWS DMS transfiere un solo registro a la vez. Este enfoque supone una carga excesiva para su clúster OpenSearch de servicios. Asegúrese de que configura esta opción en 1 o más.

• ParallelLoadBufferSize— Utilice esta opción para especificar el número máximo de registros que se almacenarán en el búfer y que los subprocesos de carga paralela utilizan para cargar datos en el destino del OpenSearch servicio. El valor predeterminado es 50. El valor máximo es 1000. Utilice este parámetro con ParallelLoadThreads. ParallelLoadBufferSize es válido solo cuando hay más de un subproceso.

Configuración de tareas de carga de CDC con varios subprocesos

Puede mejorar el rendimiento de la captura de datos de cambios (CDC) para un clúster objetivo de OpenSearch servicio mediante la configuración de las tareas para modificar el comportamiento de la llamada a la API. PutRecords Para ello, puede especificar el número de subprocesos simultáneos, las colas por subproceso y el número de registros que se van a almacenar en un búfer mediante la configuración de tareas ParallelApply*. Suponga, por ejemplo, que desea realizar una carga de CDC y aplicar 32 subprocesos en paralelo. También desea acceder a 64 colas por subproceso, con 50 registros almacenados por búfer.

Para promover el desempeño de los CDC, AWS DMS admite la siguiente configuración de tareas:

• ParallelApplyThreads— Especifica la cantidad de subprocesos simultáneos que se AWS DMS utilizan durante una carga de los CDC para enviar los registros de datos a un punto final del OpenSearch servicio. El valor predeterminado es cero (0) y el valor máximo es 32.

• ParallelApplyBufferSize— Especifica la cantidad máxima de registros que se deben almacenar en cada cola de búfer para que los subprocesos simultáneos se envíen a un punto final del OpenSearch servicio durante una carga de los CDC. El valor predeterminado es 100 y el máximo es 1000. Utilice esta opción cuando ParallelApplyThreads especifique más de un subproceso.

• ParallelApplyQueuesPerThread— Especifica el número de colas a las que accede cada subproceso para eliminar los registros de datos de las colas y generar una carga por lotes para un punto final del servicio durante el CDC. OpenSearch

• Booleano

• Date

• Flotante

• Int

• Cadena

• OpenSearch El servicio utiliza un mapeo dinámico (estimación automática) para determinar los tipos de datos que se van a utilizar para los datos migrados.

• OpenSearch El servicio almacena cada documento con un identificador único. A continuación, se muestra un ID de ejemplo.

  "_id": "D359F8B537F1888BC71FE20B3D79EAE6674BE7ACA9B645B0279C7015F6FF19FD"

  Cada ID de documento tiene una longitud de 64 bytes, por lo que debe prever este requisito de almacenamiento. Por ejemplo, si migras 100 000 filas desde una AWS DMS fuente, el índice de OpenSearch servicio resultante necesitará almacenar 6 400 000 bytes adicionales.

• Con OpenSearch Service, no puedes actualizar los atributos de la clave principal. Esta restricción es importante cuando se utiliza la replicación continua con captura de datos de cambio (CDC), ya que puede resultar en la presencia de datos no deseados en el destino. En modo de CDC, las claves principales se asignan a valores de SHA256, que tienen 32 bytes. Se convierten en cadenas de 64 bytes legibles por humanos y se utilizan como identificadores de documentos OpenSearch de servicio.

• Si AWS DMS encuentra algún elemento que no se pueda migrar, escribe los mensajes de error en Amazon CloudWatch Logs. Este comportamiento difiere del de otros puntos finales de AWS DMS destino, que escriben los errores en una tabla de excepciones.

• AWS DMS no admite la conexión a un clúster de Amazon ES que tenga activado el control de Fine-grained acceso con un usuario y una contraseña maestros.

• AWS DMS no es compatible con OpenSearch Service Serverless.

• A partir de AWS DMS la versión 3.1, el OpenSearch servicio admite la escritura de datos en índices preexistentes.

• La configuración de la tarea de replicación no TargetTablePrepMode:TRUNCATE_BEFORE_LOAD se admite para su uso con un punto final de OpenSearch destino.

• Al migrar datos a Amazon Elasticsearch utilizando AWS DMS, los datos de origen deben tener una clave principal o una columna de identificación única. Si los datos de origen no tienen una clave principal o un identificador único, debe definir uno mediante la regla de transformación define-primary-key.