Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Se puede utilizar AWS DMS para migrar datos a Amazon OpenSearch Service (OpenSearch Servicio). OpenSearch El servicio es un servicio gestionado que facilita la implementación, el funcionamiento y el escalado de un clúster OpenSearch de servicios.
En OpenSearch Service, se trabaja con índices y documentos. Un índice es una colección de documentos y un documento es un objeto JSON que contiene valores escalares, matrices y otros objetos. OpenSearch proporciona un lenguaje de consulta basado en JSON para que pueda consultar los datos de un índice y recuperar los documentos correspondientes.
Cuando AWS DMS crea índices para un punto final de destino para OpenSearch Service, crea un índice para cada tabla desde el punto final de origen. El coste de crear un índice OpenSearch de servicios depende de varios factores. Estos son el número de índices creados, la cantidad total de datos que contienen y la pequeña cantidad de metadatos que se OpenSearch almacenan para cada documento.
Configure su clúster de OpenSearch servicios con los recursos de procesamiento y almacenamiento adecuados para el alcance de la migración. Le recomendamos que tenga en cuenta los factores siguientes, en función de la tarea de replicación que desee utilizar:
-
Para una carga de datos completa, considere la cantidad total de datos que va a migrar, así como la velocidad de la transferencia.
-
Para replicar los cambios en curso, tenga en cuenta la frecuencia de las actualizaciones y sus requisitos de end-to-end latencia.
Además, configure los ajustes del índice en su OpenSearch clúster, prestando especial atención al recuento de documentos.
Configuración de tareas de carga completa con varios subprocesos
Para ayudar a aumentar la velocidad de la transferencia, AWS DMS admite una carga completa de subprocesos múltiples a un clúster de destino del OpenSearch servicio. AWS DMS admite este subprocesamiento múltiple con una configuración de tareas que incluye lo siguiente:
-
MaxFullLoadSubTasks: utilice esta opción para indicar el número máximo de tablas de origen que se pueden cargar en paralelo. DMS carga cada tabla en su índice de objetivos de OpenSearch servicio correspondiente mediante una subtarea dedicada. El valor predeterminado es 8, el valor máximo es 49. -
ParallelLoadThreads— Utilice esta opción para especificar el número de subprocesos que se AWS DMS utilizan para cargar cada tabla en su índice de destino OpenSearch de servicio. El valor máximo para un objetivo OpenSearch de servicio es 32. Puede pedir que se incremente este límite máximo.nota
Si no cambia
ParallelLoadThreadsdesde su valor predeterminado (0), AWS DMS transfiere un solo registro a la vez. Este enfoque supone una carga excesiva para el clúster OpenSearch de servicios. Asegúrese de que configura esta opción en 1 o más. -
ParallelLoadBufferSize— Utilice esta opción para especificar el número máximo de registros que se almacenarán en el búfer que utilizan los subprocesos de carga paralela para cargar datos en el destino del OpenSearch servicio. El valor predeterminado es 50. El valor máximo es 1000. Utilice este parámetro conParallelLoadThreads.ParallelLoadBufferSizees válido solo cuando hay más de un subproceso.
Para obtener más información sobre cómo DMS carga un clúster de OpenSearch servicios mediante subprocesos múltiples, consulte la AWS entrada del blog Scale Amazon OpenSearch Service
Configuración de tareas de carga de CDC con varios subprocesos
Puede mejorar el rendimiento de la captura de datos de cambios (CDC) para un clúster de destino de un OpenSearch servicio mediante la configuración de tareas para modificar el comportamiento de la llamada a la API. PutRecords Para ello, puede especificar el número de subprocesos simultáneos, las colas por subproceso y el número de registros que se van a almacenar en un búfer mediante la configuración de tareas ParallelApply*. Suponga, por ejemplo, que desea realizar una carga de CDC y aplicar 32 subprocesos en paralelo. También desea acceder a 64 colas por subproceso, con 50 registros almacenados por búfer.
nota
El soporte para el uso de la configuración de ParallelApply* tareas durante los puntos finales de destino de CDC a Amazon OpenSearch Service está disponible en AWS DMS las versiones 3.4.0 y posteriores.
Para promover el desempeño de los CDC, AWS DMS apoya estas configuraciones de tareas:
-
ParallelApplyThreads— Especifica la cantidad de subprocesos simultáneos que se AWS DMS utilizan durante una carga de CDC para enviar los registros de datos a un punto final de destino del OpenSearch servicio. El valor predeterminado es cero (0) y el valor máximo es 32. -
ParallelApplyBufferSize— Especifica el número máximo de registros que se deben almacenar en cada cola de búfer para que los subprocesos simultáneos se envíen a un punto final de destino del OpenSearch servicio durante una carga de CDC. El valor predeterminado es 100 y el máximo es 1000. Utilice esta opción cuandoParallelApplyThreadsespecifique más de un subproceso. -
ParallelApplyQueuesPerThread— Especifica el número de colas a las que accede cada subproceso para extraer los registros de datos de las colas y generar una carga por lotes para un punto final del servicio durante la CDC. OpenSearch
Cuando se utiliza la configuración de tareas ParallelApply*, el valor predeterminado de partition-key-type es el valor de primary-key de la tabla, no el valor de schema-name.table-name.
Migración de una tabla de base de datos relacional a un índice de servicios OpenSearch
AWS DMS admite la migración de datos a los tipos de datos escalares del OpenSearch Servicio. Al migrar de una base de datos relacional como Oracle o MySQL a OpenSearch Service, es posible que desee reestructurar la forma en que almacena estos datos.
AWS DMS admite los siguientes tipos de datos escalares OpenSearch de servicio:
-
Booleano
-
Date
-
Flotante
-
Int
-
Cadena
AWS DMS convierte los datos de tipo Date en tipo String. Puede especificar la asignación personalizada para interpretar estas fechas.
AWS DMS no admite la migración de tipos de datos LOB.
Requisitos previos para utilizar Amazon OpenSearch Service como objetivo para AWS Database Migration Service
Antes de empezar a trabajar con una base de datos de OpenSearch servicios como destino AWS DMS, asegúrese de crear un rol AWS Identity and Access Management (de IAM). Esta función debería permitir el AWS DMS acceso a los índices del OpenSearch servicio en el punto final de destino. El conjunto mínimo de permisos de acceso se muestra en la siguiente política de IAM.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "1",
"Effect": "Allow",
"Principal": {
"Service": "dms.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
El rol que utilice para la migración al OpenSearch Servicio debe tener los siguientes permisos.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "es:ESHttpDelete", "es:ESHttpGet", "es:ESHttpHead", "es:ESHttpPost", "es:ESHttpPut" ], "Resource": "arn:aws:es:region:account-id:domain/domain-name/*" } ] }
En el ejemplo anterior, regionaccount-iddomain-namearn:aws:es:us-west-2:123456789012:domain/my-es-domain.
Configuración del punto final cuando se utiliza el OpenSearch Servicio como destino para AWS DMS
Puede utilizar los ajustes de punto final para configurar la base de datos de destino del OpenSearch Servicio de forma similar a como se utilizan atributos de conexión adicionales. Los ajustes se especifican al crear el punto final de destino mediante la AWS DMS consola o mediante el create-endpoint comando del AWS CLI, con la sintaxis --elasticsearch-settings '{" JSON.EndpointSetting":
"value", ...}'
En la siguiente tabla se muestran los ajustes de punto final que puede utilizar con OpenSearch Service como destino.
| Nombre de atributo | Valores válidos | Valor predeterminado y descripción |
|---|---|---|
|
|
Un número entero positivo mayor que 0, pero menor que 100. |
10: para una tarea de carga completa, este atributo determina el umbral de errores permitidos antes de producirse un error en la tarea. Por ejemplo, suponga que hay 1 500 filas en el punto de enlace de origen y que este parámetro está establecido en 10. Entonces, la tarea falla si AWS DMS encuentra más de 150 errores (el 10 por ciento del recuento de filas) al escribir en el punto final de destino. |
|
|
Un número entero positivo mayor que 0. |
300: si se produce un error en el punto final de destino, AWS DMS vuelve a intentarlo durante ese número de segundos. De lo contrario, la tarea produce un error. |
Limitaciones al utilizar Amazon OpenSearch Service como objetivo para AWS Database Migration Service
Cuando se utiliza Amazon OpenSearch Service como objetivo, se aplican las siguientes limitaciones:
-
OpenSearch El servicio utiliza el mapeo dinámico (estimación automática) para determinar los tipos de datos que se utilizarán para los datos migrados.
-
OpenSearch El servicio almacena cada documento con un identificador único. A continuación, se muestra un ID de ejemplo.
"_id": "D359F8B537F1888BC71FE20B3D79EAE6674BE7ACA9B645B0279C7015F6FF19FD"Cada ID de documento tiene una longitud de 64 bytes, por lo que debe prever este requisito de almacenamiento. Por ejemplo, si migra 100 000 filas de una AWS DMS fuente, el índice de OpenSearch servicios resultante requiere almacenamiento de 6 400 000 bytes adicionales.
-
Con OpenSearch Service, no puede actualizar los atributos clave principales. Esta restricción es importante cuando se utiliza la replicación continua con captura de datos de cambio (CDC), ya que puede resultar en la presencia de datos no deseados en el destino. En el modo CDC, las claves principales se asignan a SHA256 valores, que tienen una longitud de 32 bytes. Se convierten en cadenas de 64 bytes legibles por humanos y se utilizan como documento de servicio. OpenSearch IDs
-
Si AWS DMS encuentra algún elemento que no se pueda migrar, escribe mensajes de error en Amazon CloudWatch Logs. Este comportamiento difiere del de otros puntos finales de AWS DMS destino, que escriben los errores en una tabla de excepciones.
-
AWS DMS no admite la conexión a un clúster de Amazon ES que tenga habilitado el control de acceso detallado con un usuario maestro y una contraseña.
-
AWS DMS no es compatible OpenSearch con el servicio sin servidor.
-
OpenSearch El servicio no admite la escritura de datos en índices preexistentes.
Tipos de datos de destino para Amazon OpenSearch Service
Cuando AWS DMS migra datos de bases de datos heterogéneas, el servicio mapea los tipos de datos de la base de datos de origen a tipos de datos intermedios, denominados tipos de AWS DMS datos. A continuación, el servicio asigna los tipos de datos intermedios a los tipos de datos de destino. La siguiente tabla muestra cada tipo de AWS DMS datos y el tipo de datos al que se asigna en OpenSearch Service.
| AWS DMS tipo de datos | OpenSearch tipo de datos de servicio |
|---|---|
|
Booleano |
booleano |
|
Fecha |
cadena |
|
Tiempo |
date |
|
Marca temporal |
date |
|
INT4 |
entero |
|
Real4 |
float |
|
UINT4 |
entero |
Para obtener información adicional sobre AWS DMS los tipos de datos, consulteTipos de datos de AWS Database Migration Service.
