Usando um cluster OpenSearch do Amazon Service como destino para AWS Database Migration Service

• Para uma carga máxima de dados, considere a quantidade total de dados a ser migrada e a velocidade da transferência.

• Para replicar alterações contínuas, considere a frequência das atualizações e os requisitos de latência para todo o processo.

Configurações da tarefa de carga máxima com vários threads

Para ajudar a aumentar a velocidade da transferência, AWS DMS oferece suporte a uma carga completa de vários segmentos para um cluster de destino do OpenSearch Service. AWS DMS suporta esse multithreading com configurações de tarefas que incluem o seguinte:

• MaxFullLoadSubTasks: utilize esta opção para indicar o número máximo de tabelas de origem a serem carregadas em paralelo. O DMS carrega cada tabela em seu índice de destino OpenSearch de serviço correspondente usando uma subtarefa dedicada. O padrão é 8; o valor máximo é 49.

• ParallelLoadThreads— Use essa opção para especificar o número de segmentos AWS DMS usados para carregar cada tabela em seu índice OpenSearch de destino de serviço. O valor máximo para uma meta OpenSearch de serviço é 32. Você pode solicitar o aumento desse limite máximo.

  nota

  Se você não alterar ParallelLoadThreads de seu padrão (0), o AWS DMS transferirá um único registro por vez. Essa abordagem coloca uma carga indevida em seu cluster OpenSearch de serviços. Defina essa opção como 1 ou mais.

• ParallelLoadBufferSize— Use essa opção para especificar o número máximo de registros a serem armazenados no buffer que os threads de carregamento paralelo usam para carregar dados no destino do OpenSearch serviço. O valor padrão é 50. Valor máximo de 1.000. Use essa configuração com ParallelLoadThreads; ParallelLoadBufferSize é válido somente quando há mais de um thread.

Configurações da tarefa de carga de CDC multithread

Você pode melhorar o desempenho da captura de dados de alteração (CDC) para um cluster OpenSearch de destino de serviço usando configurações de tarefas para modificar o comportamento da chamada de PutRecords API. Para fazer isso, especifique o número de threads simultâneos, filas por thread e o número de registros a serem armazenados em um buffer usando as configurações da tarefa ParallelApply*. Por exemplo, suponha que você queira executar uma carga de CDC e aplicar 32 threads em paralelo. Você também quer acessar 64 filas por thread, com 50 registros armazenados por buffer.

Para promover o desempenho do CDC, AWS DMS oferece suporte às seguintes configurações de tarefas:

• ParallelApplyThreads— Especifica o número de threads simultâneos que são AWS DMS usados durante um carregamento de CDC para enviar registros de dados para um endpoint de destino do OpenSearch Serviço. O valor padrão é zero (0) e o valor máximo é 32.

• ParallelApplyBufferSize— Especifica o número máximo de registros a serem armazenados em cada fila de buffer para que threads simultâneos sejam enviados a um endpoint de destino de OpenSearch serviço durante um carregamento de CDC. O valor padrão é 100 e o valor máximo é 1.000. Use essa opção quando ParallelApplyThreads especificar mais de um thread.

• ParallelApplyQueuesPerThread— Especifica o número de filas que cada thread acessa para retirar registros de dados das filas e gerar uma carga em lote para um endpoint de OpenSearch serviço durante o CDC.

• Booleano

• Data

• Float

• Int

• String

• OpenSearch O serviço usa mapeamento dinâmico (estimativa automática) para determinar os tipos de dados a serem usados nos dados migrados.

• OpenSearch O serviço armazena cada documento com uma ID exclusiva. Veja um exemplo a seguir:

  "_id": "D359F8B537F1888BC71FE20B3D79EAE6674BE7ACA9B645B0279C7015F6FF19FD"

  Cada ID de documento tem 64 bytes de comprimento; lembre-se de que você precisará desse espaço para armazenamento. Por exemplo, se você migrar 100.000 linhas de uma AWS DMS fonte, o índice de OpenSearch serviço resultante exigirá armazenamento para mais 6.400.000 bytes.

• Com o OpenSearch Service, você não pode fazer atualizações nos atributos da chave primária. Essa restrição é importante quando se usa a replicação contínua com captura de dados de alterações (CDC), pois ela pode gerar dados indesejados no destino. No modo CDC, as chaves primárias são mapeadas para os valores de SHA256, que têm 32 bytes de comprimento. Eles são convertidos em cadeias de caracteres de 64 bytes legíveis por humanos e são usados como IDs de documentos de serviço. OpenSearch

• Se AWS DMS encontrar algum item que não possa ser migrado, ele grava mensagens de erro no Amazon CloudWatch Logs. Esse comportamento difere do de outros endpoints de AWS DMS destino, que gravam erros em uma tabela de exceções.

• AWS DMS não oferece suporte à conexão com um cluster do Amazon ES que tenha o controle de Fine-grained acesso habilitado com usuário principal e senha.

• AWS DMS não oferece suporte ao OpenSearch Service serverless.

• A partir da AWS DMS versão 3.1, o OpenSearch Service oferece suporte à gravação de dados em índices preexistentes.

• A configuração da tarefa de replicação não TargetTablePrepMode:TRUNCATE_BEFORE_LOAD é suportada para uso com um endpoint de OpenSearch destino.

• Ao migrar dados para o Amazon Elasticsearch usando AWS DMS, os dados de origem devem ter uma chave primária ou uma coluna de identificador exclusivo. Se os dados de origem não tiverem uma chave primária ou um identificador exclusivo, será necessário definir um usando a regra de transformação define-primary-key.