Utilizzo di Amazon DocumentDB (con compatibilità con MongoDB) come fonte per AWS DMS

Per informazioni sulle versioni di Amazon DocumentDB (compatibile con MongoDB) supportate da AWS DMS come origine, consulta Fonti per AWS DMS.

Con Amazon DocumentDB utilizzato come origine, puoi migrare i dati da un cluster Amazon DocumentDB a un altro cluster Amazon DocumentDB. Puoi anche migrare i dati da un cluster Amazon DocumentDB a uno degli altri endpoint di destinazione supportati da. AWS DMS

Se non hai familiarità con Amazon DocumentDB, tieni presente i seguenti concetti importanti sui database Amazon DocumentDB:

AWS DMS supporta due modalità di migrazione quando si utilizza Amazon DocumentDB come sorgente, modalità documento e modalità tabella. Specifichi la modalità di migrazione quando crei l'endpoint di origine Amazon DocumentDB nella AWS DMS console, utilizzando l'opzione Metadata mode o l'attributo di connessione extra. nestingLevel Di seguito è riportata la spiegazione di come la scelta della modalità di migrazione influenza il formato risultante dei dati di destinazione.

Impostazione delle autorizzazioni per utilizzare Amazon DocumentDB come origine

Quando si utilizza il codice sorgente Amazon DocumentDB per una AWS DMS migrazione, è possibile creare un account utente con privilegi di root. In alternativa puoi creare un utente con le autorizzazioni solo per il database da migrare.

Il codice seguente crea un utente come account root.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  })
            

Per Amazon DocumentDB 3.6, il codice seguente crea un utente con privilegi minimi sul database da migrare.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "db_name" }, "read"] 
})                        
             

Per Amazon DocumentDB 4.0 e versioni successive, AWS DMS utilizza un flusso di modifiche a livello di distribuzione. In questo caso, il codice seguente crea un utente con privilegi minimi.

db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "readAnyDatabase", db: "admin" }] 
})
            

Configurazione della CDC per un cluster Amazon DocumentDB

Per utilizzare la replica continua o CDC con Amazon DocumentDB AWS DMS , è necessario l'accesso ai flussi di modifica del cluster Amazon DocumentDB. Per una descrizione della sequenza temporale degli eventi di aggiornamento nelle raccolte e nei database del cluster, consulta Using change streams nella Guida per gli sviluppatori di Amazon DocumentDB.

Effettua l'autenticazione al cluster Amazon DocumentDB utilizzando la shell (interprete di comandi) MongoDB. Quindi, esegui il comando seguente per abilitare i flussi di modifica.

db.adminCommand({modifyChangeStreams: 1,
    database: "DB_NAME",
    collection: "", 
    enable: true});
            

Questo approccio consente l'uso del flusso di modifica per tutte le raccolte del database. Dopo aver abilitato i flussi di modifica, puoi creare un'attività di migrazione che migra i dati esistenti e allo stesso tempo replica le modifiche in corso. AWS DMS continua ad acquisire e applicare le modifiche anche dopo il caricamento di grandi quantità di dati. I database di origine e di destinazione vengono sincronizzati con tempi di inattività per la migrazione quasi nulli.

Connessione ad Amazon DocumentDB tramite TLS

Per impostazione predefinita, un nuovo cluster Amazon DocumentDB creato accetta solo connessioni protette con Transport Layer Security (TLS). Quando TLS è abilitato, ogni connessione ad Amazon DocumentDB richiede una chiave pubblica.

Puoi recuperare la chiave pubblica per Amazon DocumentDB scaricando il rds-combined-ca-bundle.pem file da AWS un bucket Amazon S3 ospitato. Per ulteriori informazioni sul download di questo file, consulta Encrypting connections using TLS nella Guida per gli sviluppatori di Amazon DocumentDB.

Dopo aver scaricato il rds-combined-ca-bundle.pem file, puoi importare la chiave pubblica in cui è contenuto. AWS DMS Di seguito viene descritto come fare.

L'esempio AWS CLI seguente utilizza il AWS DMS import-certificate comando per importare il rds-combined-ca-bundle.pem file della chiave pubblica.

aws dms import-certificate \
    --certificate-identifier docdb-cert \
    --certificate-pem file://./rds-combined-ca-bundle.pem             
            

Creazione di un endpoint di origine Amazon DocumentDB

Puoi creare un endpoint di origine Amazon DocumentDB utilizzando la console o la AWS CLI. Usa la seguente procedura con la console.

Utilizza la seguente procedura con la CLI.

Segmentazione delle raccolte Amazon DocumentDB e migrazione in parallelo

Per migliorare le prestazioni di un'attività di migrazione, gli endpoint di origine Amazon DocumentDB supportano due opzioni della funzionalità di caricamento parallelo completo nella mappatura delle tabelle. In altre parole, è possibile migrare una raccolta in parallelo utilizzando le opzioni di segmentazione automatica o segmentazione degli intervalli della mappatura delle tabelle per il caricamento parallelo completo nelle impostazioni JSON. Le opzioni di segmentazione automatica consentono di specificare i criteri per AWS DMS segmentare automaticamente la fonte per la migrazione in ogni thread. Le opzioni di segmentazione degli intervalli consentono di indicare AWS DMS l'intervallo specifico di ciascun segmento da migrare da DMS in ogni thread. Per ulteriori informazioni su queste impostazioni, consulta Regole e operazioni delle impostazioni di tabella e raccolta.

Migrazione di un database Amazon DocumentDB in parallelo utilizzando intervalli di segmentazione automatica

Puoi migrare i tuoi documenti in parallelo specificando i criteri per partizionare ( AWS DMS segmentare) automaticamente i dati per ogni thread, in particolare il numero di documenti da migrare per thread. Utilizzando questo approccio, AWS DMS tenta di ottimizzare i limiti dei segmenti per ottenere le massime prestazioni per ogni thread.

È possibile specificare i criteri di segmentazione utilizzando le opzioni delle impostazioni della tabella riportate di seguito nella mappatura delle tabelle:

L'esempio seguente mostra una mappatura delle tabelle per la segmentazione automatica.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

La segmentazione automatica presenta le seguenti limitazioni. La migrazione di ogni segmento recupera separatamente il conteggio di raccolte e il valore _id minimo della raccolta. Quindi utilizza l'approccio per ignorare con impaginazione per calcolare il limite minimo del segmento. Pertanto, assicurati che il valore _id minimo di ogni raccolta rimanga costante fino al calcolo di tutti i limiti del segmento della raccolta. La modifica del valore _id minimo di una raccolta durante il calcolo dei limiti del segmento può causare la perdita di dati o errori di riga duplicata.

Migrazione di un database Amazon DocumentDB in parallelo utilizzando intervalli di segmenti specifici

L'esempio seguente mostra una raccolta Amazon DocumentDB con sette elementi e _id come chiave primaria.

Per dividere la raccolta in tre segmenti ed eseguire la migrazione in parallelo, puoi aggiungere all'attività di migrazione le regole di mappatura delle tabelle, come mostrato nel seguente esempio JSON.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings
           

Questa definizione di mappatura delle tabelle divide la raccolta di origine in tre segmenti ed esegue la migrazione in parallelo. Di seguito sono riportati i limiti della segmentazione.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 and not in (_id less-than-or-equal-to  "5f805c97873173399a278d79" and num less-than-or-equal-to 2) (3 records)
Data not in (_id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5) (2 records)
            

Una volta completata l'attività di migrazione, è possibile verificare nei log delle attività che le tabelle siano state caricate in parallelo, come illustrato nell'esempio seguente. È anche possibile verificare la clausola find Amazon DocumentDB utilizzata per scaricare ogni segmento dalla tabella di origine.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

Attualmente, AWS DMS supporta i seguenti tipi di dati Amazon DocumentDB come colonna chiave del segmento:

Migrazione di più database quando si utilizza Amazon DocumentDB come origine per AWS DMS

AWS DMS le versioni 3.4.5 e successive supportano la migrazione di più database in un'unica attività solo per Amazon DocumentDB versioni 4.0 e successive. Se desideri migrare più database, procedi come indicato di seguito:

Ad esempio, puoi specificare il codice JSON seguente per migrare tre database Amazon DocumentDB.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include"
        }
    ]
}

Limitazioni nell'utilizzo di Amazon DocumentDB come fonte per AWS DMS

Di seguito sono riportate le limitazioni relative all'utilizzo di Amazon DocumentDB come fonte per: AWS DMS

Utilizzo delle impostazioni degli endpoint con Amazon DocumentDB come origine

È possibile utilizzare le impostazioni degli endpoint per configurare il database di origine Amazon DocumentDB in modo simile a come si usano gli attributi aggiuntivi di connessione. Le impostazioni vengono specificate quando si crea l'endpoint di origine utilizzando la AWS DMS console o utilizzando il create-endpoint comando in AWS CLI, con la sintassi JSON. --doc-db-settings '{"EndpointSetting": "value", ...}'

La tabella seguente mostra le impostazioni degli endpoint che puoi utilizzare con Amazon DocumentDB come origine.

Tipi di dati di origine per Amazon DocumentDB

Nella tabella seguente sono elencati i tipi di dati di origine di Amazon DocumentDB supportati per l'uso in AWS DMS. In questa tabella puoi anche trovare la mappatura predefinita AWS DMS dei tipi di dati. Per ulteriori informazioni sui tipi di dati, consulta BSON types nella documentazione di MongoDB.

Per informazioni su come visualizzare il tipo di dati mappato nella destinazione, consulta la sezione relativa all'endpoint di destinazione che stai utilizzando.

Per ulteriori informazioni sui tipi di AWS DMS dati, vedereTipi di dati per AWS Database Migration Service.