Utilizzo di MongoDB come origine per AWS DMS

Per informazioni sulle versioni di MongoDB supportate da AWS DMS come origine, consulta Fonti per AWS DMS.

Tieni presente quanto segue in relazione al supporto delle versioni di MongoDB:

Se non conosci MongoDB, è necessario avere familiarità con i seguenti importanti concetti del database MongoDB:

Quando si usa MongoDB come origine, AWS DMS supporta due modalità di migrazione: documento o tabella. È possibile specificare la modalità di migrazione da utilizzare quando si crea l'endpoint MongoDB o impostando il parametro Modalità metadati dalla console AWS DMS. Facoltativamente, puoi creare una seconda colonna denominata _id che funge da chiave primaria selezionando il pulsante con il segno di spunta per _id come colonna separata nel pannello di configurazione dell'endpoint.

La scelta della modalità di migrazione influenza il formato risultante dei dati di destinazione come descritto di seguito.

Autorizzazioni necessarie per l'uso di MongoDB come origine per AWS DMS

Per una migrazione AWS DMS con un'origine MongoDB, puoi creare un account utente con privilegi root o un utente con autorizzazioni solo per il database di cui eseguire la migrazione.

Il codice seguente crea un utente come account root.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  }
)

Per un'origine MongoDB 3.x, il codice seguente crea un utente con privilegi minimi sul database da migrare.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "local" }, "read"] 
})

Per un'origine MongoDB 4.x, il codice seguente crea un utente con privilegi minimi.

{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }

Ad esempio, crea il seguente ruolo nel database "admin".

use admin
db.createRole(
{
role: "changestreamrole",
privileges: [
{ resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] }
],
roles: []
}
)

Una volta creato il ruolo, crea un utente nel database da migrare.

> use test
> db.createUser( 
{ 
user: "dms-user12345",
pwd: "password",
roles: [ { role: "changestreamrole", db: "admin" }, "read"] 
})

Configurazione di un set di repliche MongoDB per CDC

Per usare la replica continua o la CDC con MongoDB, AWS DMS richiede l'accesso al log delle operazioni (oplog) di MongoDB. Per creare l'oplog, devi distribuire un set di repliche se non esiste già. Per ulteriori informazioni, consulta la documentazione di MongoDB.

Puoi utilizzare il CDC con il nodo primario o secondario di un set di repliche MongoDB come endpoint di origine.

Se prevedi di eseguire una migrazione in modalità documento, seleziona l'opzione _id as a separate column quando crei l'endpoint di MongoDB. Se selezioni questa opzione, viene creata una seconda colonna denominata _id che agisce come chiave primaria. Questa seconda colonna è necessaria ad AWS DMS per supportare operazioni DML (Data Manipulation Language).

Requisiti di sicurezza per l'uso di MongoDB come origine per AWS DMS

AWS DMS supporta i seguenti due metodi di autenticazione per MongoDB. I due metodi di autenticazione vengono utilizzati per crittografare la password, in modo che vengano utilizzati solo quando il parametro authType è impostato su PASSWORD.

I metodi autenticazione di MongoDB sono i seguenti:

Se non è specificato un metodo di autenticazione, AWS DMS usa il metodo predefinito per la versione dell'origine MongoDB.

Segmentazione delle raccolte MongoDB e migrazione in parallelo

Per migliorare le prestazioni di un'attività di migrazione, gli endpoint di origine MongoDB supportano due opzioni per il pieno carico parallelo nella mappatura delle tabelle.

In altre parole, è possibile migrare una raccolta in parallelo utilizzando la segmentazione automatica o la segmentazione degli intervalli con la mappatura delle tabelle per il pieno carico parallelo nelle impostazioni JSON. Con la segmentazione automatica, puoi specificare i criteri che AWS DMS utilizza per segmentare automaticamente l'origine per la migrazione in ogni thread. Con la segmentazione degli intervalli puoi indicare ad AWS DMS l'intervallo specifico di ogni segmento che DMS deve migrare in ogni thread. Per ulteriori informazioni su queste impostazioni, consulta Regole e operazioni delle impostazioni di tabella e raccolta.

Migrazione di un database MongoDB in parallelo utilizzando gli intervalli di segmentazione automatica

Puoi migrare i tuoi documenti in parallelo specificando i criteri che AWS DMS utilizza per partizionare (segmentare) automaticamente i dati per ogni thread. In particolare, si specifica il numero di documenti da migrare per thread. Utilizzando questo approccio, AWS DMS tenta di ottimizzare i limiti dei segmenti per ottenere le massime prestazioni per ogni thread.

È possibile specificare i criteri di segmentazione utilizzando le opzioni di impostazione della tabella riportate di seguito nella mappatura delle tabelle.

L'esempio seguente mostra una mappatura delle tabelle per la segmentazione automatica.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

La segmentazione automatica presenta le seguenti limitazioni. La migrazione di ogni segmento recupera separatamente il conteggio di raccolte e il valore _id minimo della raccolta. Quindi utilizza l'approccio per ignorare con impaginazione per calcolare il limite minimo del segmento.

Pertanto, assicurati che il valore _id minimo di ogni raccolta rimanga costante fino al calcolo di tutti i limiti del segmento della raccolta. La modifica del valore _id minimo di una raccolta durante il calcolo dei limiti del segmento può causare la perdita di dati o errori di riga duplicata.

Migrazione di un database MongoDB in parallelo utilizzando la segmentazione degli intervalli

Puoi migrare i documenti in parallelo specificando gli intervalli per ogni segmento di un thread. Utilizzando questo approccio, indichi ad AWS DMS i documenti specifici da migrare in ogni thread in base alla scelta degli intervalli di documenti per thread.

L'immagine seguente mostra una raccolta MongoDB con sette elementi e _id come chiave primaria.

Per suddividere la raccolta in tre segmenti specifici che AWS DMS dovrà migrare in parallelo, puoi aggiungere le regole di mappatura delle tabelle all'attività di migrazione. Questo approccio è mostrato nel seguente esempio JSON.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings

Questa definizione di mappatura delle tabelle divide la raccolta di origine in tre segmenti ed esegue la migrazione in parallelo. Di seguito sono riportati i limiti della segmentazione.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id > "5f805c97873173399a278d79" and num > 2 and _id  less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records)
Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)    
            

Una volta completata l'attività di migrazione, è possibile verificare nei log delle attività che le tabelle siano state caricate in parallelo, come illustrato nell'esempio seguente. Puoi anche verificare la clausola find MongoDB utilizzata per scaricare ogni segmento dalla tabella di origine.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

Attualmente, AWS DMS supporta i seguenti tipi di dati MongoDB come colonna delle chiavi del segmento:

Migrazione di più database quando si utilizza MongoDB come origine per AWS DMS

AWS DMS 3.4.5 e versioni successive supportano la migrazione di più database in un'unica attività per tutte le versioni di MongoDB supportate. Se desideri migrare più database, procedi nel modo seguente:

Ad esempio, puoi specificare il codice JSON seguente per migrare tre database MongoDB.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "3",
            "rule-name": "3",
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}                

Limitazioni relative all'utilizzo di MongoDB come origine per AWS DMS

Di seguito sono elencale le limitazioni quando si usa MongoDB come origine per AWS DMS:

Impostazioni di configurazione degli endpoint quando si utilizza MongoDB come origine per AWS DMS

Quando configuri l'endpoint di origine MongoDB, puoi specificare più impostazioni di configurazione dell'endpoint utilizzando la console AWS DMS.

La tabella seguente descrive le impostazioni di configurazione disponibili quando si utilizzano i database MongoDB come origine AWS DMS.

Se scegli Documento come Modalità metadati, sono disponibili diverse opzioni.

Se l'endpoint di destinazione è DocumentDB, assicurati di eseguire la migrazione in modalità documento. Inoltre, modifica l'endpoint di origine e seleziona l'opzione _id come colonna separata. Questo è un prerequisito obbligatorio se il carico di lavoro MongoDB di origine include transazioni.

Tipi di dati di origine per MongoDB

La migrazione dei dati che utilizza MongoDB come origine per AWS DMS supporta la maggior parte dei tipi di dati di MongoDB. Nella tabella seguente puoi trovare i tipi di dati di origine MongoDB supportati quando si utilizza AWS DMS e la mappatura predefinita dai tipi di dati su AWS DMS. Per ulteriori informazioni sui tipi di dati MongoDB, consulta la sezione relativa ai tipi BSON nella documentazione di MongoDB.

Per informazioni su come visualizzare il tipo di dati mappato nella destinazione, consulta la sezione relativa all'endpoint di destinazione che stai utilizzando.

Per ulteriori informazioni sui tipi di dati AWS DMS, consulta Tipi di dati per AWS Database Migration Service.