Usare MongoDB come fonte per AWS DMS

Per informazioni sulle versioni di MongoDB AWS DMS supportate come sorgente, consulta. Fonti per AWS DMS

Tieni presente quanto segue in relazione al supporto delle versioni di MongoDB:

Se non conosci MongoDB, è necessario avere familiarità con i seguenti importanti concetti del database MongoDB:

AWS DMS supporta due modalità di migrazione quando si utilizza MongoDB come sorgente, la modalità Document o la modalità Table. È possibile specificare la modalità di migrazione da utilizzare quando si crea l'endpoint MongoDB o impostando il parametro Modalità metadati dalla console AWS DMS . Facoltativamente, puoi creare una seconda colonna denominata _id che funge da chiave primaria selezionando il pulsante con il segno di spunta per _id come colonna separata nel pannello di configurazione dell'endpoint.

La scelta della modalità di migrazione influenza il formato risultante dei dati di destinazione come descritto di seguito.

Autorizzazioni necessarie quando si utilizza MongoDB come fonte per AWS DMS

Per una AWS DMS migrazione con una fonte MongoDB, puoi creare un account utente con privilegi di root o un utente con autorizzazioni solo sul database da migrare.

Il codice seguente crea un utente come account root.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  }
)

Per un'origine MongoDB 3.x, il codice seguente crea un utente con privilegi minimi sul database da migrare.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "local" }, "read"] 
})

Per un'origine MongoDB 4.x, il codice seguente crea un utente con privilegi minimi.

{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }

Ad esempio, crea il seguente ruolo nel database "admin".

use admin
db.createRole(
{
role: "changestreamrole",
privileges: [
{ resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] }
],
roles: []
}
)

Una volta creato il ruolo, crea un utente nel database da migrare.

> use test
> db.createUser( 
{ 
user: "dms-user12345",
pwd: "password",
roles: [ { role: "changestreamrole", db: "admin" }, "read"] 
})

Configurazione di un set di repliche MongoDB per CDC

Per utilizzare la replica continua o CDC con MongoDB, è necessario l' AWS DMS accesso al registro delle operazioni di MongoDB (oplog). Per creare l'oplog, devi distribuire un set di repliche se non esiste già. Per ulteriori informazioni, consulta la documentazione di MongoDB.

Puoi utilizzare il CDC con il nodo primario o secondario di un set di repliche MongoDB come endpoint di origine.

Se prevedi di eseguire una migrazione in modalità documento, seleziona l'opzione _id as a separate column quando crei l'endpoint di MongoDB. Se selezioni questa opzione, viene creata una seconda colonna denominata _id che agisce come chiave primaria. Questa seconda colonna è necessaria per supportare le operazioni DML (Data Manipulation AWS DMS Language).

Requisiti di sicurezza per l'utilizzo di MongoDB come fonte per AWS DMS

AWS DMS supporta due metodi di autenticazione per MongoDB. I due metodi di autenticazione vengono utilizzati per crittografare la password, in modo che vengano utilizzati solo quando il parametro authType è impostato su PASSWORD.

I metodi autenticazione di MongoDB sono i seguenti:

Se non viene specificato un metodo di autenticazione, AWS DMS utilizza il metodo predefinito per la versione del sorgente MongoDB.

Segmentazione delle raccolte MongoDB e migrazione in parallelo

Per migliorare le prestazioni di un'attività di migrazione, gli endpoint di origine MongoDB supportano due opzioni per il pieno carico parallelo nella mappatura delle tabelle.

In altre parole, è possibile migrare una raccolta in parallelo utilizzando la segmentazione automatica o la segmentazione degli intervalli con la mappatura delle tabelle per il pieno carico parallelo nelle impostazioni JSON. Con la segmentazione automatica, puoi specificare i criteri per AWS DMS segmentare automaticamente la fonte per la migrazione in ogni thread. Con la segmentazione degli intervalli, puoi indicare AWS DMS l'intervallo specifico di ogni segmento che DMS deve migrare in ogni thread. Per ulteriori informazioni su queste impostazioni, consulta Regole e operazioni delle impostazioni di tabella e raccolta.

Migrazione di un database MongoDB in parallelo utilizzando gli intervalli di segmentazione automatica

Puoi migrare i tuoi documenti in parallelo specificando i criteri che AWS DMS utilizza per partizionare (segmentare) automaticamente i dati per ogni thread. In particolare, si specifica il numero di documenti da migrare per thread. Utilizzando questo approccio, AWS DMS tenta di ottimizzare i confini dei segmenti per ottenere le massime prestazioni per thread.

È possibile specificare i criteri di segmentazione utilizzando le opzioni di impostazione della tabella riportate di seguito nella mappatura delle tabelle.

L'esempio seguente mostra una mappatura delle tabelle per la segmentazione automatica.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

La segmentazione automatica presenta le seguenti limitazioni. La migrazione di ogni segmento recupera separatamente il conteggio di raccolte e il valore _id minimo della raccolta. Quindi utilizza l'approccio per ignorare con impaginazione per calcolare il limite minimo del segmento.

Pertanto, assicurati che il valore _id minimo di ogni raccolta rimanga costante fino al calcolo di tutti i limiti del segmento della raccolta. La modifica del valore _id minimo di una raccolta durante il calcolo dei limiti del segmento può causare la perdita di dati o errori di riga duplicata.

Migrazione di un database MongoDB in parallelo utilizzando la segmentazione degli intervalli

Puoi migrare i documenti in parallelo specificando gli intervalli per ogni segmento di un thread. Utilizzando questo approccio, si dice AWS DMS ai documenti specifici di migrare in ogni thread in base alla scelta degli intervalli di documenti per thread.

L'immagine seguente mostra una raccolta MongoDB con sette elementi e _id come chiave primaria.

Per suddividere la raccolta in tre segmenti specifici AWS DMS da migrare in parallelo, puoi aggiungere regole di mappatura delle tabelle all'attività di migrazione. Questo approccio è mostrato nel seguente esempio JSON.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings

Questa definizione di mappatura delle tabelle divide la raccolta di origine in tre segmenti ed esegue la migrazione in parallelo. Di seguito sono riportati i limiti della segmentazione.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id > "5f805c97873173399a278d79" and num > 2 and _id  less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records)
Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)    
            

Una volta completata l'attività di migrazione, è possibile verificare nei log delle attività che le tabelle siano state caricate in parallelo, come illustrato nell'esempio seguente. Puoi anche verificare la clausola find MongoDB utilizzata per scaricare ogni segmento dalla tabella di origine.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

Attualmente, AWS DMS supporta i seguenti tipi di dati MongoDB come colonna chiave del segmento:

Migrazione di più database quando si utilizza MongoDB come fonte per AWS DMS

AWS DMS le versioni 3.4.5 e successive supportano la migrazione di più database in un'unica attività per tutte le versioni di MongoDB supportate. Se desideri migrare più database, procedi nel modo seguente:

Ad esempio, puoi specificare il codice JSON seguente per migrare tre database MongoDB.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "3",
            "rule-name": "3",
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}                

Limitazioni nell'utilizzo di MongoDB come fonte per AWS DMS

Di seguito sono riportate le limitazioni relative all'utilizzo di MongoDB come fonte per: AWS DMS

Impostazioni di configurazione degli endpoint quando si utilizza MongoDB come fonte per AWS DMS

Quando configuri il tuo endpoint sorgente MongoDB, puoi specificare più impostazioni di configurazione dell'endpoint utilizzando la console. AWS DMS

La tabella seguente descrive le impostazioni di configurazione disponibili quando si utilizzano i database MongoDB come origine. AWS DMS

Se scegli Documento come Modalità metadati, sono disponibili diverse opzioni.

Se l'endpoint di destinazione è DocumentDB, assicurati di eseguire la migrazione in modalità documento. Inoltre, modifica l'endpoint di origine e seleziona l'opzione _id come colonna separata. Questo è un prerequisito obbligatorio se il carico di lavoro MongoDB di origine include transazioni.

Tipi di dati di origine per MongoDB

La migrazione dei dati che utilizza MongoDB come fonte AWS DMS supporta la maggior parte dei tipi di dati MongoDB. Nella tabella seguente, puoi trovare i tipi di dati di origine MongoDB supportati durante l' AWS DMS utilizzo e la AWS DMS mappatura predefinita dei tipi di dati. Per ulteriori informazioni sui tipi di dati MongoDB, consulta la sezione relativa ai tipi BSON nella documentazione di MongoDB.

Per informazioni su come visualizzare il tipo di dati mappato nella destinazione, consulta la sezione relativa all'endpoint di destinazione che stai utilizzando.

Per ulteriori informazioni sui tipi di AWS DMS dati, vedere. Tipi di dati per AWS Database Migration Service