Menggunakan MongoDB sebagai sumber untuk AWS DMS

Untuk informasi tentang versi MongoDB AWS DMS yang mendukung sebagai sumber, lihat. Sumber untuk AWS DMS

Perhatikan hal berikut tentang dukungan versi MongoDB:

Jika Anda baru menggunakan MongoDB, ketahuilah konsep basis data MongoDB penting berikut:

AWS DMS mendukung dua mode migrasi saat menggunakan MongoDB sebagai sumber, Mode dokumen atau Mode tabel. Anda menentukan mode migrasi mana yang digunakan ketika Anda membuat titik akhir MongoDB atau dengan menetapkan parameter Mode metadata dari konsol AWS DMS Secara fakultatif, Anda dapat membuat kolom kedua bernama_id yang bertindak sebagai kunci utama dengan memilih tombol tanda centang untuk _id sebagai kolom terpisah di panel konfigurasi titik akhir.

Pilihan mode migrasi Anda memengaruhi format yang dihasilkan dari data target, seperti yang dijelaskan berikut.

Izin yang dibutuhkan saat menggunakan MongoDB sebagai sumber untuk AWS DMS

Untuk migrasi AWS DMS dengan sumber MongoDB, Anda dapat membuat baik akun pengguna dengan hak istimewa root, atau pengguna dengan izin hanya pada basis data untuk bermigrasi.

Kode berikut membuat pengguna menjadi akun root.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  }
)

Untuk sumber MongoDB 3.x, kode berikut menciptakan pengguna dengan hak izin minimal pada basis data yang akan bermigrasi.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "local" }, "read"] 
})

Untuk sumber 4.x MongoDB, kode berikut membuat pengguna dengan hak izin minimal.

{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }

Sebagai contoh, buatlah peran berikut dalam basis data “admin”.

use admin
db.createRole(
{
role: "changestreamrole",
privileges: [
{ resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] }
],
roles: []
}
)

Dan setelah peran itu dibuat, buatlah pengguna dalam basis data yang akan bermigrasi.

> use test
> db.createUser( 
{ 
user: "dms-user12345",
pwd: "password",
roles: [ { role: "changestreamrole", db: "admin" }, "read"] 
})

Mengonfigurasi rangkaian replika MongoDB yang untuk CDC

Untuk menggunakan replikasi yang sedang berlangsung atau CDC dengan MongoDB, AWS DMS membutuhkan akses ke operations log (oplog) MongoDB. Untuk membuat oplog, Anda perlu men-deploy rangkaian replika jika salah satu tidak ada. Untuk informasi selengkapnya tentang penggunaan, lihat dokumentasi MongoDB .

Anda dapat menggunakan CDC dengan node primer atau node sekunder dari rangkaian replika MongoDB sebagai titik akhir sumber.

Jika Anda berencana untuk melakukan migrasi mode dokumen, pilih opsi _id as a separate column ketika Anda membuat titik akhir MongoDB. Memilih opsi ini membuat kolom kedua bernama _id yang bertindak sebagai kunci utama. Kolom kedua ini diperlukan oleh AWS DMS untuk mendukung operasi data manipulation languange (DML).

Persyaratan keamanan saat menggunakan MongoDB sebagai sumber untuk AWS DMS

AWS DMS mendukung dua metode autentikasi untuk MongoDB. Dua metode autentikasi digunakan untuk mengenkripsi kata sandi, sehingga mereka hanya digunakan ketika parameter authType diatur menjadi PASSWORD.

Metode autentikasi MongoDB adalah sebagai berikut:

Jika metode autentikasi tidak ditentukan, AWS DMS menggunakan metode default untuk versi sumber MongoDB.

Melakukan segmen koleksi MongoDB dan bermigrasi secara paralel

Untuk meningkatkan kinerja tugas migrasi, titik akhir sumber MongoDB mendukung dua opsi untuk beban penuh paralel dalam pemetaan tabel.

Dengan kata lain, Anda dapat memigrasikan koleksi secara paralel dengan menggunakan autosegmentasi atau segmentasi rentang dengan pemetaan tabel untuk beban penuh paralel dalam pengaturan JSON. Dengan autosegmentasi, Anda dapat menentukan kriteria AWS DMS untuk secara otomatis mengelompokkan sumber Anda untuk migrasi di setiap utas. Dengan segmentasi rentang, Anda dapat memberi tahu AWS DMS rentang spesifik setiap segmen untuk DMS untuk bermigrasi di setiap utas. Untuk informasi selengkapnya tentang pengaturan, lihat Tabel dan koleksi pengaturan aturan dan operasi.

Migrasi database MongoDB secara paralel menggunakan rentang autosegmentasi

Anda dapat memigrasikan dokumen secara paralel dengan menentukan kriteria untuk secara otomatis AWS DMS mempartisi (segmen) data Anda untuk setiap utas. Secara khusus, Anda menentukan jumlah dokumen yang akan dimigrasikan per utas. Dengan menggunakan pendekatan ini, AWS DMS upaya untuk mengoptimalkan batas segmen untuk kinerja maksimum per utas.

Anda dapat menentukan kriteria segmentasi menggunakan opsi pengaturan tabel berikut dalam pemetaan tabel.

Contoh berikut menunjukkan pemetaan tabel untuk autosegmentasi.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

Autosegmentasi memiliki batasan berikut. Migrasi untuk setiap segmen mengambil jumlah koleksi dan minimum _id untuk koleksi secara terpisah. Kemudian menggunakan lompatan paginasi untuk menghitung batas minimum untuk segmen itu.

Oleh karena itu, pastikan bahwa _id nilai minimum untuk setiap koleksi tetap konstan sampai semua batas segmen dalam koleksi dihitung. Jika Anda mengubah _id nilai minimum untuk koleksi selama perhitungan batas segmennya, itu dapat menyebabkan kehilangan data atau kesalahan baris duplikat.

Migrasi database MongoDB secara paralel menggunakan segmentasi rentang

Anda dapat memigrasikan dokumen secara paralel dengan menentukan rentang untuk setiap segmen dalam utas. Dengan menggunakan pendekatan ini, Anda memberi tahu AWS DMS dokumen tertentu untuk bermigrasi di setiap utas sesuai dengan pilihan rentang dokumen per utas.

Gambar berikut menunjukkan koleksi MongoDB yang memiliki tujuh item, _id dan sebagai kunci utama.

Untuk membagi koleksi menjadi tiga segmen tertentu AWS DMS untuk bermigrasi secara paralel, Anda dapat menambahkan aturan pemetaan tabel ke tugas migrasi Anda. Pendekatan ini ditunjukkan dalam contoh JSON berikut.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings

Bahwa definisi pemetaan tabel membagi koleksi sumber menjadi tiga segmen dan bermigrasi secara paralel. Berikut ini adalah batas-batas segmentasi.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id > "5f805c97873173399a278d79" and num > 2 and _id  less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records)
Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)    
            

Setelah tugas migrasi selesai, Anda dapat melakukan verifikasi dari log tugas yang dimuat tabel secara paralel, seperti yang ditunjukkan dalam contoh berikut. Anda juga dapat memverifikasi klausa find MongoDB yang digunakan untuk membongkar setiap segmen dari tabel sumber.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

Saat ini, AWS DMS mendukung tipe data MongoDB berikut sebagai kolom kunci segmen:

Migrasi beberapa database saat menggunakan MongoDB sebagai sumber AWS DMS

AWS DMSversi 3.4.5 dan yang lebih tinggi mendukung migrasi beberapa database dalam satu tugas untuk semua versi MongoDB yang didukung. Jika Anda ingin memigrasi beberapa database, lakukan langkah-langkah berikut:

Misalnya, Anda dapat menentukan JSON berikut untuk memigrasikan tiga database MongoDB.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "3",
            "rule-name": "3",
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}                

Keterbatasan saat menggunakan MongoDB sebagai sumber untuk AWS DMS

Berikut ini adalah keterbatasan ketika menggunakan MongoDB sebagai sumber untuk AWS DMS:

Pengaturan konfigurasi titik akhir saat menggunakan MongoDB sebagai sumber untuk AWS DMS

Ketika Anda mengatur titik akhir sumber MongoDB Anda, Anda dapat menentukan beberapa pengaturan konfigurasi titik akhir menggunakan konsol AWS DMS.

Tabel berikut menjelaskan pengaturan konfigurasi yang tersedia ketika menggunakan basis data MongoDB sebagai sumber AWS DMS.

Jika Anda memilih Dokumen sebagai Mode metadata, opsi yang berbeda akan tersedia.

Jika titik akhir target adalah DocumentDB, pastikan untuk menjalankan migrasi dalam mode Dokumen Juga, ubah titik akhir sumber Anda dan pilih opsi _id sebagai kolom terpisah. Ini adalah prasyarat wajib jika beban kerja MongoDB sumber Anda melibatkan transaksi.

Jenis data sumber untuk MongoDB

Migrasi data yang menggunakan MongoDB sebagai sumber untuk AWS DMS mendukung sebagian besar jenis data MongoDB. Pada tabel berikut, Anda dapat menemukan jenis data sumber MongoDB yang didukung saat menggunakan AWS DMS dan pemetaan default dari jenis data AWS DMS. Untuk informasi lebih lanjut tentang jenis data MongoDB, lihatjenis BSON dalam dokumentasi MongoDB.

Untuk informasi tentang cara melihat jenis data yang dipetakan dalam target, lihat bagian titik akhir target yang Anda gunakan.

Untuk informasi tambahan tentang jenis data AWS DMS, lihat Tipe data untuk AWS Database Migration Service.