Amazon DocumentDB (MongoDB 호환) 를 소스로 사용 AWS DMS

AWS DMS 가 소스로 지원하는 Amazon DocumentDB(MongoDB 호환) 버전에 대한 자세한 내용은 에 대한 소스 AWS DMS 섹션을 참조하세요.

Amazon DocumentDB를 소스로 사용하여 한 Amazon DocumentDB 클러스터에서 다른 Amazon DocumentDB 클러스터로 데이터를 마이그레이션할 수 있습니다. Amazon DocumentDB 클러스터의 데이터를 에서 지원하는 다른 대상 엔드포인트 중 하나로 마이그레이션할 수도 있습니다. AWS DMS

Amazon DocumentDB를 처음 사용하는 경우, Amazon DocumentDB 데이터베이스의 다음 중요 개념을 알고 있어야 합니다.

AWS DMS Amazon DocumentDB를 소스로 사용할 때 두 가지 마이그레이션 모드, 즉 문서 모드와 테이블 모드를 지원합니다. 콘솔에서 AWS DMS Amazon DocumentDB 소스 엔드포인트를 생성할 때 메타데이터 모드 옵션 또는 추가 연결 속성을 사용하여 마이그레이션 모드를 지정합니다. nestingLevel 마이그레이션 모드 선택이 대상 데이터의 형식에 결과적으로 어떤 영향을 미치는지 아래에서 설명합니다.

Amazon DocumentDB를 소스로 사용하기 위한 권한 설정

Amazon DocumentDB 소스를 사용하여 AWS DMS 마이그레이션하는 경우 루트 권한이 있는 사용자 계정을 생성할 수 있습니다. 또는 마이그레이션할 데이터베이스에 대한 권한만 있는 사용자를 생성할 수도 있습니다.

다음 코드는 루트 계정으로 사용자를 생성합니다.

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  })
            

Amazon DocumentDB 3.6의 경우, 다음 코드는 마이그레이션할 데이터베이스에 대한 최소 권한이 있는 사용자를 생성합니다.

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "db_name" }, "read"] 
})                        
             

Amazon DocumentDB 4.0 이상의 경우 배포 전반의 변경 AWS DMS 스트림을 사용합니다. 여기서 다음 코드는 최소 권한을 가진 사용자를 생성합니다.

db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "readAnyDatabase", db: "admin" }] 
})
            

Amazon DocumentDB 클러스터를 위한 CDC 구성

Amazon DocumentDB에서 지속적인 복제 또는 CDC를 사용하려면 Amazon AWS DMS DocumentDB 클러스터의 변경 스트림에 액세스할 수 있어야 합니다. 클러스터 모음 및 데이터베이스의 시간순 업데이트 이벤트 시퀀스에 대한 설명은 Amazon DocumentDB 개발자 안내서의 변경 스트림 사용을 참조하세요.

MongoDB 쉘을 사용하여 Amazon DocumentDB 클러스터에 인증합니다. 그러고 나서 다음 명령을 실행하여 변경 스트림을 활성화합니다.

db.adminCommand({modifyChangeStreams: 1,
    database: "DB_NAME",
    collection: "", 
    enable: true});
            

이 방식을 사용하면 데이터베이스의 모든 모음에 변경 스트림을 활성화할 수 있습니다. 변경 스트림이 활성화되면 기존 데이터를 마이그레이션하는 동시에 진행 중인 변경 사항을 복제하는 마이그레이션 작업을 생성할 수 있습니다. AWS DMS 대량 데이터가 로드된 후에도 변경 사항을 계속 캡처하고 적용합니다. 결국 소스 데이터베이스와 대상 데이터베이스가 동기화되어 마이그레이션의 가동 중지 시간이 최소화됩니다.

TLS를 사용하여 Amazon DocumentDB에 연결

기본적으로 새로 생성한 Amazon DocumentDB 클러스터는 전송 계층 보안(TLS)을 사용한 보안 연결만 허용합니다. TLS가 활성화되면 Amazon DocumentDB에 대한 모든 연결에 퍼블릭 키가 필요합니다.

AWS호스팅된 Amazon S3 버킷에서 rds-combined-ca-bundle.pem 파일을 다운로드하여 Amazon DocumentDB의 퍼블릭 키를 검색할 수 있습니다. 이 파일을 다운로드하는 방법에 관한 자세한 내용은 Amazon DocumentDB 개발자 안내서의 TLS를 사용한 연결 암호화를 참조하세요.

파일을 다운로드한 후 rds-combined-ca-bundle.pem 파일에 포함된 퍼블릭 키를 가져올 수 있습니다. AWS DMS다음 단계에서 그 방법을 설명합니다.

AWS CLI 다음 예제에서는 AWS DMS import-certificate 명령을 사용하여 공개 키 rds-combined-ca-bundle.pem 파일을 가져옵니다.

aws dms import-certificate \
    --certificate-identifier docdb-cert \
    --certificate-pem file://./rds-combined-ca-bundle.pem             
            

Amazon DocumentDB 소스 엔드포인트 생성

콘솔 또는 AWS CLI를 사용하여 Amazon DocumentDB 소스 엔드포인트를 생성할 수 있습니다. 콘솔에서는 다음 절차를 사용하세요.

CLI에서는 다음 절차를 사용하세요.

Amazon DocumentDB 모음을 분할하고 병렬로 마이그레이션

마이그레이션 작업의 성능을 개선하기 위해 Amazon DocumentDB 소스 엔드포인트는 테이블 매핑에서 병렬 전체 로드 기능 옵션 두 가지를 지원합니다. 다시 말해 JSON 설정에서 병렬 전체 로드를 위해 테이블 매핑에서 자동 분할 옵션이나 범위 분할 옵션을 사용하여 모음을 병렬로 마이그레이션할 수 있습니다. 자동 세분화 옵션을 사용하면 각 스레드에서 마이그레이션할 소스를 자동으로 세그먼트화하는 기준을 지정할 수 있습니다. AWS DMS 범위 세분화 옵션을 사용하면 각 스레드에서 AWS DMS DMS가 마이그레이션할 각 세그먼트의 특정 범위를 지정할 수 있습니다. 이러한 설정에 대한 자세한 내용은 테이블 및 컬렉션 설정 규칙과 작업 섹션을 참조하세요.

자동 분할 범위를 사용하여 Amazon DocumentDB 데이터베이스를 병렬로 마이그레이션

각 스레드의 데이터를 자동으로 분할 (세그먼트) AWS DMS 하는 기준, 특히 스레드당 마이그레이션할 문서 수를 지정하여 문서를 병렬로 마이그레이션할 수 있습니다. AWS DMS 는 이 방식을 사용하여 스레드당 성능을 극대화하는 세그먼트 경계 최적화를 시도합니다.

테이블 매핑에서 다음 테이블 설정 옵션을 사용하여 분할 기준을 지정할 수 있습니다.

다음 예제는 자동 분할을 위한 테이블 매핑을 보여 줍니다.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

자동 분할에는 다음과 같은 제한이 있습니다. 각 세그먼트의 마이그레이션은 모음 개수와 모음의 최소 _id를 개별적으로 가져옵니다. 그런 다음 페이지 매김 건너뛰기를 사용하여 해당 세그먼트의 최소 경계를 계산합니다. 따라서 모음의 모든 세그먼트 경계를 계산할 때까지 각 모음의 최소 _id 값이 일정하게 유지되어야 합니다. 세그먼트 경계를 계산하는 동안 모음의 최소 _id 값을 변경하면 데이터가 손실되거나 행 중복 오류가 발생할 수 있습니다.

특정 세그먼트 범위를 사용하여 Amazon DocumentDB 데이터베이스를 병렬로 마이그레이션

다음 예제에 나온 Amazon DocumentDB 모음에는 항목 7개와 프라이머리 키 _id가 있습니다.

모음을 세 개의 세그먼트로 분할하고 병렬로 마이그레이션하려면 다음 JSON 예제와 같이 마이그레이션 작업에 테이블 매핑 규칙을 추가하면 됩니다.

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings
           

이 테이블 매핑 정의는 소스 모음을 세 개의 세그먼트로 분할하고 병렬로 마이그레이션합니다. 분할 경계는 다음과 같습니다.

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 and not in (_id less-than-or-equal-to  "5f805c97873173399a278d79" and num less-than-or-equal-to 2) (3 records)
Data not in (_id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5) (2 records)
            

마이그레이션 작업이 완료되면 다음 예제와 같이 작업 로그에서 테이블이 병렬로 로드된 것을 확인할 수 있습니다. 소스 테이블에서 각 세그먼트를 언로드하는 데 사용된 Amazon DocumentDB find 절도 확인할 수 있습니다.

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

현재, AWS DMS 는 다음과 같은 Amazon DocumentDB 데이터 유형을 세그먼트 키 열로 지원합니다.

Amazon DocumentDB를 원본으로 사용할 때 여러 데이터베이스를 마이그레이션하는 경우 AWS DMS

AWS DMS 버전 3.4.5 이상에서는 Amazon DocumentDB 버전 4.0 이상에서만 단일 작업으로 여러 데이터베이스를 마이그레이션할 수 있습니다. 여러 데이터베이스를 마이그레이션하려면 다음을 수행하세요.

예를 들면 다음과 같이 JSON을 지정하여 Amazon DocumentDB 데이터베이스 3개를 마이그레이션할 수 있습니다.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include"
        }
    ]
}

Amazon DocumentDB를 원본으로 사용할 때의 제한 사항 AWS DMS

Amazon DocumentDB를 원본으로 사용할 때의 제한 사항은 다음과 같습니다. AWS DMS

Amazon DocumentDB를 소스로 하는 엔드포인트 설정 사용

추가 연결 속성을 사용하는 것과 비슷하게 엔드포인트 설정을 사용하여 Amazon DocumentDB 소스 데이터베이스를 구성할 수 있습니다. AWS DMS 콘솔을 사용하거나 에서 JSON 구문을 사용하여 create-endpoint 명령을 사용하여 원본 엔드포인트를 생성할 때 설정을 지정합니다. AWS CLI--doc-db-settings '{"EndpointSetting": "value", ...}'

Amazon DocumentDB를 소스로 하여 사용할 수 있는 엔드포인트 설정이 다음 표에 나와 있습니다.

Amazon DocumentDB의 소스 데이터 형식

다음 표에서 AWS DMS사용 시 지원되는 Amazon DocumentDB 소스 데이터 형식을 찾을 수 있습니다. 이 표의 AWS DMS 데이터 유형에서 기본 매핑을 찾을 수도 있습니다. 데이터 형식에 대한 자세한 내용은 MongoDB 설명서의 BSON Types를 참조하세요.

대상에서 매핑된 데이터 형식을 확인하는 방법에 대한 정보는 사용 중인 대상 엔드포인트에 대한 섹션을 참조하십시오.

AWS DMS 데이터 유형에 대한 추가 정보는 을 참조하십시오AWS Database Migration Service에서 사용되는 데이터 형식.