기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Kinesis Data Streams를 대상으로 사용 AWS Database Migration Service

를 AWS DMS 사용하여 데이터를 Amazon Kinesis 데이터 스트림으로 마이그레이션할 수 있습니다. Amazon Kinesis 데이터 스트림은 Amazon Kinesis Data Streams 서비스의 일부입니다. Kinesis 데이터 스트림을 사용하여 대규모 데이터 레코드 스트림을 실시간으로 수집하고 처리할 수 있습니다.

Kinesis 데이터 스트림은 샤드로 구성됩니다. 샤드는 스트림에서 고유하게 식별되는 데이터 레코드 시퀀스입니다. Amazon Kinesis Data Streams 내 샤드에 관한 자세한 내용은 Amazon Kinesis Data Streams 개발자 안내서의 샤드를 참조하세요.

AWS Database Migration Service JSON을 사용하여 Kinesis 데이터 스트림에 레코드를 게시합니다. 변환 중 AWS DMS 는 각 레코드를 소스 데이터베이스로부터 JSON 형식 또는 JSON_UNFORMATTED 메시지 형식의 속성-값 페어로 직렬화합니다. JSON_UNFORMATTED 메시지 형식은 줄 바꿈 구분 기호가 있는 한 줄 JSON 문자열입니다. 이를 통해 Amazon Data Firehose는 Kinesis 데이터를 Amazon S3 대상으로 전송한 다음 Amazon Athena를 비롯한 다양한 쿼리 엔진을 사용하여 쿼리할 수 있습니다.

객체 매핑을 사용하여 데이터를 지원되는 데이터 소스에서 대상 스트림으로 마이그레이션합니다. 객체 매핑을 통해 데이터 레코드를 스트림에 구조화하는 방법을 결정합니다. 또한 각 테이블에 대한 파티션 키를 정의합니다. Kinesis Data Streams는 이러한 키를 사용해 데이터를 샤드로 그룹화합니다.

Kinesis Data Streams 대상 엔드포인트에서 테이블을 생성하면 AWS DMS 소스 데이터베이스 엔드포인트와 동일한 수의 테이블이 생성됩니다. AWS DMS 또한 여러 Kinesis Data Streams 파라미터 값을 설정합니다. 테이블 생성 비용은 마이그레이션할 테이블 수와 데이터 양에 따라 달라집니다.

다음 예제는 AWS CLI를 사용하여 실행한 예제 create-endpoint 명령과 함께 사용 중인 kinesis-settings 옵션을 보여줍니다.

aws dms create-endpoint --endpoint-identifier=$target_name --engine-name kinesis --endpoint-type target
--region us-east-1 --kinesis-settings ServiceAccessRoleArn=arn:aws:iam::333333333333:role/dms-kinesis-role,
StreamArn=arn:aws:kinesis:us-east-1:333333333333:stream/dms-kinesis-target-doc,MessageFormat=json-unformatted,
IncludeControlDetails=true,IncludeTransactionDetails=true,IncludePartitionValue=true,PartitionIncludeSchemaTable=true,
IncludeTableAlterOperations=true

ParallelApply* 작업 설정을 사용할 때 partition-key-type 기본값은 테이블의 schema-name.table-name가 아니라 primary-key입니다.

Kinesis 데이터 스트림 대상의 경우 이전 이미지를 사용하여 CDC 행의 원래 값 보기

Kinesis 같은 데이터 스트리밍 대상에 CDC 업데이트를 작성하는 경우 업데이트를 통한 변경 전에 소스 데이터베이스 행의 원래 값을 볼 수 있습니다. 이를 가능하게 하기 위해 소스 데이터베이스 엔진에서 제공하는 데이터를 기반으로 업데이트 이벤트 전 이미지를 AWS DMS 채웁니다.

소스 데이터베이스 엔진에 따라 이전 이미지에 대해 서로 다른 양의 정보를 제공합니다.

이전 이미징을 활성화하여 소스 데이터베이스의 원래 값을 AWS DMS 출력에 추가하려면 BeforeImageSettings 태스크 설정 또는 add-before-image-columns 파라미터를 사용합니다. 이 파라미터는 열 변환 규칙을 적용합니다.

BeforeImageSettings는 다음과 같이 소스 데이터베이스 시스템에서 수집된 값을 사용하여 모든 업데이트 작업에 새 JSON 속성을 추가합니다.

"BeforeImageSettings": {
    "EnableBeforeImage": boolean,
    "FieldName": string,  
    "ColumnFilter": pk-only (default) / non-lob / all (but only one)
}
        

BeforeImageSettings 옵션의 경우, 다음이 적용됩니다.

이전 이미지 변환 규칙 사용

작업 설정 대신 열 변환 규칙을 적용하는 add-before-image-columns 파라미터를 사용할 수 있습니다. 이 파라미터를 사용하면 Kinesis 같은 데이터 스트리밍 대상에서 CDC 중에 이전 이미징을 활성화할 수 있습니다.

변환 규칙에 add-before-image-columns를 사용하면 이전 이미지 결과를 보다 세밀하게 제어할 수 있습니다. 변환 규칙을 통해 객체 로케이터를 사용하여 규칙에 대해 선택한 테이블을 제어할 수 있습니다. 또한 변환 규칙을 함께 연결하여 테이블마다 서로 다른 규칙을 적용할 수 있습니다. 그런 다음, 다른 규칙을 사용하여 생성된 열을 조작할 수 있습니다.

해당 열에 대해 add-before-image-columns 파라미터가 있는 transformation 규칙 유형이 before-image-def 단원을 제공해야 합니다. 다음은 그 한 예입니다.

    {
      "rule-type": "transformation",
      …
      "rule-target": "column",
      "rule-action": "add-before-image-columns",
      "before-image-def":{
        "column-filter": one-of  (pk-only / non-lob / all),
        "column-prefix": string,
        "column-suffix": string,
      }
    }

column-prefix의 값은 열 이름 앞에 추가되며, column-prefix의 기본값은 BI_입니다. column-suffix의 값은 열 이름 뒤에 추가되며, 기본값은 비어 있습니다. column-prefix와 column-suffix를 모두 빈 문자열로 설정하지 마십시오.

column-filter에 대해 하나의 값을 선택합니다. 테이블 기본 키의 일부인 열만 추가하려면 pk-only를 선택하고, LOB 유형이 아닌 열만 추가하려면 non-lob를 선택하고, 이전 이미지 값이 있는 모든 열을 추가하려면 all을 선택합니다.

이전 이미지 변환 규칙의 예

다음 예의 변환 규칙은 대상에서 BI_emp_no라는 새 열을 추가합니다. UPDATE employees SET emp_no = 3 WHERE emp_no = 1; 같은 문은 BI_emp_no 필드를 1로 채웁니다. Amazon S3 대상에 CDC 업데이트를 작성할 때 BI_emp_no 열을 통해 업데이트된 원래 행을 알 수 있습니다.

{
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "%",
        "table-name": "%"
      },
      "rule-action": "include"
    },
    {
      "rule-type": "transformation",
      "rule-id": "2",
      "rule-name": "2",
      "rule-target": "column",
      "object-locator": {
        "schema-name": "%",
        "table-name": "employees"
      },
      "rule-action": "add-before-image-columns",
      "before-image-def": {
        "column-prefix": "BI_",
        "column-suffix": "",
        "column-filter": "pk-only"
      }
    }
  ]
}

add-before-image-columns 규칙 작업 사용에 관한 자세한 내용은 변환 규칙 및 작업 단원을 참조하십시오.

Kinesis 데이터 스트림을 대상으로 사용하기 위한 사전 요구 사항 AWS Database Migration Service

Kinesis 데이터 스트림을 대상으로 사용하기 위한 IAM 역할 AWS Database Migration Service

Kinesis 데이터 스트림을 대상으로 AWS DMS 설정하기 전에 먼저 IAM 역할을 생성해야 합니다. 이 역할은 마이그레이션되는 Kinesis 데이터 스트림에 대한 액세스 권한을 위임하고 권한을 부여할 수 있어야 합니다. AWS DMS 최소 액세스 권한 집합이 다음 IAM 정책에 나와 있습니다.

{
   "Version": "2012-10-17",
   "Statement": [
   {
     "Sid": "1",
     "Effect": "Allow",
     "Principal": {
        "Service": "dms.amazonaws.com"
     },
   "Action": "sts:AssumeRole"
   }
]
} 

        

Kinesis 데이터 스트림으로 마이그레이션할 때 사용하는 역할에는 다음 권한이 있어야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStream",
                "kinesis:PutRecord",
                "kinesis:PutRecords"
            ],
            "Resource": "arn:aws:kinesis:region:accountID:stream/streamName"
        }
    ]
}

Kinesis 데이터 스트림에 대한 타겟으로 액세스 AWS Database Migration Service

AWS DMS 버전 3.4.7 이상에서 Kinesis 엔드포인트에 연결하려면 다음 중 하나를 수행해야 합니다.

Kinesis Data Streams를 대상으로 사용할 때의 제한 사항 AWS Database Migration Service

Kinesis Data Streams를 대상으로 사용할 때에는 다음 제한 사항이 적용됩니다.

객체 매핑을 사용하여 데이터를 Kinesis 데이터 스트림으로 마이그레이션

AWS DMS 는 테이블 매핑 규칙을 사용하여 소스의 데이터를 대상 Kinesis 데이터 스트림으로 매핑합니다. 데이터를 대상 스트림에 매핑하기 위해 객체 매핑이라는 테이블 매핑 규칙 유형을 사용합니다. 객체 매핑을 사용하여 소스의 데이터 레코드를 Kinesis 데이터 스트림에 게시된 데이터 레코드로 매핑하는 방법을 지정합니다.

Kinesis 데이터 스트림에는 파티션 키 외에 별다른 사전 설정 구조가 없습니다. 객체 매핑 규칙에서 데이터 레코드의 partition-key-type에 사용할 수 있는 값은 schema-table, transaction-id, primary-key, constant 및 attribute-name입니다.

객체 매핑 규칙을 만들려면 rule-type을 object-mapping으로 지정합니다. 이 규칙은 사용할 객체 매핑의 유형을 지정합니다.

이 규칙의 구조는 다음과 같습니다.

{
    "rules": [
        {
            "rule-type": "object-mapping",
            "rule-id": "id",
            "rule-name": "name",
            "rule-action": "valid object-mapping rule action",
            "object-locator": {
                "schema-name": "case-sensitive schema name",
                "table-name": ""
            }
        }
    ]
}

AWS DMS 현재 파라미터에 대한 유일한 유효 값은 map-record-to-record 및 map-record-to-document 입니다. rule-action 이러한 설정은 exclude-columns 속성 목록의 일부로 제외되지 않은 값에 영향을 줍니다. map-record-to-record및 map-record-to-document 값은 이러한 레코드를 기본적으로 AWS DMS 처리하는 방법을 지정합니다. 이러한 값은 어떤 식으로든 속성 매핑에 영향을 미치지 않습니다.

관계형 데이터베이스에서 Kinesis 데이터 스트림으로 마이그레이션할 때 map-record-to-record를 사용합니다. 이러한 규칙 유형은 관계형 데이터베이스의 taskResourceId.schemaName.tableName 값을 Kinesis 데이터 스트림의 파티션 키로 사용하며 소스 데이터베이스의 각 열마다 속성을 하나씩 생성합니다.

map-record-to-record를 사용하는 경우 다음 사항에 유의하세요.

속성 이름 “_doc”를 사용하여 소스 열을 적절한 대상 스트림의 단일 플랫 문서에 넣는 데 map-record-to-document를 사용합니다. AWS DMS 는 “_doc”라는 소스의 단일 플랫 맵에 데이터를 배치합니다. 이 배치는 exclude-columns 속성 목록에 나열되지 않은 소스 테이블의 모든 열에 적용됩니다.

map-record-to-record를 이해하는 한 가지 방법은 작업 중일 때 관찰하는 것입니다. 이 예에서는 다음 구조와 데이터를 사용하여 관계형 데이터베이스 테이블 행에서 시작한다고 가정합니다.

이 정보를 Test라는 스키마에서 Kinesis 데이터 스트림으로 마이그레이션하려면 데이터를 대상 스트림으로 매핑하는 규칙을 생성해야 합니다. 다음 규칙은 그 매핑 과정을 보여 줍니다.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "rule-action": "include",
            "object-locator": {
                "schema-name": "Test",
                "table-name": "%"
            }
        },
        {
            "rule-type": "object-mapping",
            "rule-id": "2",
            "rule-name": "DefaultMapToKinesis",
            "rule-action": "map-record-to-record",
            "object-locator": {
                "schema-name": "Test",
                "table-name": "Customers"
            }
        }
    ]
}

다음은 Kinesis 데이터 스트림에 생성되는 레코드 형식을 예시합니다.

동일한 규칙을 사용하지만 rule-action 파라미터를 map-record-to-document로 변경하거나 특정 열을 제외한다고 가정해 보겠습니다. 다음 규칙은 그 매핑 과정을 보여 줍니다.

{
	"rules": [
	   {
			"rule-type": "selection",
			"rule-id": "1",
			"rule-name": "1",
			"rule-action": "include",
			"object-locator": {
				"schema-name": "Test",
				"table-name": "%"
			}
		},
		{
			"rule-type": "object-mapping",
			"rule-id": "2",
			"rule-name": "DefaultMapToKinesis",
			"rule-action": "map-record-to-document",
			"object-locator": {
				"schema-name": "Test",
				"table-name": "Customers"
			},
			"mapping-parameters": {
				"exclude-columns": [
					"homeaddress",
					"homephone",
					"workaddress",
					"workphone"
				]
			}
		}
	]
}                

이 경우, exclude-columns 파라미터에 나열되어 있지 않은 열인 FirstName, LastName, StoreId 및 DateOfBirth는 _doc로 매핑됩니다. 다음은 생성되는 레코드 형식을 보여줍니다.

       {
            "data":{
                "_doc":{
                    "FirstName": "Randy",
                    "LastName": "Marsh",
                    "StoreId":  "5",
                    "DateOfBirth": "02/29/1988"
                }
            }
        }
            

속성 매핑으로 날짜 재구성

속성 맵을 사용하여 날짜를 Kinesis 데이터 스트림으로 마이그레이션하는 동안 날짜를 재구성할 수 있습니다. 예를 들어 소스의 필드 몇 개를 대상의 단일 필드로 묶어야 하는 경우도 있을 것입니다. 다음의 속성 맵은 날짜를 재구성하는 방법을 보여줍니다.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "rule-action": "include",
            "object-locator": {
                "schema-name": "Test",
                "table-name": "%"
            }
        },
        {
            "rule-type": "object-mapping",
            "rule-id": "2",
            "rule-name": "TransformToKinesis",
            "rule-action": "map-record-to-record",
            "target-table-name": "CustomerData",
            "object-locator": {
                "schema-name": "Test",
                "table-name": "Customers"
            },
            "mapping-parameters": {
                "partition-key-type": "attribute-name",
                "partition-key-name": "CustomerName",
                "exclude-columns": [
                    "firstname",
                    "lastname",
                    "homeaddress",
                    "homephone",
                    "workaddress",
                    "workphone"
                ],
                "attribute-mappings": [
                    {
                        "target-attribute-name": "CustomerName",
                        "attribute-type": "scalar",
                        "attribute-sub-type": "string",
                        "value": "${lastname}, ${firstname}"
                    },
                    {
                        "target-attribute-name": "ContactDetails",
                        "attribute-type": "document",
                        "attribute-sub-type": "json",
                        "value": {
                            "Home": {
                                "Address": "${homeaddress}",
                                "Phone": "${homephone}"
                            },
                            "Work": {
                                "Address": "${workaddress}",
                                "Phone": "${workphone}"
                            }
                        }
                    }
                ]
            }
        }
    ]
}

partition-key에 상수 값을 설정하려면 partition-key 값을 지정합니다. 예를 들어 이 방법을 통해 모든 데이터를 단일 샤드에 저장할 수 있습니다. 다음 매핑은 이러한 접근 방식을 보여줍니다.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Test",
                "table-name": "%"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "object-mapping",
            "rule-id": "1",
            "rule-name": "TransformToKinesis",
            "rule-action": "map-record-to-document",
            "object-locator": {
                "schema-name": "Test",
                "table-name": "Customer"
            },
            "mapping-parameters": {
                "partition-key": {
                    "value": "ConstantPartitionKey"
                },
                "exclude-columns": [
                    "FirstName",
                    "LastName",
                    "HomeAddress",
                    "HomePhone",
                    "WorkAddress",
                    "WorkPhone"
                ],
                "attribute-mappings": [
                    {
                        "attribute-name": "CustomerName",
                        "value": "${FirstName},${LastName}"
                    },
                    {
                        "attribute-name": "ContactDetails",
                        "value": {
                            "Home": {
                                "Address": "${HomeAddress}",
                                "Phone": "${HomePhone}"
                            },
                            "Work": {
                                "Address": "${WorkAddress}",
                                "Phone": "${WorkPhone}"
                            }
                        }
                    },
                    {
                        "attribute-name": "DateOfBirth",
                        "value": "${DateOfBirth}"
                    }
                ]
            }
        }
    ]
}

Kinesis Data Streams에 대한 메시지 형식

JSON 출력은 단지 키-값 페어의 목록입니다. JSON_UNFORMATTED 메시지 형식은 줄 바꿈 구분 기호가 있는 한 줄 JSON 문자열입니다.

AWS DMS Kinesis Data Streams의 데이터를 더 쉽게 사용할 수 있도록 다음과 같은 예약된 필드를 제공합니다.