Amazon S3를의 소스로 사용 AWS DMS

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

를 사용하여 Amazon S3 버킷에서 데이터를 마이그레이션할 수 있습니다 AWS DMS. 이렇게 하려면 하나 이상의 데이터 파일을 포함하는 Amazon S3 버킷에 액세스합니다. 해당 S3 버킷에서, 데이터와 데이터의 데이터베이스 테이블 간 매핑을 설명하는 JSON 파일을 이러한 파일 안에 포함합니다.

전체 로드가 시작되기 전에 Amazon S3 버킷에 소스 데이터 파일이 있어야 합니다. bucketName 파라미터를 사용하여 버킷 이름을 지정합니다.

소스 데이터 파일은 다음 형식일 수 있습니다.

쉼표로 구분된 값(.csv) 형식의 소스 데이터 파일의 경우 다음 이름 지정 규칙을 사용하여 이름을 지정합니다. 이 규칙에서 schemaName은 원본 스키마이고 tableName은 해당 스키마 내 테이블 이름입니다.

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

예를 들면 다음 Amazon S3 경로에서 mybucket에 데이터 파일이 있다고 가정합니다.

s3://mybucket/hr/employee

로드 시 소스 스키마 이름이 이고 소스 테이블 이름이 hr라고 AWS DMS 가정합니다employee.

bucketName (필수) 외에도 선택적으로 bucketFolder 파라미터를 제공하여가 Amazon S3 버킷에서 데이터 파일을 찾을 위치를 지정할 수 AWS DMS 있습니다. 이전 예제를 계속 진행sourcedata하면서를 bucketFolder로 설정하면는 다음 경로에서 데이터 파일을 AWS DMS 읽습니다.

s3://mybucket/sourcedata/hr/employee

추가 연결 속성을 사용하여 열 구분 기호, 행 구분 기호, null 값 지표 등 여러 파라미터를 지정할 수 있습니다. 자세한 내용은 의 소스로 Amazon S3에 대한 엔드포인트 설정 AWS DMS 단원을 참조하십시오.

다음과 같이 ExpectedBucketOwner Amazon S3 엔드포인트 설정을 사용하여 버킷 소유자를 지정하고 스나이핑을 방지할 수 있습니다. 그런 다음, 연결을 테스트하거나 마이그레이션을 수행하도록 요청하면 S3는 지정된 파라미터와 비교하여 버킷 소유자의 계정 ID를 확인합니다.

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

Amazon S3용 외부 테이블을의 소스로 정의 AWS DMS

데이터 파일 외에, 외부 테이블 정의도 제공해야 합니다. 외부 테이블 정의는가 Amazon S3의 데이터를 해석하는 방법을 설명하는 JSON 문서 AWS DMS 입니다. 이 문서의 최대 크기는 2 MB입니다. AWS DMS Management Console을 사용하여 소스 엔드포인트를 생성하는 경우 테이블 매핑 상자에 JSON을 직접 입력할 수 있습니다. AWS Command Line Interface (AWS CLI) 또는 AWS DMS API를 사용하여 마이그레이션을 수행하는 경우 JSON 파일을 생성하여 외부 테이블 정의를 지정할 수 있습니다.

다음을 포함하는 데이터 파일이 있다고 가정해 보겠습니다.

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

다음은 이 데이터에 대한 외부 테이블 정의 예제입니다.

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "employee",
            "TablePath": "hr/employee/",
            "TableOwner": "hr",
            "TableColumns": [
                {
                    "ColumnName": "Id",
                    "ColumnType": "INT8",
                    "ColumnNullable": "false",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "LastName",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                },
                {
                    "ColumnName": "FirstName",
                    "ColumnType": "STRING",
                    "ColumnLength": "30"
                },
                {
                    "ColumnName": "HireDate",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "OfficeLocation",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                }
            ],
            "TableColumnsTotal": "5"
        }
    ]
}

이 JSON 문서의 요소는 다음과 같습니다.

TableCount - 소스 테이블 수. 이 예제에는 테이블이 하나뿐입니다.

Tables - 소스 테이블당 하나의 JSON 맵으로 구성된 배열. 이 예제에는 맵이 하나뿐입니다. 각 맵은 다음 요소로 구성됩니다.

달리 지정하지 않으면 ColumnLength가 0이라고 AWS DMS 가정합니다.

NUMERIC 유형 열의 경우, 정밀도와 배율을 지정합니다. 정밀도는 숫자의 총 자릿수이며, 배율은 소수점 오른쪽의 자릿수입니다. 다음과 같이, 이를 위해 ColumnPrecision 및 ColumnScale 요소를 사용할 수 있습니다.

...
    {
        "ColumnName": "HourlyRate",
        "ColumnType": "NUMERIC",
        "ColumnPrecision": "5"
        "ColumnScale": "2"
    }
...

소수점 이하 초가 포함된 데이터가 있는 DATETIME 유형 열의 경우, 스케일을 지정합니다. 스케일은 소수점 이하 초의 자릿수이며, 범위는 0에서 9까지입니다. 다음과 같이 이를 위해 ColumnScale 요소를 사용할 수 있습니다.

...
{
      "ColumnName": "HireDate",
      "ColumnType": "DATETIME",
      "ColumnScale": "3"
}
...

달리 지정하지 않으면 AWS DMS ColumnScale가 0이고 분수 초를 잘라낸다고 가정합니다.

AWS DMS소스로 사용되는 Amazon S3에서 CDC 사용

가 전체 데이터 로드를 AWS DMS 수행한 후 선택적으로 데이터 변경 사항을 대상 엔드포인트에 복제할 수 있습니다. 이렇게 하려면 변경 데이터 캡처 파일(CDC 파일)을 Amazon S3 버킷에 업로드합니다.는 업로드할 때 이러한 CDC 파일을 AWS DMS 읽은 다음 대상 엔드포인트에 변경 사항을 적용합니다.

CDC 파일은 다음과 같이 지정됩니다.

CDC00001.csv
CDC00002.csv
CDC00003.csv
...

에서 파일을 찾을 AWS DMS 수 있는 위치를 표시하려면 cdcPath 파라미터를 지정합니다. 이전 예제를 계속하여, cdcPath를 changedata로 설정하는 경우 AWS DMS 는 다음 경로에서 CDC 파일을 읽습니다.

s3://mybucket/changedata

cdcPath를 changedata로, bucketFolder를 myFolder로 설정하면 AWS DMS 는 다음 경로에서 CDC 파일을 읽습니다.

s3://mybucket/myFolder/changedata

다음과 같이 CDC 파일의 레코드에는 형식 지정되어 있습니다.

다음은 employee 이름의 테이블에 대한 예제 CDC 파일입니다.

INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas

Amazon S3를의 소스로 사용할 때의 사전 조건 AWS DMS

Amazon S3를 소스로 사용하려면 AWS DMS소스 S3 버킷이 데이터를 마이그레이션하는 DMS 복제 인스턴스와 동일한 AWS 리전에 있어야 합니다. 또한, 마이그레이션에 사용하는 AWS 계정에 소스 버킷에 대한 읽기 액세스 권한이 있어야 합니다. AWS DMS 버전 3.4.7 이상의 경우 DMS는 VPC 엔드포인트 또는 퍼블릭 경로를 통해 소스 버킷에 액세스해야 합니다. VPC 엔드포인트에 대한 자세한 내용은 VPC 엔드포인트를 AWS DMS 소스 및 대상 엔드포인트로 구성 섹션을 참조하십시오.

마이그레이션 작업을 생성하는 데 사용되는 사용자 계정에 할당된 AWS Identity and Access Management (IAM) 역할에는 다음과 같은 권한 집합이 있어야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

Amazon S3 버킷에서 버전 관리가 활성화된 경우 마이그레이션 작업을 생성하는 데 사용되는 사용자 계정에 할당된 AWS Identity and Access Management (IAM) 역할에는 다음과 같은 권한 집합이 있어야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

Amazon S3를 소스로 사용할 때의 제한 사항 AWS DMS

Amazon S3를 소스로 사용할 때 적용되는 제한 사항은 다음과 같습니다.

소스로 사용하는 Amazon S3에서 Parquet 형식 파일을 사용할 때 적용되는 제한 사항은 다음과 같습니다.

의 소스로 Amazon S3에 대한 엔드포인트 설정 AWS DMS

추가 연결 속성을 사용하는 것과 비슷하게 엔드포인트 설정을 사용하여 Amazon S3 소스 데이터베이스를 구성할 수 있습니다. AWS DMS 콘솔을 사용하거나 --s3-settings '{"EndpointSetting": "value", ...}' JSON 구문과 AWS CLI함께의 create-endpoint 명령을 사용하여 소스 엔드포인트를 생성할 때 설정을 지정합니다.

Amazon S3를 소스로 하여 사용할 수 있는 엔드포인트 설정이 다음 표에 나와 있습니다.

Amazon S3의 소스 데이터 형식

Amazon S3를 소스로 사용하는 데이터 마이그레이션은 Amazon S3의 데이터를 AWS DMS 데이터 형식으로 매핑 AWS DMS 해야 합니다. 자세한 내용은 Amazon S3용 외부 테이블을의 소스로 정의 AWS DMS 단원을 참조하십시오.

대상에서 매핑된 데이터 형식을 확인하는 방법에 대한 정보는 사용 중인 대상 엔드포인트에 대한 섹션을 참조하십시오.

AWS DMS 데이터 유형에 대한 자세한 내용은 섹션을 참조하세요AWS Database Migration Service의 데이터 형식.

다음 AWS DMS 데이터 형식은 Amazon S3에서 소스로 사용됩니다.

Amazon S3의 Parquet 형식 파일을의 소스로 사용 AWS DMS

AWS DMS 버전 3.5.3 이상에서는 S3 버킷의 Parquet 형식 파일을 전체 로드 또는 CDC 복제의 소스로 사용할 수 있습니다.

DMS는 데이터를 S3 대상 엔드포인트로 마이그레이션하여 DMS가 생성하는 소스로 Parquet 형식 파일만 지원합니다. 파일 이름은 지원되는 형식이어야 합니다. 그렇지 않으면 DMS는 마이그레이션에 이를 포함하지 않습니다.

Parquet 형식의 소스 데이터 파일의 경우 다음 폴더 및 명명 규칙을 따라야 합니다.

schema/table1/LOAD00001.parquet
schema/table2/LOAD00002.parquet
schema/table2/LOAD00003.parquet

Parquet 형식의 CDC 데이터에 대한 소스 데이터 파일의 경우 다음 폴더 및 명명 규칙을 사용하여 이름을 지정하고 저장합니다.

schema/table/20230405-094615814.parquet
schema/table/20230405-094615853.parquet
schema/table/20230405-094615922.parquet

Parquet 형식의 파일에 액세스하려면 다음 엔드포인트 설정을 지정합니다.

S3 엔드포인트 설정에 대한 자세한 내용은 AWS Database Migration Service API 참조의 S3Settings를 참조하세요.

Parquet 형식 파일에 지원되는 데이터 유형

AWS DMS 는 Parquet 형식 파일에서 데이터를 마이그레이션할 때 다음과 같은 소스 및 대상 데이터 형식을 지원합니다. 마이그레이션하기 전에 대상 테이블에 올바른 데이터 유형의 열이 있는지 확인합니다.