翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS DMS のソースとしての Amazon RS3 の使用

AWS DMS を使用して Amazon S3バケットからデータを移行できます。これを行うには、1 つ以上のデータファイルを含む Amazon S3 バケットへのアクセスを提供します。その S3 バケットに、データおよびそれらのファイルのデータのデータベーステーブル間のマッピングを記述する JSON ファイルを含めます。

全ロードのスタート前に、ソース データ ファイルが Amazon S3 バケットに存在している必要があります。バケット名は、bucketName パラメータを使用して指定します。

ソースデータファイルは、次の形式で表すことができます。

カンマ区切り値 (.csv) 形式のソースデータファイルには、次の命名規則を使用して名前を付けます。この規則では、schemaName がソーススキーマで、tableName がそのスキーマ内のテーブルの名前です。

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

たとえば、データファイルが次の Amazon S3 パスの mybucket にあるとします。

s3://mybucket/hr/employee

ロード時に、AWS DMS はソーススキーマ名が hr で、ソーステーブル名が employee であると想定します。

bucketName (必須) に加えて、オプションで bucketFolder パラメータを提供し、 AWS DMS が Amazon S3 バケットでデータファイルを探す場所を指定します。前の例を続けると、bucketFolder を sourcedata に設定した場合、AWS DMS は次のパスで CDC データ ファイルを読み取ります。

s3://mybucket/sourcedata/hr/employee

追加の接続属性を使用して、列の区切り文字、行の区切り文字、null 値のインジケータ、およびその他のパラメータを指定できます。詳細については、「AWS DMS のソースとしての Amazon S3 のエンドポイントの設定」を参照してください。

次のとおり、ExpectedBucketOwner Amazon S3 エンドポイント設定を使用してバケット所有者を指定して、スナイプ攻撃を防ぐことができます。その後、接続をテストしたり移行の実行をリクエストしたりすると、S3 は指定されたパラメータに対してバケット所有者のアカウント ID をチェックします。

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

AWS DMS のソースとして Amazon S3 用の外部テーブルの定義

データファイルに加えて、外部テーブル定義も指定する必要があります。[external table definition] (外部テーブル定義) は、AWS DMS が Amazon S3 からのデータを解釈する方法について説明する JSON ドキュメントです。このドキュメントの最大サイズは 2 MB です。AWS DMS マネジメントコンソールを使用してソースエンドポイントを作成する場合、JSON を直接テーブルマッピングボックスに入力できます。AWS Command Line Interface (AWS CLI) または AWS DMS API を使用して移行を実行する場合は、JSON ファイルを作成して外部テーブル定義を指定することができます。

以下のものが含まれるデータファイルがあるとします。

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

このデータ用の外部テーブル定義の例を次に示します。

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "employee",
            "TablePath": "hr/employee/",
            "TableOwner": "hr",
            "TableColumns": [
                {
                    "ColumnName": "Id",
                    "ColumnType": "INT8",
                    "ColumnNullable": "false",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "LastName",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                },
                {
                    "ColumnName": "FirstName",
                    "ColumnType": "STRING",
                    "ColumnLength": "30"
                },
                {
                    "ColumnName": "HireDate",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "OfficeLocation",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                }
            ],
            "TableColumnsTotal": "5"
        }
    ]
}

この JSON ドキュメントの要素は次のとおりです。

TableCount - ソーステーブルの数。この例では、テーブルは 1 つしかありません。

Tables - ソーステーブルあたり 1 つの JSON マップで構成される配列。この例では、マップは 1 つしかありません。各マップは以下の要素で構成されています。

他に指定がない限り、AWS DMS では ColumnLength がゼロであることが想定されます。

NUMERIC 型の列の場合は、精度とスケールを指定します。精度は数値の桁の合計数であり、スケールは小数点以下の桁数です。次に示すように、これには ColumnPrecision および ColumnScale 要素を使用します。

...
    {
        "ColumnName": "HourlyRate",
        "ColumnType": "NUMERIC",
        "ColumnPrecision": "5"
        "ColumnScale": "2"
    }
...

分数の秒を含むデータを持つ DATETIME 型の列の場合は、スケールを指定します。[Scale] (スケール) は小数秒の桁数で、0 ～ 9 の範囲で指定できます。次に示すように、これには ColumnScale 要素を使用します。

...
{
      "ColumnName": "HireDate",
      "ColumnType": "DATETIME",
      "ColumnScale": "3"
}
...

他に指定がない限り、AWS DMS は ColumnScale がゼロと仮定し、小数点以下の秒を切り捨てます。

Amazon S3 を AWS DMS のソースとして CDC の使用

AWS DMS による全データロードの後で、オプションでターゲットエンドポイントにデータの変更をレプリケートできます。これを行うには、Amazon S3 バケットに変更データキャプチャ ファイル (CDC ファイル) をアップロードします。AWS DMS​ は、アップロード時にこれらの CDC ファイルを読み取り、ターゲット エンドポイントで変更を適用します。

CDC ファイルは次のように名前が付けられます。

CDC00001.csv
CDC00002.csv
CDC00003.csv
...

AWS DMS がファイルを見つけることができる場所を示すには、cdcPath パラメータを指定します。前の例を続けると、cdcPath を changedata に設定した場合、AWS DMS は次のパスで CDC ファイルを読み取ります。

s3://mybucket/changedata

cdcPath を changedata に、bucketFolder を myFolder に設定した場合、AWS DMS は次のパスで CDC ファイルを読み取ります。

s3://mybucket/myFolder/changedata

CDC ファイル内のレコードは次のような形式になります。

employee という名前のテーブルの CDC ファイルの例を次に示します。

INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas

AWS DMS のソースとして Amazon S3 を使用する場合の前提条件

Amazon S3 を AWS DMS のソースとして使用する場合、ソース S3 バケットはデータを移行する DMS レプリケーション インスタンスと同じ AWS リージョンにある必要があります。また、移行に使用する AWS アカウントには、ソースバケットへの読み取りアクセスも必要です。AWS DMS バージョン 3.4.7 以降の場合、DMS は VPC エンドポイントまたはパブリックルートを介してソースバケットにアクセスする必要があります。VPC エンドポイントの詳細については、「AWS DMS ソースエンドポイントとターゲットエンドポイントとしての VPC エンドポイントの設定」を参照してください。

移行タスクを作成するために使用されるユーザーアカウントに割り当てられる AWS Identity and Access Management (IAM) ロールは、次の一連のアクセス許可が必要です。

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

Amazon S3 バケットでバージョニングが有効になっている場合、移行タスクの作成に使用するユーザーアカウントに割り当てられる AWS Identity and Access Management (IAM) ロールには、次のとおりのアクセス許可のセットが必要です。

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

AWS DMS のソースとして Amazon S3 を使用する場合の制限

Amazon S3 をソースとして使用する場合、次の制限が適用されます。

Amazon S3 で Parquet 形式のファイルをソースとして使用する場合、次の制限が適用されます。

AWS DMS のソースとしての Amazon S3 のエンドポイントの設定

追加の接続属性の使用と同様、エンドポイントの設定を使用して、ソースの Amazon S3 データベースを設定できます。ソースエンドポイントを作成する際に、AWS DMS コンソールを使用するか、AWS CLI で --s3-settings '{"EndpointSetting": "value", ...}' の JSON 構文を指定して create-endpoint コマンドを使用して設定を指定します。

次の表は、ソースとして Amazon S3 を使用できるエンドポイント設定を説明しています。

Amazon S3 のソースデータ型

AWS DMS のソースとして Amazon S3 を使用するデータ移行では、Amazon S3 から AWS DMS データ型にデータをマッピングする必要があります。詳細については、「AWS DMS のソースとして Amazon S3 用の外部テーブルの定義」を参照してください。

ターゲットにマッピングされるデータ型を表示する方法については、使用しているターゲットエンドポイントのセクションをご参照ください。

AWS DMS のデータ型の詳細については、「AWS Database Migration Service のデータ型」をご参照ください。

以下の AWS DMS データ型はソースとして Amazon S3 で使用されます：

Amazon S3 で Parquet 形式のファイルを AWS DMS のソースとして使用する

AWS DMS バージョン 3.5.3 以降では、フルロードレプリケーションや CDC レプリケーションの両方のソースとして S3 バケットの Parquet 形式ファイルを使用できます。

DMS は、データを S3 ターゲットエンドポイントに移行することで DMS が生成するソースとして Parquet 形式のファイルのみをサポートしています。ファイル名はサポートされている形式である必要があります。そうでない場合、DMS は移行に含めません。

Parquet 形式のソースデータファイルは、次のフォルダと命名規則に従っている必要があります。

schema/table1/LOAD00001.parquet
schema/table2/LOAD00002.parquet
schema/table2/LOAD00003.parquet

Parquet 形式の CDC データのソースデータファイルの場合、次のフォルダと命名規則を使用して、名前を付けて保存します。

schema/table/20230405-094615814.parquet
schema/table/20230405-094615853.parquet
schema/table/20230405-094615922.parquet

Parquet 形式のファイルにアクセスするには、次のエンドポイント設定を設定します。

S3 エンドポイント設定の詳細については、「AWS Database Migration Service API リファレンス」の「S3Settings」を参照してください。

Parquet 形式のファイルでサポートされているデータ型

Parquet 形式のファイルからデータを移行する場合、AWS DMS は、次のソースおよびターゲットのデータ型をサポートします。移行する前に、ターゲットテーブルに正しいデータ型の列があることを確認します。