のソースとしての Amazon S3 の使用 AWS DMS

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

を使用して、Amazon S3 バケットからデータを移行できます AWS DMS。これを行うには、1 つ以上のデータファイルを含む Amazon S3 バケットへのアクセスを提供します。その S3 バケットに、データおよびそれらのファイルのデータのデータベーステーブル間のマッピングを記述する JSON ファイルを含めます。

全ロードのスタート前に、ソース データ ファイルが Amazon S3 バケットに存在している必要があります。バケット名は、bucketName パラメータを使用して指定します。

ソースデータファイルは、次の形式で表すことができます。

カンマ区切り値 (.csv) 形式のソースデータファイルには、次の命名規則を使用して名前を付けます。この規則では、schemaName がソーススキーマで、tableName がそのスキーマ内のテーブルの名前です。

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

たとえば、データファイルが次の Amazon S3 パスの mybucket にあるとします。

s3://mybucket/hr/employee

ロード時に、 はソーススキーマ名が でhr、ソーステーブル名が であると AWS DMS 想定しますemployee。

bucketName (必須) に加えて、オプションで bucketFolderパラメータを指定して、 AWS DMS が Amazon S3 バケット内のデータファイルを検索する場所を指定できます。前の例を続けると、 bucketFolderを に設定した場合sourcedata、 は次のパスでデータファイルを AWS DMS 読み取ります。

s3://mybucket/sourcedata/hr/employee

追加の接続属性を使用して、列の区切り文字、行の区切り文字、null 値のインジケータ、およびその他のパラメータを指定できます。詳細については、「のソースとしての Amazon S3 のエンドポイント設定 AWS DMS」を参照してください。

次のとおり、ExpectedBucketOwner Amazon S3 エンドポイント設定を使用してバケット所有者を指定して、スナイプ攻撃を防ぐことができます。その後、接続をテストしたり移行の実行をリクエストしたりすると、S3 は指定されたパラメータに対してバケット所有者のアカウント ID をチェックします。

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

のソースとしての Amazon S3 の外部テーブルの定義 AWS DMS

データファイルに加えて、外部テーブル定義も指定する必要があります。外部テーブル定義は、 が Amazon S3 AWS DMS からのデータを解釈する方法を説明する JSON ドキュメントです。 Amazon S3 このドキュメントの最大サイズは 2 MB です。 AWS DMS マネジメントコンソールを使用してソースエンドポイントを作成する場合は、テーブルマッピングボックスに JSON を直接入力できます。 AWS Command Line Interface （AWS CLI) または AWS DMS API を使用して移行を実行する場合は、JSON ファイルを作成して外部テーブル定義を指定できます。

以下のものが含まれるデータファイルがあるとします。

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

このデータ用の外部テーブル定義の例を次に示します。

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "employee",
            "TablePath": "hr/employee/",
            "TableOwner": "hr",
            "TableColumns": [
                {
                    "ColumnName": "Id",
                    "ColumnType": "INT8",
                    "ColumnNullable": "false",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "LastName",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                },
                {
                    "ColumnName": "FirstName",
                    "ColumnType": "STRING",
                    "ColumnLength": "30"
                },
                {
                    "ColumnName": "HireDate",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "OfficeLocation",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                }
            ],
            "TableColumnsTotal": "5"
        }
    ]
}

この JSON ドキュメントの要素は次のとおりです。

TableCount - ソーステーブルの数。この例では、テーブルは 1 つしかありません。

Tables - ソーステーブルあたり 1 つの JSON マップで構成される配列。この例では、マップは 1 つしかありません。各マップは以下の要素で構成されています。

特に指定しない場合、 ColumnLengthは が 0 AWS DMS であると想定します。

NUMERIC 型の列の場合は、精度とスケールを指定します。精度は数値の桁の合計数であり、スケールは小数点以下の桁数です。次に示すように、これには ColumnPrecision および ColumnScale 要素を使用します。

...
    {
        "ColumnName": "HourlyRate",
        "ColumnType": "NUMERIC",
        "ColumnPrecision": "5"
        "ColumnScale": "2"
    }
...

分数の秒を含むデータを持つ DATETIME 型の列の場合は、スケールを指定します。[Scale] (スケール) は小数秒の桁数で、0 ～ 9 の範囲で指定できます。次に示すように、これには ColumnScale 要素を使用します。

...
{
      "ColumnName": "HireDate",
      "ColumnType": "DATETIME",
      "ColumnScale": "3"
}
...

特に指定しない場合、 ColumnScaleはゼロ AWS DMS であると仮定し、小数秒を切り捨てます。

Amazon S3 を AWS DMSのソースとして CDC の使用

が全データロード AWS DMS を実行すると、オプションでターゲットエンドポイントにデータ変更をレプリケートできます。これを行うには、変更データキャプチャファイル (CDC ファイル) を Amazon S3 バケットにアップロードします。 は、アップロード時にこれらの CDC ファイルを AWS DMS 読み取り、ターゲットエンドポイントに変更を適用します。

CDC ファイルは次のように名前が付けられます。

CDC00001.csv
CDC00002.csv
CDC00003.csv
...

がファイルを見つける AWS DMS 場所を指定するには、 cdcPathパラメータを指定します。前の例を続けると、cdcPath を changedata に設定した場合、 AWS DMS は次のパスで CDC ファイルを読み取ります。

s3://mybucket/changedata

cdcPath を changedata に、bucketFolder を myFolder に設定した場合、 AWS DMS は次のパスで CDC ファイルを読み取ります。

s3://mybucket/myFolder/changedata

CDC ファイル内のレコードは次のような形式になります。

employee という名前のテーブルの CDC ファイルの例を次に示します。

INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas

のソースとして Amazon S3 を使用する場合の前提条件 AWS DMS

Amazon S3 を のソースとして使用するには AWS DMS、ソース S3 バケットが、データを移行する DMS レプリケーションインスタンスと同じ AWS リージョンにある必要があります。また、移行に使用する AWS アカウントには、ソースバケットへの読み取りアクセスも必要です。 AWS DMS バージョン 3.4.7 以降では、DMS は VPC エンドポイントまたはパブリックルートを介してソースバケットにアクセスする必要があります。VPC エンドポイントの詳細については、「VPC エンドポイントを DMS AWS ソースエンドポイントとターゲットエンドポイントとして設定する」を参照してください。

移行タスクの作成に使用されるユーザーアカウントに割り当てられた AWS Identity and Access Management (IAM) ロールには、次のアクセス許可のセットが必要です。

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

移行タスクの作成に使用されるユーザーアカウントに割り当てられた AWS Identity and Access Management (IAM) ロールには、Amazon S3 バケットでバージョニングが有効になっている場合、次のアクセス許可のセットが必要です。

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

のソースとして Amazon S3 を使用する場合の制限 AWS DMS

Amazon S3 をソースとして使用する場合、次の制限が適用されます。

Amazon S3 で Parquet 形式のファイルをソースとして使用する場合、次の制限が適用されます。

のソースとしての Amazon S3 のエンドポイント設定 AWS DMS

追加の接続属性の使用と同様、エンドポイントの設定を使用して、ソースの Amazon S3 データベースを設定できます。 AWS DMS コンソールを使用するか、 の create-endpoint コマンドを JSON --s3-settings '{"EndpointSetting": "value", ...}' 構文で使用してAWS CLI、ソースエンドポイントを作成するときに設定を指定します。

次の表は、ソースとして Amazon S3 を使用できるエンドポイント設定を説明しています。

Amazon S3 のソースデータ型

のソースとして Amazon S3 を使用するデータ移行では、Amazon S3 から AWS DMS データ型にデータをマッピング AWS DMS する必要があります。詳細については、「のソースとしての Amazon S3 の外部テーブルの定義 AWS DMS」を参照してください。

ターゲットにマッピングされるデータ型を表示する方法については、使用しているターゲットエンドポイントのセクションをご参照ください。

AWS DMS データ型の詳細については、「」を参照してくださいAWS Database Migration Service のデータ型。

Amazon S3 をソースとして使用するには、次の AWS DMS データ型を使用します。

Amazon S3 の Parquet 形式のファイルを のソースとして使用する AWS DMS

AWS DMS バージョン 3.5.3 以降では、S3 バケット内の Parquet 形式のファイルをフルロードレプリケーションまたは CDC レプリケーションの両方のソースとして使用できます。

DMS は、データを S3 ターゲットエンドポイントに移行することで DMS が生成するソースとして Parquet 形式のファイルのみをサポートしています。ファイル名はサポートされている形式である必要があります。そうでない場合、DMS は移行に含めません。

Parquet 形式のソースデータファイルは、次のフォルダと命名規則に従っている必要があります。

schema/table1/LOAD00001.parquet
schema/table2/LOAD00002.parquet
schema/table2/LOAD00003.parquet

Parquet 形式の CDC データのソースデータファイルの場合、次のフォルダと命名規則を使用して、名前を付けて保存します。

schema/table/20230405-094615814.parquet
schema/table/20230405-094615853.parquet
schema/table/20230405-094615922.parquet

Parquet 形式のファイルにアクセスするには、次のエンドポイント設定を設定します。

S3 エンドポイント設定の詳細については、「AWS Database Migration Service API リファレンス」の「S3Settings」を参照してください。

Parquet 形式のファイルでサポートされているデータ型

AWS DMS は、Parquet 形式のファイルからデータを移行するときに、次のソースデータ型とターゲットデータ型をサポートします。移行する前に、ターゲットテーブルに正しいデータ型の列があることを確認します。