Menggunakan Amazon S3 sebagai target AWS Database Migration Service

Anda dapat memigrasikan data ke Amazon S3 AWS DMS menggunakan dari salah satu sumber database yang didukung. Saat menggunakan Amazon S3 sebagai target dalam AWS DMS tugas, data full load dan change data capture (CDC) ditulis ke format comma-separated value (.csv) secara default. Untuk penyimpanan yang lebih ringkas dan pilihan kueri yang lebih cepat, Anda juga memiliki pilihan untuk membuat data ditulis ke format Apache Parquet (.parquet).

AWS DMS nama file yang dibuat selama pemuatan penuh menggunakan penghitung heksadesimal inkremental—misalnya LOAD00001.csv, LOAD00002..., LOAD00009, LOAD0000A, dan seterusnya untuk file.csv. AWS DMS nama file CDC menggunakan stempel waktu, misalnya 20141029-1134010000.csv. Untuk setiap tabel sumber yang berisi catatan, AWS DMS buat folder di bawah folder target yang ditentukan (jika tabel sumber tidak kosong). AWS DMS menulis semua beban penuh dan file CDC ke bucket Amazon S3 yang ditentukan. Anda dapat mengontrol ukuran file yang AWS DMS dibuat dengan menggunakan pengaturan MaxFileSizeendpoint.

Parameter bucketFolder berisi lokasi di mana file .csv atau .parquet disimpan sebelum diunggah ke bucket S3. Dengan file .csv, data tabel disimpan dalam format berikut dalam bucket S3, ditampilkan dengan file beban penuh.

database_schema_name/table_name/LOAD00000001.csv
database_schema_name/table_name/LOAD00000002.csv
...
database_schema_name/table_name/LOAD00000009.csv
database_schema_name/table_name/LOAD0000000A.csv
database_schema_name/table_name/LOAD0000000B.csv
...database_schema_name/table_name/LOAD0000000F.csv
database_schema_name/table_name/LOAD00000010.csv
...

Anda dapat menentukan delimiter kolom, delimiter baru, dan parameter lainnya menggunakan atribut koneksi tambahan. Untuk informasi lebih lanjut tentang atribut koneksi tambahan, lihat Pengaturan titik akhir saat menggunakan Amazon S3 sebagai target AWS DMS pada akhir bagian ini.

Anda dapat menentukan pemilik bucket dan mencegah sniping dengan menggunakan setelan endpoint ExpectedBucketOwner Amazon S3, seperti yang ditunjukkan berikut ini. Kemudian, saat Anda membuat permintaan untuk menguji koneksi atau melakukan migrasi, S3 memeriksa ID akun pemilik bucket terhadap parameter yang ditentukan.

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

Saat Anda menggunakan AWS DMS untuk mereplikasi perubahan data menggunakan tugas CDC, kolom pertama dari file keluaran.csv atau.parquet menunjukkan bagaimana data baris diubah seperti yang ditunjukkan untuk file.csv berikut.

I,101,Smith,Bob,4-Jun-14,New York
U,101,Smith,Bob,8-Oct-15,Los Angeles
U,101,Smith,Bob,13-Mar-17,Dallas
D,101,Smith,Bob,13-Mar-17,Dallas
        

Untuk contoh ini, anggaplah ada EMPLOYEE tabel di database sumber. AWS DMS menulis data ke file.csv atau .parquet, sebagai tanggapan atas peristiwa berikut:

Perhatikan bahwa secara default untuk CDC, AWS DMS menyimpan perubahan baris untuk setiap tabel database tanpa memperhatikan urutan transaksi. Jika Anda ingin menyimpan perubahan baris dalam file CDC sesuai urutan transaksi, Anda harus menggunakan pengaturan titik akhir S3 untuk menentukan hal ini dan jalur folder di mana Anda ingin file transaksi CDC disimpan pada target S3. Untuk informasi lebih lanjut, lihat Perubahan pengambilan data (CDC) termasuk transaksi order pada target S3.

Untuk mengontrol frekuensi menulis ke target Amazon S3 selama tugas replikasi data, Anda dapat mengonfigurasi atribut koneksi tambahan cdcMaxBatchInterval dan cdcMinFileSize. Hal ini dapat menghasilkan performa yang lebih baik ketika menganalisis data tanpa operasi overhead tambahan. Untuk informasi lebih lanjut, lihat Pengaturan titik akhir saat menggunakan Amazon S3 sebagai target AWS DMS

Prasyarat penggunaan Amazon S3 sebagai target

Sebelum menggunakan Amazon S3 sebagai target, pastikan bahwa hal berikut ini benar:

Untuk mengatur akses akun ini, pastikan peran yang diberikan ke akun pengguna yang digunakan untuk membuat tugas migrasi memiliki serangkaian izin berikut.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:PutObjectTagging"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2"
            ]
        }
    ]
}

Untuk prasyarat untuk menggunakan validasi dengan S3 sebagai target, lihat. Prasyarat validasi target S3

Keterbatasan penggunaan Amazon S3 sebagai target

Batasan berikut berlaku saat menggunakan Amazon S3 sebagai target:

Untuk batasan penggunaan validasi dengan S3 sebagai target, lihat. Batasan untuk menggunakan validasi target S3

Keamanan

Untuk menggunakan Amazon S3 sebagai target, akun yang digunakan untuk migrasi harus memiliki akses tulis dan hapus terhadap bucket Amazon S3 yang digunakan sebagai target. Tentukan Amazon Resource Name (ARN) dari IAM role yang memiliki izin yang diperlukan untuk mengakses Amazon S3.

AWS DMS mendukung serangkaian hibah yang telah ditentukan untuk Amazon S3, yang dikenal sebagai daftar kontrol akses kaleng (ACL). Setiap ACL terekam memiliki serangkaian penerima dan izin yang dapat Anda gunakan untuk mengatur izin bucket Amazon S3. Anda dapat menentukan ACL terekam menggunakan cannedAclForObjects pada atribut string koneksi untuk titik akhir target S3 Anda. Untuk informasi lebih lanjut tentang penggunaan atribut koneksi tambahan cannedAclForObjects, lihat Pengaturan titik akhir saat menggunakan Amazon S3 sebagai target AWS DMS. Untuk informasi lebih lanjut tentang ACL terekam Amazon S3, lihat ACL Terekam.

IAM role yang Anda gunakan untuk migrasi harus dapat melakukan Operasi API s3:PutObjectAcl.

Menggunakan Apache Parquet untuk menyimpan objek Amazon S3

Format comma-separated value (.csv) adalah format penyimpanan default untuk objek target Amazon S3. Untuk penyimpanan yang lebih ringkas dan kueri lebih cepat, sebagai gantinya Anda bisa menggunakan Apache Parquet (.parquet) sebagai format penyimpanan.

Apache Parquet adalah format penyimpanan file sumber terbuka yang awalnya dirancang untuk Hadoop. Untuk informasi lebih lanjut tentang Apache Parket, lihat https://parquet.apache.org/.

Untuk mengatur .parquet sebagai format penyimpanan untuk objek target S3 dimigrasikan, Anda dapat menggunakan mekanisme berikut:

Penandaan objek Amazon S3

Anda dapat menandai objek Amazon S3 yang dibuat oleh instans replikasi dengan menentukan objek JSON yang sesuai sebagai bagian dari aturan pemetaan tabel tugas. Untuk informasi selengkapnya tentang persyaratan dan opsi untuk penandaan objek S3, termasuk nama tag yang valid, lihat Penandaan objek di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon. Untuk informasi lebih lanjut tentang pemetaan tabel menggunakan JSON, lihat Menentukan pemilihan tabel dan transformasi aturan menggunakan JSON.

Anda menandai objek S3 yang dibuat untuk tabel dan skema tertentu dengan menggunakan satu atau lebih objek JSON dari jenis aturan selection. Anda kemudian mengikuti objek selection ini (atau beberapa objek) oleh satu atau lebih objek JSON dari jenis aturan post-processing dengan tindakan add-tag. Aturan pasca-pemrosesan ini mengidentifikasi objek S3 yang ingin Anda, tandai dan menentukan nama dan nilai-nilai tanda yang ingin Anda tambahkan ke objek S3 ini.

Anda dapat menemukan parameter yang akan ditetapkan dalam objek JSON dari tipe aturan post-processing dalam tabel berikut.

Ketika Anda menentukan beberapa jenis aturan post-processing untuk menandai pilihan objek S3, setiap objek S3 ditandai menggunakan hanya satu objek tag-set dari satu aturan pasca-pemrosesan. Seperangkat tanda tertentu yang digunakan untuk menandai objek S3 yang diberikan adalah yang berasal dari aturan pasca-pemrosesan yang pencari objek terkaitnya paling sesuai dengan objek S3 tersebut.

Misalnya anggaplah bahwa dua aturan pasca-pemrosesan mengidentifikasi objek S3 yang sama. Misalkan juga pencari objek dari satu aturan menggunakan wildcard dan pencari objek dari aturan lain menggunakan exact match untuk mengidentifikasi objek S3 (tanpa wildcard). Dalam hal ini, seperangkat tanda yang terkait dengan aturan pasca-pemrosesan dengan exact match digunakan untuk menandai objek S3. Jika beberapa aturan pasca-pemrosesan cocok dengan objek S3 yang diberikan dengan sama baiknya, seperangkat tanda yang terkait dengan aturan pasca-pemrosesan pertama digunakan untuk menandai objek.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "5",
            "rule-name": "5",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              },
              {
                "key": "tag_3",
                "value": "value_3"
              }                                     
           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_${table-name}"
              }
            ]
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat",
                "table-name": "ITEM",
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              }           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "retail",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "wholesale",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "ITEM",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_ITEM"
              },
              {
                "key": "${schema-name}_ITEM_tag_1",
                "value": "value_1"
              },
              {
                "key": "${schema-name}_ITEM_tag_2",
                "value": "value_2"
              }
            ]
    ]
}

Membuat AWS KMS kunci untuk mengenkripsi objek target Amazon S3

Anda dapat membuat dan menggunakan AWS KMS kunci khusus untuk mengenkripsi objek target Amazon S3 Anda. Setelah membuat kunci KMS, Anda dapat menggunakannya untuk mengenkripsi objek menggunakan salah satu pendekatan berikut ketika Anda membuat titik akhir target S3:

Untuk mengenkripsi objek target Amazon S3 menggunakan kunci KMS, Anda memerlukan peran IAM yang memiliki izin untuk mengakses bucket Amazon S3. IAM role ini kemudian diakses dalam sebuah kebijakan (kebijakan kunci) yang dilampirkan ke kunci enkripsi yang Anda buat. Anda dapat melakukannya melalui konsol IAM Anda dengan membuat hal berikut:

Prosedur berikut menjelaskan cara pembuatannya.

Anda sekarang telah membuat kebijakan baru untuk mengakses sumber daya Amazon S3 untuk enkripsi dengan nama tertentu, misalnya DMS-S3-endpoint-access.

Anda sekarang telah membuat peran baru untuk mengakses sumber daya Amazon S3 untuk enkripsi dengan nama tertentu, misalnya, DMS-S3-endpoint-access-role.

Anda sekarang telah membuat bukti kunci KMS baru dengan nama alias tertentu (misalnya DMS-S3-endpoint-encryption-key). Kunci ini memungkinkan AWS DMS untuk mengenkripsi objek target Amazon S3.

Menggunakan partisi folder berdasarkan tanggal

AWS DMS mendukung partisi folder S3 berdasarkan tanggal komit transaksi saat Anda menggunakan Amazon S3 sebagai titik akhir target Anda. Dengan menggunakan partisi folder berdasarkan tanggal, Anda dapat menulis data dari tabel sumber tunggal ke struktur folder dengan hirarki waktu dalam bucket S3. Dengan partisi folder saat membuat titik akhir target S3, Anda dapat melakukan hal berikut:

Anda dapat mengaktifkan partisi folder berdasarkan tanggal ketika Anda membuat titik akhir S3. Anda dapat mengaktifkannya ketika memigrasikan data yang ada dan mereplikasi perubahan yang sedang berlangsung (beban penuh + CDC), atau hanya mereplikasi perubahan data (CDC saja). Gunakan pengaturan titik akhir target berikut:

Contoh berikut menunjukkan cara mengaktifkan partisi folder berdasarkan tanggal, dengan nilai default untuk urutan partisi data dan pembatas. Ini menggunakan --s3-settings '{json-settings}' opsi AWS CLI. create-endpointperintah.

   --s3-settings '{"DatePartitionEnabled": true,"DatePartitionSequence": "YYYYMMDD","DatePartitionDelimiter": "SLASH"}'
            

Beban paralel sumber yang dipartisi saat menggunakan Amazon S3 sebagai target AWS DMS

Anda dapat mengonfigurasi beban penuh paralel sumber data yang dipartisi ke target Amazon S3. Pendekatan ini meningkatkan waktu muat untuk memigrasikan data yang dipartisi dari mesin basis data sumber yang didukung ke target S3. Untuk meningkatkan waktu muat data sumber yang dipartisi, Anda membuat subfolder target S3 yang dipetakan ke partisi setiap tabel dalam database sumber. Subfolder terikat partisi ini memungkinkan untuk AWS DMS menjalankan proses paralel untuk mengisi setiap subfolder pada target.

Untuk mengonfigurasi beban penuh paralel dari target S3, S3 mendukung tiga tipe parallel-load aturan untuk table-settings aturan pemetaan tabel:

Untuk informasi selengkapnya tentang jenis aturan beban paralel ini, lihat. Tabel dan koleksi pengaturan aturan dan operasi

Untuk tipe partitions-auto dan partitions-list aturan, AWS DMS gunakan setiap nama partisi dari titik akhir sumber untuk mengidentifikasi struktur subfolder target, sebagai berikut.

bucket_name/bucket_folder/database_schema_name/table_name/partition_name/LOADseq_num.csv

Di sini, jalur subfolder tempat data dimigrasikan dan disimpan pada target S3 menyertakan partition_name subfolder tambahan yang sesuai dengan partisi sumber dengan nama yang sama. partition_nameSubfolder ini kemudian menyimpan satu atau lebih LOADseq_num.csv file yang berisi data yang dimigrasikan dari partisi sumber yang ditentukan. Di sini, seq_num adalah postfix nomor urut pada nama file.csv, seperti 00000001 di file.csv dengan nama,. LOAD00000001.csv

Namun, beberapa mesin database, seperti MongoDB dan DocumentDB, tidak memiliki konsep partisi. Untuk mesin database ini, AWS DMS tambahkan indeks segmen sumber berjalan sebagai awalan ke nama file.csv target, sebagai berikut.

.../database_schema_name/table_name/SEGMENT1_LOAD00000001.csv
.../database_schema_name/table_name/SEGMENT1_LOAD00000002.csv
...
.../database_schema_name/table_name/SEGMENT2_LOAD00000009.csv
.../database_schema_name/table_name/SEGMENT3_LOAD0000000A.csv

Di sini, file SEGMENT1_LOAD00000001.csv dan SEGMENT1_LOAD00000002.csv diberi nama dengan awalan indeks segmen sumber berjalan yang sama,SEGMENT1. Mereka dinamai demikian karena data sumber yang dimigrasi untuk dua file.csv ini dikaitkan dengan indeks segmen sumber berjalan yang sama. Di sisi lain, data migrasi yang disimpan di setiap target SEGMENT2_LOAD00000009.csv dan SEGMENT3_LOAD0000000A.csv file dikaitkan dengan indeks segmen sumber berjalan yang berbeda. Setiap file memiliki nama file yang diawali dengan nama indeks segmen yang sedang berjalan, SEGMENT2 danSEGMENT3.

Untuk jenis ranges beban paralel, Anda menentukan nama kolom dan nilai kolom menggunakan columns dan boundaries pengaturan aturan. table-settings Dengan aturan ini, Anda dapat menentukan partisi yang sesuai dengan nama segmen, sebagai berikut.

"parallel-load": {
    "type": "ranges",
    "columns": [
         "region",
         "sale"
    ],
    "boundaries": [
          [
               "NORTH",
               "1000"
          ],
          [
               "WEST",
               "3000"
          ]
    ],
    "segment-names": [
          "custom_segment1",
          "custom_segment2",
          "custom_segment3"
    ]
}

Di sini, segment-names pengaturan mendefinisikan nama untuk tiga partisi untuk memigrasikan data secara paralel pada target S3. Data yang dimigrasi dimuat secara paralel dan disimpan dalam file.csv di bawah subfolder partisi secara berurutan, sebagai berikut.

.../database_schema_name/table_name/custom_segment1/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment2/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment3/LOAD[00000001...].csv

Di sini, AWS DMS menyimpan serangkaian file.csv di masing-masing dari tiga subfolder partisi. Rangkaian file.csv di setiap subfolder partisi diberi nama secara bertahap mulai dari LOAD00000001.csv hingga semua data dimigrasikan.

Dalam beberapa kasus, Anda mungkin tidak secara eksplisit memberi nama subfolder partisi untuk jenis ranges beban paralel menggunakan pengaturan. segment-names Dalam hal ini, AWS DMS terapkan default untuk membuat setiap seri file.csv di bawah subfoldernyatable_name. Di sini, AWS DMS awalan nama file dari setiap seri file.csv dengan nama indeks segmen sumber berjalan, sebagai berikut.

.../database_schema_name/table_name/SEGMENT1_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT2_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT3_LOAD[00000001...].csv
...
.../database_schema_name/table_name/SEGMENTZ_LOAD[00000001...].csv

Pengaturan titik akhir saat menggunakan Amazon S3 sebagai target AWS DMS

Anda dapat menggunakan pengaturan titik akhir untuk mengonfigurasi basis data target Amazon S3 mirip dengan menggunakan atribut koneksi tambahan. Anda menentukan pengaturan saat Anda membuat titik akhir target menggunakan AWS DMS konsol, atau dengan menggunakan create-endpoint perintah di AWS CLI, dengan sintaks --s3-settings '{"EndpointSetting": "value", ...}' JSON.

Tabel berikut menunjukkan pengaturan titik akhir yang dapat Anda gunakan dengan Amazon S3 sebagai target.

Menggunakan AWS Glue Data Catalog dengan target Amazon S3 untuk AWS DMS

AWS Glue adalah layanan yang menyediakan cara sederhana untuk mengkategorikan data, dan terdiri dari repositori metadata yang dikenal sebagai. AWS Glue Data Catalog Anda dapat berintegrasi AWS Glue Data Catalog dengan titik akhir target Amazon S3 dan kueri data Amazon S3 melalui layanan lain AWS seperti Amazon Athena. Amazon Redshift berfungsi dengan AWS Glue tetapi AWS DMS tidak mendukungnya sebagai opsi yang dibuat sebelumnya.

Untuk menghasilkan katalog data, atur pengaturan GlueCatalogGeneration endpoint ketrue, seperti yang ditunjukkan pada AWS CLI contoh berikut.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint 
            --engine-name s3 --endpoint-type target--s3-settings '{"ServiceAccessRoleArn": 
            "your-service-access-ARN", "BucketFolder": "your-bucket-folder", "BucketName": 
            "your-bucket-name", "DataFormat": "parquet", "GlueCatalogGeneration": true}'

Untuk tugas replikasi beban penuh yang menyertakan data csv tipe, setel IncludeOpForFullLoad ketrue.

Jangan gunakan GlueCatalogGeneration dengan PreserveTransactions danCdcPath. AWS Glue Crawler tidak dapat merekonsiliasi skema berbeda dari file yang disimpan di bawah yang ditentukan. CdcPath

Agar Amazon Athena dapat mengindeks data Amazon S3 Anda, dan agar Anda dapat melakukan kueri data menggunakan kueri SQL standar melalui Amazon Athena, peran IAM yang dilampirkan ke titik akhir harus memiliki kebijakan berikut:

{
    "Version": "2012-10-17", 
    "Statement": [ 
        {
            "Effect": "Allow", 
            "Action": [
                "s3:GetBucketLocation", 
                "s3:GetObject",
                "s3:ListBucket", 
                "s3:ListBucketMultipartUploads", 
                "s3:ListMultipartUploadParts", 
                "s3:AbortMultipartUpload" 
            ], 
            "Resource": [
                "arn:aws:s3:::bucket123", 
                "arn:aws:s3:::bucket123/*" 
            ]
        },
        {
            "Effect": "Allow", 
            "Action": [ 
                "glue:CreateDatabase", 
                "glue:GetDatabase", 
                "glue:CreateTable", 
                "glue:DeleteTable", 
                "glue:UpdateTable", 
                "glue:GetTable", 
                "glue:BatchCreatePartition", 
                "glue:CreatePartition", 
                "glue:UpdatePartition", 
                "glue:GetPartition", 
                "glue:GetPartitions", 
                "glue:BatchGetPartition"
            ], 
            "Resource": [
                "arn:aws:glue:*:111122223333:catalog", 
                "arn:aws:glue:*:111122223333:database/*", 
                "arn:aws:glue:*:111122223333:table/*" 
            ]
        }, 
        {
            "Effect": "Allow",
            "Action": [
                "athena:StartQueryExecution",
                "athena:GetQueryExecution", 
                "athena:CreateWorkGroup"
            ],
            "Resource": "arn:aws:athena:*:111122223333:workgroup/glue_catalog_generation_for_task_*"
        }
    ]
}

Menggunakan enkripsi data, file parket, dan CDC pada target Amazon S3 Anda

Anda dapat menggunakan pengaturan target titik akhir S3 pengaturan untuk mengonfigurasi hal berikut:

AWS KMS pengaturan kunci untuk enkripsi data

Contoh berikut menunjukkan konfigurasi kunci KMS kustom untuk mengenkripsi objek target S3 Anda. Untuk memulai, Anda dapat menjalankan perintah create-endpoint CLI berikut.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_KMS", 
"ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480"}'

Di sini, objek JSON ditentukan oleh pilihan --s3-settings yang mendefinisikan dua parameter. Satu berupa parameter EncryptionMode dengan nilai SSE_KMS. Yang lainnya berupa parameter ServerSideEncryptionKmsKeyId dengan nilai arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480. Nilai ini adalah Amazon Resource Name (ARN) untuk kunci KMS kustom Anda. Untuk target S3, Anda juga menentukan pengaturan tambahan. Ini mengidentifikasi peran akses server, menyediakan pembatas untuk format penyimpanan objek CSV default, dan memberikan lokasi dan nama bucket untuk menyimpan objek target S3.

Secara default, enkripsi data S3 terjadi menggunakan enkripsi pada sisi server S3. Untuk target S3 di contoh sebelumnya, ini juga setara dengan menentukan pengaturan titik akhir seperti dalam contoh berikut.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_S3"}'

Untuk informasi lebih lanjut tentang bekerja dengan enkripsi sisi server S3, lihat Melindungi Data Menggunakan Enkripsi Sisi Server.

Pengaturan dalam menggunakan file .parquet untuk menyimpan objek target S3

Format default untuk membuat objek target S3 adalah file .csv. Contoh berikut menunjukkan beberapa pengaturan titik akhir untuk menentukan file .parquet sebagai format untuk membuat objek target S3. Anda dapat menentukan format file .parquet dengan semua default, seperti dalam contoh berikut.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "DataFormat": "parquet"}'

Di sini, parameter DataFormat diatur ke parquet untuk mengaktifkan format dengan semua default S3. Default ini juga termasuk pengodean kamus ("EncodingType: "rle-dictionary") yang menggunakan kombinasi pengodean bit-packing dan run-length untuk lebih efisien menyimpan nilai-nilai berulang.

Anda dapat menambahkan pengaturan tambahan untuk pilihan selain default seperti dalam contoh berikut.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "BucketFolder": "your-bucket-folder",
"BucketName": "your-bucket-name", "CompressionType": "GZIP", "DataFormat": "parquet", "EncodingType: "plain-dictionary", "DictPageSizeLimit": 3,072,000,
"EnableStatistics": false }'

Di sini, selain parameter untuk beberapa pilihan bucket S3 standar dan parameter DataFormat, parameter file .parquet tambahan berikut ditetapkan:

Perubahan pengambilan data (CDC) termasuk transaksi order pada target S3

Secara default saat AWS DMS menjalankan tugas CDC, ia menyimpan semua perubahan baris yang dicatat dalam database sumber Anda (atau database) dalam satu atau beberapa file untuk setiap tabel. Setiap set file yang berisi perubahan untuk tabel yang sama berada dalam satu direktori target yang terkait dengan tabel itu. AWS DMS membuat direktori target sebanyak tabel database yang dimigrasikan ke titik akhir target Amazon S3. File disimpan pada target S3 di direktori ini tanpa memperhatikan pesanan transaksi. Untuk informasi lebih lanjut tentang ketentuan penamaan file, konten data, dan format, lihat Menggunakan Amazon S3 sebagai target AWS Database Migration Service.

Untuk menangkap perubahan basis data sumber dengan cara yang juga menangkap urutan transaksi, Anda dapat menentukan pengaturan titik akhir S3 yang mengarahkan AWS DMS untuk menyimpan perubahan baris untuk semua tabel database dalam satu atau beberapa file.csv yang dibuat tergantung pada ukuran transaksi. File transaksi .csv ini berisi semua perubahan baris terdaftar secara berurutan dalam urutan transaksi untuk semua tabel yang terlibat dalam setiap transaksi. File-file transaksi ini diletakkan bersama dalam satu Direktori transaksi yang Anda juga tentukan pada target S3. Dalam setiap file transaksi, operasi transaksi dan identitas database dan tabel sumber untuk setiap perubahan baris disimpan sebagai bagian dari data baris sebagai berikut.

operation,table_name,database_schema_name,field_value,...

Di sini, operation adalah operasi transaksi pada baris yang diubah, table_name adalah nama tabel basis data di mana baris diubah, database_schema_name adalah nama skema basis data tempat tabel berada, dan field_value adalah yang pertama dari satu atau lebih nilai field yang menentukan data untuk baris.

Contoh berikut dari file transaksi menunjukkan baris yang diubah untuk satu atau beberapa transaksi yang melibatkan dua tabel.

I,Names_03cdcad11a,rdsTempsdb,13,Daniel
U,Names_03cdcad11a,rdsTempsdb,23,Kathy
D,Names_03cdcad11a,rdsTempsdb,13,Cathy
I,Names_6d152ce62d,rdsTempsdb,15,Jane
I,Names_6d152ce62d,rdsTempsdb,24,Chris
I,Names_03cdcad11a,rdsTempsdb,16,Mike

Di sini, operasi transaksi pada setiap baris ditunjukkan oleh I (insert), U(update), atau D (delete) di kolom pertama. Nama tabel adalah nilai kolom kedua (misalnya, Names_03cdcad11a). Nama skema basis data adalah nilai kolom ketiga (misalnya, rdsTempsdb). Dan kolom yang tersisa diisi dengan data baris Anda sendiri (misalnya, 13,Daniel).

Selain itu, AWS DMS beri nama file transaksi yang dibuatnya pada target Amazon S3 menggunakan stempel waktu sesuai dengan konvensi penamaan berikut.

CDC_TXN-timestamp.csv

Di sini, timestamp adalah waktu ketika file transaksi dibuat, seperti dalam contoh berikut.

CDC_TXN-20201117153046033.csv

Stempel waktu dalam nama file ini memastikan bahwa file transaksi dibuat dan tercantum dalam urutan transaksi ketika Anda mencantumkannya di direktori transaksi mereka.

Untuk mengontrol frekuensi penulisan ke target Amazon S3 selama tugas replikasi data, Anda dapat mengonfigurasi dan pengaturan. CdcMaxBatchInterval CdcMinFileSize Hal ini dapat menghasilkan performa yang lebih baik ketika menganalisis data tanpa operasi overhead tambahan. Untuk informasi lebih lanjut, lihat Pengaturan titik akhir saat menggunakan Amazon S3 sebagai target AWS DMS

Menunjukkan operasi sumber DB dalam data S3 bermigrasi

Saat AWS DMS memigrasikan catatan ke target S3, itu dapat membuat bidang tambahan di setiap rekaman yang dimigrasi. Field tambahan ini menunjukkan operasi diterapkan ke catatan pada basis data sumber. Cara AWS DMS membuat dan menetapkan bidang pertama ini tergantung pada jenis tugas migrasi dan pengaturanincludeOpForFullLoad,cdcInsertsOnly, dancdcInsertsAndUpdates.

Untuk beban penuh saat includeOpForFullLoad adatrue, AWS DMS selalu buat bidang pertama tambahan di setiap catatan.csv. Field ini berisi huruf I (INSERT) untuk menunjukkan bahwa baris dimasukkan pada basis data sumber. Untuk beban CDC ketika cdcInsertsOnly false (default), AWS DMS juga selalu membuat bidang pertama tambahan di setiap catatan.csv atau .parquet. Field ini berisi huruf I (INSERT), U (UPDATE), atau D (DELETE) untuk menunjukkan apakah baris dimasukkan, diperbarui, atau dihapus pada sumber basis data.

Dalam tabel berikut, Anda dapat melihat bagaimana pengaturan cdcInsertsOnly atribut includeOpForFullLoad dan bekerja sama untuk memengaruhi pengaturan catatan yang dimigrasi.

Saat includeOpForFullLoad dan cdcInsertsOnly ditetapkan ke nilai yang sama, catatan target diatur menurut atribut yang mengontrol pengaturan catatan untuk jenis migrasi saat ini. Atribut tersebut adalah includeOpForFullLoad untuk beban penuh dan cdcInsertsOnly untuk beban CDC.

Kapan includeOpForFullLoad dan cdcInsertsOnly diatur ke nilai yang berbeda, AWS DMS membuat pengaturan catatan target konsisten untuk CDC dan beban penuh. Hal ini dilakukan dengan membuat pengaturan catatan untuk beban CDC sesuai dengan pengaturan catatan untuk semua beban penuh sebelumnya yang ditentukan oleh includeOpForFullLoad.

Dengan kata lain, anggaplah beban penuh diatur untuk menambahkan field pertama untuk menunjukkan catatan yang dimasukkan. Dalam kasus ini, beban CDC berikut diatur untuk menambahkan field pertama yang menunjukkan catatan yang dimasukkan, diperbarui, atau dihapus sesuai sumbernya. Sebaliknya, anggaplah beban penuh diatur untuk tidak menambahkan field pertama untuk menunjukkan catatan yang dimasukkan. Dalam kasus ini, beban CDC juga diatur untuk tidak menambahkan field pertama untuk setiap catatan, terlepas dari operasi catatan yang sesuai sumbernya.

Demikian juga dengan bagaimana DMS membuat dan menetapkan field pertama tambahan bergantung pada pengaturan includeOpForFullLoad dan cdcInsertsAndUpdates. Dalam tabel berikut, Anda dapat melihat bagaimana pengaturan atribut includeOpForFullLoad dan cdcInsertsAndUpdates bekerja sama untuk memengaruhi pengaturan catatan yang dimigrasikan dalam format ini.

Tipe data target untuk S3 Parquet

Tabel berikut menunjukkan tipe data target Parket yang didukung saat menggunakan AWS DMS dan pemetaan default dari tipe AWS DMS data.

Untuk informasi tambahan tentang tipe AWS DMS data, lihatTipe data untuk AWS Database Migration Service.