Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan basis data Amazon Redshift sebagai target untuk AWS Database Migration Service

Anda dapat melakukan migrasi data ke basis data Amazon Redshift menggunakan AWS Database Migration Service. Amazon Redshift adalah layanan gudang data dengan skala petabyte yang terkelola penuh di cloud. Dengan basis data Amazon Redshift sebagai target, Anda dapat memigrasi data dari semua basis data sumber lain yang didukung.

Anda dapat menggunakan Amazon Redshift Serverless sebagai target. AWS DMS Untuk informasi lebih lanjut, lihat Menggunakan AWS DMS Amazon Redshift Serverless sebagai Target berikut ini.

Klaster Amazon Redshift harus berada di akun AWS yang sama dan wilayah AWS yang sama sebagai instans replikasi.

Selama migrasi basis data ke Amazon Redshift, pertama-tama AWS DMS memindahkan data ke Amazon S3 bucket. Ketika file berada di bucket Amazon S3, AWS DMS mentransfer mereka ke tabel yang tepat di gudang data Amazon Redshift. AWS DMS menciptakan bucket S3 di wilayah AWS yang sama dengan basis data Amazon Redshift. Instans replikasi AWS DMS harus ditempatkan di wilayah AWS yang sama.

Jika Anda menggunakan AWS CLI atau DMS API untuk memigrasikan data ke Amazon Redshift, siapkan AWS Identity and Access Management (IAM) role untuk mengizinkan akses S3. Untuk informasi lebih lanjut tentang pembuatan IAM role, lihat Membuat IAM peran untuk digunakan dengan AWS CLI dan AWS DMS API.

Titik akhir Amazon Redshift menyediakan otomatisasi penuh untuk hal berikut:

AWS Database Migration Service mendukung operasi beban penuh dan perubahan pemrosesan. AWS DMS membaca data dari basis data sumber dan menciptakan serangkaian file comma-seperated value(.csv). Untuk operasi beban penuh, AWS DMS menciptakan file untuk setiap tabel. AWS DMS kemudian menyalin file tabel untuk setiap tabel ke folder terpisah di Amazon S3. Ketika file diunggah ke Amazon S3, AWS DMS mengirimkan perintah salin, kemudian data dalam file disalin ke Amazon Redshift. Untuk operasi perubahan-pemrosesan, AWS DMS menyalin net changes ke file .csv. Kemudian AWS DMS mengunggah file net changes ke Amazon S3 dan menyalin data ke Amazon Redshift.

Untuk detail tambahan tentang bekerja dengan Amazon Redshift sebagai target untuk AWS DMS, lihat bagian berikut:

Prasyarat untuk menggunakan basis data Amazon Redshift sebagai target untuk AWS Database Migration Service

Daftar berikut menjelaskan prasyarat yang diperlukan untuk bekerja dengan Amazon Redshift sebagai target migrasi data:

Hak yang diperlukan untuk menggunakan Redshift sebagai target

Gunakan perintah GRANT untuk menentukan hak akses pengguna atau grup pengguna. Hak termasuk pilihan akses seperti dapat membaca data dalam tabel dan view, menulis data, dan membuat tabel. Untuk informasi lebih lanjut tentang penggunaan GRANT dengan Amazon Redshift, lihat GRANT di Panduan Developer Basis data Amazon Redshift.

Berikut adalah sintaks untuk memberikan hak khusus untuk tabel, basis data, skema, fungsi, prosedur, atau hak tingkat-bahasa pada tabel dan view di Amazon Redshift.

GRANT { { SELECT | INSERT | UPDATE | DELETE | REFERENCES } [,...] | ALL [ PRIVILEGES ] }
    ON { [ TABLE ] table_name [, ...] | ALL TABLES IN SCHEMA schema_name [, ...] }
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { { CREATE | TEMPORARY | TEMP } [,...] | ALL [ PRIVILEGES ] }
    ON DATABASE db_name [, ...]
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { { CREATE | USAGE } [,...] | ALL [ PRIVILEGES ] }
    ON SCHEMA schema_name [, ...]
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { EXECUTE | ALL [ PRIVILEGES ] }
    ON { FUNCTION function_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL FUNCTIONS IN SCHEMA schema_name [, ...] }
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { EXECUTE | ALL [ PRIVILEGES ] }
    ON { PROCEDURE procedure_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL PROCEDURES IN SCHEMA schema_name [, ...] }
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT USAGE 
    ON LANGUAGE language_name [, ...]
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]             

Berikut adalah sintaks untuk hak tingkat-kolom pada tabel dan views di Amazon Redshift.

GRANT { { SELECT | UPDATE } ( column_name [, ...] ) [, ...] | ALL [ PRIVILEGES ] ( column_name [,...] ) }
     ON { [ TABLE ] table_name [, ...] }
     TO { username | GROUP group_name | PUBLIC } [, ...]            

Berikut adalah sintaks untuk hak ASSUMEROLE yang diberikan kepada pengguna dan kelompok dengan peran tertentu.

GRANT ASSUMEROLE
    ON { 'iam_role' [, ...] | ALL }
    TO { username | GROUP group_name | PUBLIC } [, ...]
    FOR { ALL | COPY | UNLOAD } [, ...]    

Keterbatasan penggunaan Amazon Redshift sebagai target untuk AWS Database Migration Service

Batasan berikut berlaku saat menggunakan database Amazon Redshift sebagai target:

Mengonfigurasi basis data Amazon Redshift sebagai target untuk AWS Database Migration Service

AWS Database Migration Service harus dikonfigurasi untuk bekerja dengan instans Amazon Redshift. Tabel berikut menjelaskan properti konfigurasi yang tersedia untuk titik akhir Amazon Redshift.

Jika ingin menambahkan atribut string koneksi tambahan untuk titik akhir Amazon Redshift, Anda dapat menentukan atribut maxFileSize dan fileTransferUploadStreams. Untuk informasi lebih lanjut tentang atribut ini, lihat Pengaturan titik akhir saat menggunakan Amazon Redshift sebagai target untuk AWS DMS.

Menggunakan perutean VPC yang disempurnakan dengan Amazon Redshift sebagai target AWS Database Migration Service

Jika Anda menggunakan Perutean VPC yang disempurnakan dengan target Amazon Redshift, semua lalu lintas COPY antara klaster Amazon Redshift dan repositori data Anda akan melewati VPC tersebut. Karena perutean VPC yang disempurnakan memengaruhi cara Amazon Redshift mengakses sumber daya lain, perintah COPY kmeungkinan gagal jika Anda belum mengonfigurasi VPC Anda dengan benar.

AWS DMS dapat terpengaruh oleh perilaku ini karena menggunakan perintah COPY untuk memindahkan data di S3 menuju klaster Amazon Redshift.

Berikut ini adalah langkah yang diibutuhkan AWS DMS untuk memuat data ke sebuah target Amazon Redshift:

Jika Perutean VPC yang disempurnakan tidak aktif, Amazon Redshift mengarahkan lalu lintas melalui internet, termasuk lalu lintas ke layanan lain dalam jaringan AWS. Jika fitur ini tidak diaktifkan Anda tidak harus mengonfigurasi jalur jaringan. Jika fitur diaktifkan, Anda harus secara khusus membuat jalur jaringan antara Anda VPC dari klaster dan sumber data Anda. Untuk informasi lebih lanjut tentang konfigurasi yang diperlukan, lihat Perutean VPC dalam dokumentasi Amazon Redshift.

Membuat dan menggunakan kunci AWS KMS untuk mengenkripsi data target Amazon Redshift

Anda dapat mengenkripsi data target yang dikirim ke Amazon S3 sebelum disalin ke Amazon Redshift. Untuk melakukannya, Anda dapat membuat dan menggunakan kunci AWS KMS khusus. Anda dapat menggunakan kunci yang Anda buat untuk mengenkripsi data target menggunakan salah satu mekanisme berikut saat Anda membuat titik akhir target Amazon Redshift:

Untuk mengenkripsi data target Amazon Redshift menggunakan kunci KMS, Anda memerlukan (IAM) role AWS Identity and Access Management yang memiliki izin untuk mengakses data Amazon Redshift. IAM role ini kemudian diakses dalam sebuah kebijakan (kebijakan kunci) yang dilampirkan ke kunci enkripsi yang Anda buat. Anda dapat melakukannya melalui konsol IAM Anda dengan membuat hal berikut:

Prosedur berikut menjelaskan cara pembuatannya.

Anda sekarang telah membuat peran baru untuk mengakses sumber daya Amazon Redshift untuk enkripsi dengan nama tertentu, misalnya DMS-Redshift-endpoint-access-role.

Anda sekarang telah membuat bukti kunci KMS baru dengan nama alias tertentu (misalnya DMS-Redshift-endpoint-encryption-key). Kunci ini memungkinkan AWS DMS untuk mengenkripsi data target Amazon Redshift.

Pengaturan titik akhir saat menggunakan Amazon Redshift sebagai target untuk AWS DMS

Anda dapat menggunakan pengaturan titik akhir untuk mengonfigurasi basis data target Amazon Redshift mirip dengan menggunakan atribut koneksi tambahan. Anda menentukan pengaturan saat Anda membuat titik akhir target menggunakan AWS DMS konsol, atau dengan menggunakan create-endpoint perintah di AWS CLI, dengan sintaks --redshift-settings '{"EndpointSetting": "value", ...}' JSON.

Tabel berikut menunjukkan pengaturan titik akhir yang dapat Anda gunakan dengan Amazon Redshift sebagai target.

Menggunakan kunci enkripsi data, dan bucket Amazon S3 sebagai penyimpanan perantara

Anda dapat menggunakan Amazon Redshift target endpoint pengaturan untuk mengkonfigurasi berikut:

Pengaturan kunci KMS untuk enkripsi data

Contoh berikut menunjukkan konfigurasi kunci KMS kustom untuk mengenkripsi data Anda yang dikirim ke S3. Anda bisa memulai dengan membuat panggilan create-endpoint menggunakan AWS CLI.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target 
--engine-name redshift --username your-username --password your-password 
--server-name your-server-name --port 5439 --database-name your-db-name 
--redshift-settings '{"EncryptionMode": "SSE_KMS", 
"ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1"}'

Di sini, objek JSON ditentukan oleh pilihan --redshift-settings yang mendefinisikan dua parameter. Satu berupa parameter EncryptionMode dengan nilai SSE_KMS. Yang satu lagi berupa parameter ServerSideEncryptionKmsKeyId dengan nilai arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1. Nilai ini adalah Amazon Resource Name (ARN) untuk kunci KMS kustom Anda.

Secara default, enkripsi data S3 terjadi menggunakan enkripsi pada sisi server S3. Bagi target Amazon Redshift pada contoh sebelumnya, ini juga setara dengan menentukan pengaturan titik akhir, seperti dalam contoh berikut.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target 
--engine-name redshift --username your-username --password your-password 
--server-name your-server-name --port 5439 --database-name your-db-name 
--redshift-settings '{"EncryptionMode": "SSE_S3"}'

Untuk informasi selengkapnya tentang bekerja dengan enkripsi sisi server S3, lihat Melindungi data menggunakan enkripsi sisi server di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Pengaturan bucket Amazon S3

Ketika Anda memigrasi data ke titik akhir target Amazon Redshift, AWS DMS menggunakan default bucket Amazon S3 sebagai penyimpanan tugas perantara sebelum menyalin data yang dimigrasi ke Amazon Redshift. Misalnya, contoh yang ditampilkan untuk membuat titik akhir target Amazon Redshift dengan kunci enkripsi AWS KMS data menggunakan bucket S3 default ini (lihat). Pengaturan kunci KMS untuk enkripsi data

Sebagai gantinya, Anda dapat menentukan bucket S3 kustom untuk penyimpanan perantara ini dengan menyertakan parameter berikut dalam nilai pilihan --redshift-settings Anda pada perintah AWS CLI create-endpoint:

Contoh berikut menunjukkan bagaimana Anda bisa menggunakan parameter ini untuk menentukan bucket Amazon S3 kustom dalam panggilan create-endpoint yang menggunakan AWS CLI berikut ini.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target 
--engine-name redshift --username your-username --password your-password 
--server-name your-server-name --port 5439 --database-name your-db-name 
--redshift-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", 
"BucketName": "your-bucket-name", "BucketFolder": "your-bucket-folder-name"}'

Pengaturan tugas multithreaded untuk Amazon Redshift

Anda dapat meningkatkan kinerja tugas full load dan change data capture (CDC) untuk titik akhir target Amazon Redshift dengan menggunakan pengaturan tugas multithreaded. Mereka memungkinkan Anda untuk menentukan jumlah thread serentak dan jumlah catatan untuk disimpan dalam buffer.

Pengaturan tugas beban penuh multithreaded untuk Amazon Redshift

Untuk mempromosikan kinerja beban penuh, Anda dapat menggunakan pengaturan ParallelLoad* tugas berikut:

Pengaturan tugas CDC multithreaded untuk Amazon Redshift

Untuk mempromosikan performa CDC, Anda dapat menggunakan pengaturan tugas ParallelApply* berikut:

Tingkat paralelisme yang diterapkan tergantung pada korelasi antara total Ukuran batch dan Ukuran file maksimal yang digunakan untuk mentransfer data. Ketika menggunakan pengaturan tugas CDC multithreaded dengan target Redshift, manfaat yang diperoleh ketika ukuran batch besar dalam kaitannya dengan ukuran file maksimum. Misalnya, Anda dapat menggunakan kombinasi titik akhir dan pengaturan tugas berikut untuk menyetel performa yang optimal.

// Redshift endpoint setting
                
        MaxFileSize=250000;

// Task settings

        BatchApplyEnabled=true;
        BatchSplitSize =8000;
        BatchApplyTimeoutMax =1800;
        BatchApplyTimeoutMin =1800;
        ParallelApplyThreads=32;
        ParallelApplyBufferSize=100;
            

Menggunakan pengaturan pada contoh sebelumnya, pelanggan dengan beban kerja transaksional berat mendapat manfaat dengan buffer batch mereka, berisi 8000 catatan, diisi dalam 1800 detik, memanfaatkan 32 thread paralel dengan ukuran file maksimum 250 MB.

Untuk informasi selengkapnya, lihat Mengubah pengaturan penyetelan pemrosesan.

Tipe data target untuk Amazon Redshift

Titik akhir Amazon Redshift untuk AWS DMS mendukung sebagian besar tipe data Amazon Redshift. Tabel berikut menampilkan tipe data target Amazon Redshift yang didukung saat menggunakan AWS DMS dan pemetaan default dari tipe data AWS DMS.

Untuk informasi tambahan tentang tipe data AWS DMS, lihat Tipe data untuk AWS Database Migration Service.

Menggunakan AWS DMS Amazon Redshift Serverless sebagai Target

AWS DMSmendukung penggunaan Amazon Redshift Serverless sebagai titik akhir target. Untuk informasi tentang menggunakan Amazon Redshift Tanpa Server, lihat Amazon Redshift Tanpa Server di Panduan Manajemen Pergeseran Merah Amazon.

Topik ini menjelaskan cara menggunakan titik akhir Amazon Redshift Tanpa Server dengan. AWS DMS

Kebijakan Kepercayaan dengan Amazon Redshift Tanpa Server sebagai target

Saat menggunakan Amazon Redshift Tanpa Server sebagai titik akhir target, Anda harus menambahkan bagian yang disorot berikut ke kebijakan kepercayaan Anda. Kebijakan kepercayaan ini melekat pada dms-access-for-endpoint peran.

{
    "PolicyVersion": {
        "CreateDate": "2016-05-23T16:29:57Z", 
        "VersionId": "v3", 
        "Document": {
        "Version": "2012-10-17", 
        "Statement": [
            {
                "Action": [
                    "ec2:CreateNetworkInterface", 
                    "ec2:DescribeAvailabilityZones", 
                    "ec2:DescribeInternetGateways", 
                    "ec2:DescribeSecurityGroups", 
                    "ec2:DescribeSubnets", 
                    "ec2:DescribeVpcs", 
                    "ec2:DeleteNetworkInterface", 
                    "ec2:ModifyNetworkInterfaceAttribute"
                ], 
                "Resource": "arn:aws:service:region:account:resourcetype/id", 
                "Effect": "Allow"
            },
            {
                "Sid": "",
                "Effect": "Allow",
                "Principal": {
                    "Service": "redshift-serverless.amazonaws.com"
                },
                "Action": "sts:AssumeRole"
            }
        ]
    }, 
    "IsDefaultVersion": true
    }
}

Untuk informasi selengkapnya tentang menggunakan kebijakan kepercayaan denganAWS DMS, lihatMembuat IAM peran untuk digunakan dengan AWS CLI dan AWS DMS API.

Keterbatasan saat menggunakan Amazon Redshift Serverless sebagai target

Menggunakan Redshift Tanpa Server sebagai target memiliki batasan sebagai berikut: