Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan basis data Amazon Redshift sebagai target untuk AWS Database Migration Service

Anda dapat memigrasikan data ke database Amazon Redshift menggunakan. AWS Database Migration Service Amazon Redshift adalah layanan gudang data dengan skala petabyte yang terkelola penuh di cloud. Dengan basis data Amazon Redshift sebagai target, Anda dapat memigrasi data dari semua basis data sumber lain yang didukung.

Anda dapat menggunakan Amazon Redshift Serverless sebagai target. AWS DMS Untuk informasi lebih lanjut, lihat Menggunakan AWS DMS Amazon Redshift Serverless sebagai Target berikut ini.

Cluster Amazon Redshift harus berada di AWS akun yang sama dan AWS Wilayah yang sama dengan instance replikasi.

Selama migrasi database ke Amazon Redshift, AWS DMS pertama-tama memindahkan data ke bucket Amazon S3. Saat file berada di bucket Amazon S3 AWS DMS , lalu transfer ke tabel yang tepat di gudang data Amazon Redshift. AWS DMS membuat bucket S3 di AWS Wilayah yang sama dengan database Amazon Redshift. Contoh AWS DMS replikasi harus ditempatkan di AWS Wilayah yang sama.

Jika Anda menggunakan API AWS CLI atau DMS untuk memigrasikan data ke Amazon Redshift, siapkan AWS Identity and Access Management peran (IAM) untuk mengizinkan akses S3. Untuk informasi lebih lanjut tentang pembuatan IAM role, lihat Membuat IAM peran untuk digunakan dengan AWS DMS.

Titik akhir Amazon Redshift menyediakan otomatisasi penuh untuk hal berikut:

AWS Database Migration Service mendukung operasi pemrosesan beban penuh dan perubahan. AWS DMS membaca data dari database sumber dan membuat serangkaian file nilai dipisahkan koma (.csv). Untuk operasi beban penuh, AWS DMS buat file untuk setiap tabel. AWS DMS kemudian menyalin file tabel untuk setiap tabel ke folder terpisah di Amazon S3. Saat file diunggah ke Amazon S3 AWS DMS , kirim perintah salin dan data dalam file disalin ke Amazon Redshift. Untuk operasi pemrosesan perubahan, salin perubahan AWS DMS bersih ke file.csv. AWS DMS kemudian mengunggah file perubahan bersih ke Amazon S3 dan menyalin data ke Amazon Redshift.

Untuk detail tambahan tentang bekerja dengan Amazon Redshift sebagai target AWS DMS, lihat bagian berikut:

Prasyarat untuk menggunakan database Amazon Redshift sebagai target AWS Database Migration Service

Daftar berikut menjelaskan prasyarat yang diperlukan untuk bekerja dengan Amazon Redshift sebagai target migrasi data:

Hak yang diperlukan untuk menggunakan Redshift sebagai target

Gunakan perintah GRANT untuk menentukan hak akses pengguna atau grup pengguna. Hak termasuk pilihan akses seperti dapat membaca data dalam tabel dan view, menulis data, dan membuat tabel. Untuk informasi lebih lanjut tentang penggunaan GRANT dengan Amazon Redshift, lihat GRANT di Panduan Developer Basis data Amazon Redshift.

Berikut adalah sintaks untuk memberikan hak khusus untuk tabel, basis data, skema, fungsi, prosedur, atau hak tingkat-bahasa pada tabel dan view di Amazon Redshift.

GRANT { { SELECT | INSERT | UPDATE | DELETE | REFERENCES } [,...] | ALL [ PRIVILEGES ] }
    ON { [ TABLE ] table_name [, ...] | ALL TABLES IN SCHEMA schema_name [, ...] }
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { { CREATE | TEMPORARY | TEMP } [,...] | ALL [ PRIVILEGES ] }
    ON DATABASE db_name [, ...]
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { { CREATE | USAGE } [,...] | ALL [ PRIVILEGES ] }
    ON SCHEMA schema_name [, ...]
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { EXECUTE | ALL [ PRIVILEGES ] }
    ON { FUNCTION function_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL FUNCTIONS IN SCHEMA schema_name [, ...] }
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT { EXECUTE | ALL [ PRIVILEGES ] }
    ON { PROCEDURE procedure_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL PROCEDURES IN SCHEMA schema_name [, ...] }
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

GRANT USAGE 
    ON LANGUAGE language_name [, ...]
    TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]             

Berikut adalah sintaks untuk hak tingkat-kolom pada tabel dan views di Amazon Redshift.

GRANT { { SELECT | UPDATE } ( column_name [, ...] ) [, ...] | ALL [ PRIVILEGES ] ( column_name [,...] ) }
     ON { [ TABLE ] table_name [, ...] }
     TO { username | GROUP group_name | PUBLIC } [, ...]            

Berikut adalah sintaks untuk hak ASSUMEROLE yang diberikan kepada pengguna dan kelompok dengan peran tertentu.

GRANT ASSUMEROLE
    ON { 'iam_role' [, ...] | ALL }
    TO { username | GROUP group_name | PUBLIC } [, ...]
    FOR { ALL | COPY | UNLOAD } [, ...]    

Batasan dalam menggunakan Amazon Redshift sebagai target AWS Database Migration Service

Batasan berikut berlaku saat menggunakan database Amazon Redshift sebagai target:

Mengonfigurasi database Amazon Redshift sebagai target AWS Database Migration Service

AWS Database Migration Service harus dikonfigurasi agar berfungsi dengan instans Amazon Redshift. Tabel berikut menjelaskan properti konfigurasi yang tersedia untuk titik akhir Amazon Redshift.

Jika ingin menambahkan atribut string koneksi tambahan untuk titik akhir Amazon Redshift, Anda dapat menentukan atribut maxFileSize dan fileTransferUploadStreams. Untuk informasi lebih lanjut tentang atribut ini, lihat Pengaturan titik akhir saat menggunakan Amazon Redshift sebagai target AWS DMS.

Menggunakan perutean VPC yang disempurnakan dengan Amazon Redshift sebagai target AWS Database Migration Service

Jika Anda menggunakan Perutean VPC yang disempurnakan dengan target Amazon Redshift, semua lalu lintas COPY antara klaster Amazon Redshift dan repositori data Anda akan melewati VPC tersebut. Karena perutean VPC yang disempurnakan memengaruhi cara Amazon Redshift mengakses sumber daya lain, perintah COPY kmeungkinan gagal jika Anda belum mengonfigurasi VPC Anda dengan benar.

AWS DMS dapat dipengaruhi oleh perilaku ini karena menggunakan perintah COPY untuk memindahkan data di S3 ke cluster Amazon Redshift.

Berikut adalah langkah-langkah yang AWS DMS diperlukan untuk memuat data ke target Amazon Redshift:

Jika Perutean VPC yang Ditingkatkan tidak diaktifkan, Amazon Redshift merutekan lalu lintas melalui internet, termasuk lalu lintas ke layanan lain dalam jaringan. AWS Jika fitur ini tidak diaktifkan Anda tidak harus mengonfigurasi jalur jaringan. Jika fitur diaktifkan, Anda harus secara khusus membuat jalur jaringan antara Anda VPC dari klaster dan sumber data Anda. Untuk informasi lebih lanjut tentang konfigurasi yang diperlukan, lihat Perutean VPC dalam dokumentasi Amazon Redshift.

Membuat dan menggunakan AWS KMS kunci untuk mengenkripsi data target Amazon Redshift

Anda dapat mengenkripsi data target yang dikirim ke Amazon S3 sebelum disalin ke Amazon Redshift. Untuk melakukannya, Anda dapat membuat dan menggunakan AWS KMS kunci khusus. Anda dapat menggunakan kunci yang Anda buat untuk mengenkripsi data target menggunakan salah satu mekanisme berikut saat Anda membuat titik akhir target Amazon Redshift:

Untuk mengenkripsi data target Amazon Redshift menggunakan kunci KMS, Anda memerlukan peran (IAM) AWS Identity and Access Management yang memiliki izin untuk mengakses data Amazon Redshift. IAM role ini kemudian diakses dalam sebuah kebijakan (kebijakan kunci) yang dilampirkan ke kunci enkripsi yang Anda buat. Anda dapat melakukannya melalui konsol IAM Anda dengan membuat hal berikut:

Prosedur berikut menjelaskan cara pembuatannya.

Anda sekarang telah membuat peran baru untuk mengakses sumber daya Amazon Redshift untuk enkripsi dengan nama tertentu, misalnya DMS-Redshift-endpoint-access-role.

Anda sekarang telah membuat bukti kunci KMS baru dengan nama alias tertentu (misalnya DMS-Redshift-endpoint-encryption-key). Kunci ini memungkinkan AWS DMS untuk mengenkripsi data target Amazon Redshift.

Pengaturan titik akhir saat menggunakan Amazon Redshift sebagai target AWS DMS

Anda dapat menggunakan pengaturan titik akhir untuk mengonfigurasi basis data target Amazon Redshift mirip dengan menggunakan atribut koneksi tambahan. Anda menentukan pengaturan saat Anda membuat titik akhir target menggunakan AWS DMS konsol, atau dengan menggunakan create-endpoint perintah di AWS CLI, dengan sintaks --redshift-settings '{"EndpointSetting": "value", ...}' JSON.

Tabel berikut menunjukkan pengaturan titik akhir yang dapat Anda gunakan dengan Amazon Redshift sebagai target.

Menggunakan kunci enkripsi data, dan bucket Amazon S3 sebagai penyimpanan perantara

Anda dapat menggunakan Amazon Redshift target endpoint pengaturan untuk mengkonfigurasi berikut:

Pengaturan kunci KMS untuk enkripsi data

Contoh berikut menunjukkan konfigurasi kunci KMS kustom untuk mengenkripsi data Anda yang dikirim ke S3. Anda bisa memulai dengan membuat panggilan create-endpoint menggunakan AWS CLI.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target 
--engine-name redshift --username your-username --password your-password 
--server-name your-server-name --port 5439 --database-name your-db-name 
--redshift-settings '{"EncryptionMode": "SSE_KMS", 
"ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1"}'

Di sini, objek JSON ditentukan oleh pilihan --redshift-settings yang mendefinisikan dua parameter. Satu berupa parameter EncryptionMode dengan nilai SSE_KMS. Yang satu lagi berupa parameter ServerSideEncryptionKmsKeyId dengan nilai arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1. Nilai ini adalah Amazon Resource Name (ARN) untuk kunci KMS kustom Anda.

Secara default, enkripsi data S3 terjadi menggunakan enkripsi pada sisi server S3. Bagi target Amazon Redshift pada contoh sebelumnya, ini juga setara dengan menentukan pengaturan titik akhir, seperti dalam contoh berikut.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target 
--engine-name redshift --username your-username --password your-password 
--server-name your-server-name --port 5439 --database-name your-db-name 
--redshift-settings '{"EncryptionMode": "SSE_S3"}'

Untuk informasi selengkapnya tentang bekerja dengan enkripsi sisi server S3, lihat Melindungi data menggunakan enkripsi sisi server di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Pengaturan bucket Amazon S3

Saat Anda memigrasikan data ke titik akhir target Amazon Redshift AWS DMS , gunakan bucket Amazon S3 default sebagai penyimpanan tugas perantara sebelum menyalin data yang dimigrasi ke Amazon Redshift. Misalnya, contoh yang ditampilkan untuk membuat titik akhir target Amazon Redshift dengan kunci enkripsi AWS KMS data menggunakan bucket S3 default ini (lihat). Pengaturan kunci KMS untuk enkripsi data

Sebagai gantinya, Anda dapat menentukan bucket S3 kustom untuk penyimpanan perantara ini dengan menyertakan parameter berikut dalam nilai --redshift-settings opsi Anda pada AWS CLI create-endpoint perintah:

Contoh berikut menunjukkan bagaimana Anda bisa menggunakan parameter ini untuk menentukan bucket Amazon S3 kustom dalam panggilan create-endpoint yang menggunakan AWS CLI berikut ini.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target 
--engine-name redshift --username your-username --password your-password 
--server-name your-server-name --port 5439 --database-name your-db-name 
--redshift-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", 
"BucketName": "your-bucket-name", "BucketFolder": "your-bucket-folder-name"}'

Pengaturan tugas multithreaded untuk Amazon Redshift

Anda dapat meningkatkan kinerja tugas full load dan change data capture (CDC) untuk titik akhir target Amazon Redshift dengan menggunakan pengaturan tugas multithreaded. Mereka memungkinkan Anda untuk menentukan jumlah thread serentak dan jumlah catatan untuk disimpan dalam buffer.

Pengaturan tugas beban penuh multithreaded untuk Amazon Redshift

Untuk mempromosikan kinerja beban penuh, Anda dapat menggunakan pengaturan ParallelLoad* tugas berikut:

Pengaturan tugas CDC multithreaded untuk Amazon Redshift

Untuk mempromosikan performa CDC, Anda dapat menggunakan pengaturan tugas ParallelApply* berikut:

Tingkat paralelisme yang diterapkan tergantung pada korelasi antara total Ukuran batch dan Ukuran file maksimal yang digunakan untuk mentransfer data. Ketika menggunakan pengaturan tugas CDC multithreaded dengan target Redshift, manfaat yang diperoleh ketika ukuran batch besar dalam kaitannya dengan ukuran file maksimum. Misalnya, Anda dapat menggunakan kombinasi titik akhir dan pengaturan tugas berikut untuk menyetel performa yang optimal.

// Redshift endpoint setting
                
        MaxFileSize=250000;

// Task settings

        BatchApplyEnabled=true;
        BatchSplitSize =8000;
        BatchApplyTimeoutMax =1800;
        BatchApplyTimeoutMin =1800;
        ParallelApplyThreads=32;
        ParallelApplyBufferSize=100;
            

Menggunakan pengaturan pada contoh sebelumnya, pelanggan dengan beban kerja transaksional berat mendapat manfaat dengan buffer batch mereka, berisi 8000 catatan, diisi dalam 1800 detik, memanfaatkan 32 thread paralel dengan ukuran file maksimum 250 MB.

Untuk informasi selengkapnya, lihat Mengubah pengaturan penyetelan pemrosesan.

Tipe data target untuk Amazon Redshift

Titik akhir Amazon Redshift untuk AWS DMS mendukung sebagian besar tipe data Amazon Redshift. Tabel berikut menunjukkan tipe data target Amazon Redshift yang didukung saat menggunakan AWS DMS dan pemetaan default dari AWS DMS tipe data.

Untuk informasi tambahan tentang tipe AWS DMS data, lihatTipe data untuk AWS Database Migration Service.

Menggunakan AWS DMS Amazon Redshift Serverless sebagai Target

AWS DMS mendukung penggunaan Amazon Redshift Serverless sebagai titik akhir target. Untuk informasi tentang menggunakan Amazon Redshift Tanpa Server, lihat Amazon Redshift Tanpa Server di Panduan Manajemen Pergeseran Merah Amazon.

Topik ini menjelaskan cara menggunakan titik akhir Amazon Redshift Tanpa Server dengan. AWS DMS

Kebijakan Kepercayaan dengan Amazon Redshift Serverless sebagai target

Saat menggunakan Amazon Redshift Tanpa Server sebagai titik akhir target, Anda harus menambahkan bagian yang disorot berikut ke kebijakan kepercayaan Anda. Kebijakan kepercayaan ini melekat pada dms-access-for-endpoint peran.

{
    "PolicyVersion": {
        "CreateDate": "2016-05-23T16:29:57Z", 
        "VersionId": "v3", 
        "Document": {
        "Version": "2012-10-17", 
        "Statement": [
            {
                "Action": [
                    "ec2:CreateNetworkInterface", 
                    "ec2:DescribeAvailabilityZones", 
                    "ec2:DescribeInternetGateways", 
                    "ec2:DescribeSecurityGroups", 
                    "ec2:DescribeSubnets", 
                    "ec2:DescribeVpcs", 
                    "ec2:DeleteNetworkInterface", 
                    "ec2:ModifyNetworkInterfaceAttribute"
                ], 
                "Resource": "arn:aws:service:region:account:resourcetype/id", 
                "Effect": "Allow"
            },
            {
                "Sid": "",
                "Effect": "Allow",
                "Principal": {
                    "Service": "redshift-serverless.amazonaws.com"
                },
                "Action": "sts:AssumeRole"
            }
        ]
    }, 
    "IsDefaultVersion": true
    }
}

Untuk informasi selengkapnya tentang menggunakan kebijakan kepercayaan dengan AWS DMS, lihatMembuat IAM peran untuk digunakan dengan AWS DMS.

Keterbatasan saat menggunakan Amazon Redshift Serverless sebagai target

Menggunakan Redshift Tanpa Server sebagai target memiliki batasan sebagai berikut: