Mengkonfigurasi AWS DataSync transfer dengan Amazon S3 - AWS DataSync
Mengakses bucket S3Pertimbangan kelas penyimpanan dengan transfer Amazon S3Mengevaluasi biaya permintaan S3 saat menggunakan DataSyncPertimbangan lain dengan transfer Amazon S3Membuat lokasi transfer Amazon S3 AndaMentransfer ke atau dari bucket S3 melintasi Akun AWS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi AWS DataSync transfer dengan Amazon S3

Untuk mentransfer data ke atau dari bucket Amazon S3, Anda membuat lokasi AWS DataSync transfer. DataSync dapat menggunakan lokasi ini sebagai sumber atau tujuan untuk mentransfer data.

penting

Sebelum Anda membuat lokasi Anda, pastikan bahwa Anda membaca bagian berikut:

Mengakses bucket S3

DataSync membutuhkan akses ke bucket S3 yang Anda transfer ke atau dari. Untuk melakukannya, Anda harus membuat peran AWS Identity and Access Management (IAM) yang DataSync diasumsikan dengan izin yang diperlukan untuk mengakses bucket. Anda kemudian dapat menentukan peran ini saat membuat lokasi Amazon S3 untuk. DataSync

Membuat peran IAM DataSync untuk mengakses lokasi Amazon S3 Anda

Saat membuat lokasi Amazon S3 di konsol, DataSync dapat secara otomatis membuat dan mengambil peran IAM yang biasanya memiliki izin yang tepat untuk mengakses bucket S3 Anda.

Dalam beberapa situasi, Anda mungkin perlu membuat peran ini secara manual (misalnya, mengakses bucket dengan lapisan keamanan tambahan atau mentransfer ke atau dari bucket yang berbeda). Akun AWS

  1. Buka konsol IAM di https://console.aws.amazon.com/iam/.

  2. Di panel navigasi kiri, di bawah Manajemen akses, pilih Peran, lalu pilih Buat peran.

  3. Pada halaman Pilih entitas tepercaya, untuk jenis entitas Tepercaya, pilih Layanan AWS.

  4. Untuk kasus Penggunaan, pilih DataSyncdi daftar dropdown dan pilih. DataSync Pilih Berikutnya.

  5. Pada halaman Tambahkan izin, pilih Berikutnya. Beri nama peran Anda dan pilih Buat peran.

  6. Pada halaman Peran, cari peran yang baru saja Anda buat dan pilih namanya.

  7. Pada halaman detail peran, pilih tab Izin. Pilih Tambahkan izin lalu Buat kebijakan sebaris.

  8. Pilih tab JSON dan tempelkan salah satu contoh kebijakan berikut ke editor kebijakan:

    Amazon S3 in Wilayah AWS
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:s3:::bucket-name"
        },
        {
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:DeleteObject",
                "s3:GetObject",
                "s3:GetObjectTagging",
                "s3:GetObjectVersion",
                "s3:GetObjectVersionTagging",
                "s3:ListMultipartUploadParts",
                "s3:PutObject",
                "s3:PutObjectTagging"
              ],
            "Effect": "Allow",
            "Resource": "arn:aws:s3:::bucket-name/*"
        }
    ]
}
    Amazon S3 on Outposts
    {
        "Version": "2012-10-17",
        "Statement": [{
                "Action": [
                    "s3-outposts:ListBucket",
                    "s3-outposts:ListBucketMultipartUploads"
                ],
                "Effect": "Allow",
                "Resource": [
                    "arn:aws:s3-outposts:region:account-id:outpost/outpost-id/bucket/bucket-name",
                    "arn:aws:s3-outposts:region:account-id:outpost/outpost-id/accesspoint/bucket-access-point-name"
                ]
            },
            {
                "Action": [
                    "s3-outposts:AbortMultipartUpload",
                    "s3-outposts:DeleteObject",
                    "s3-outposts:GetObject",
                    "s3-outposts:GetObjectTagging",
                    "s3-outposts:GetObjectVersion",
                    "s3-outposts:GetObjectVersionTagging",
                    "s3-outposts:ListMultipartUploadParts",
                    "s3-outposts:PutObject",
                    "s3-outposts:PutObjectTagging"
                ],
                "Effect": "Allow",
                "Resource": [
                    "arn:aws:s3-outposts:region:account-id:outpost/outpost-id/bucket/bucket-name/*",
                    "arn:aws:s3-outposts:region:account-id:outpost/outpost-id/accesspoint/bucket-access-point-name/*"
                ]
            },
            {
                "Action": "s3-outposts:GetAccessPoint",
                "Effect": "Allow",
                "Resource": "arn:aws:s3-outposts:region:account-id:outpost/outpost-id/accesspoint/bucket-access-point-name"
            }
        ]
}

  9. Pilih Berikutnya. Beri nama kebijakan Anda dan pilih Buat kebijakan.

  10. (Disarankan) Untuk mencegah masalah wakil lintas layanan yang membingungkan, lakukan hal berikut:

    1. Pada halaman detail peran, pilih tab Trust relationship. Pilih Edit kebijakan kepercayaan.

    2. Perbarui kebijakan kepercayaan dengan menggunakan contoh berikut, yang mencakup kunci konteks kondisi aws:SourceAccount global aws:SourceArn dan global:

      {
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "datasync.amazonaws.com"
        },
        "Action": "sts:AssumeRole",
        "Condition": {
            "StringEquals": {
                "aws:SourceAccount": "account-id"
            },
            "StringLike": {
                "aws:SourceArn": "arn:aws:datasync:region:account-id:*"
            }
        }
    }]
}

    3. Pilih Perbarui kebijakan.

Anda dapat menentukan peran ini saat membuat lokasi Amazon S3 Anda.

Mengakses bucket S3 menggunakan enkripsi sisi server

DataSync dapat mentransfer data ke atau dari bucket S3 yang menggunakan enkripsi sisi server. Jenis kunci enkripsi yang digunakan bucket dapat menentukan apakah Anda memerlukan kebijakan khusus yang memungkinkan DataSync untuk mengakses bucket.

Saat menggunakan DataSync dengan bucket S3 yang menggunakan enkripsi sisi server, ingat hal berikut:

  • Jika bucket S3 Anda dienkripsi dengan kunci AWS terkelola — DataSync dapat mengakses objek bucket secara default jika semua sumber daya Anda sama. Akun AWS

  • Jika bucket S3 Anda dienkripsi dengan kunci yang dikelola pelanggan AWS Key Management Service (AWS KMS) (SSE-KMS) — Kebijakan kunci harus menyertakan peran IAM yang digunakan untuk mengakses bucket. DataSync

  • Jika bucket S3 Anda dienkripsi dengan kunci SSE-KMS yang dikelola pelanggan dan yang berbeda Akun AWS— DataSync memerlukan izin untuk mengakses bucket di bucket lainnya. Akun AWS Anda dapat mengatur ini dengan melakukan hal berikut:

  • Jika bucket S3 Anda dienkripsi dengan kunci enkripsi yang disediakan pelanggan (SSE-C) — tidak dapat mengakses bucket ini. DataSync

Contoh berikut adalah kebijakan kunci untuk kunci SSE-KMS yang dikelola pelanggan. Kebijakan ini terkait dengan bucket S3 yang menggunakan enkripsi sisi server.

Jika Anda ingin menggunakan contoh ini, ganti nilai berikut dengan milik Anda sendiri:

  • account-id — Anda. Akun AWS

  • admin-role-name— Nama peran IAM yang dapat mengelola kunci.

  • datasync-role-name— Nama peran IAM yang memungkinkan DataSync untuk menggunakan kunci saat mengakses bucket.

{
    "Id": "key-consolepolicy-3",
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Enable IAM Permissions",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::account-id:root"
            },
            "Action": "kms:*",
            "Resource": "*"
        },
        {
            "Sid": "Allow access for Key Administrators",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::account-id:role/admin-role-name"
            },
            "Action": [
                "kms:Create*",
                "kms:Describe*",
                "kms:Enable*",
                "kms:List*",
                "kms:Put*",
                "kms:Update*",
                "kms:Revoke*",
                "kms:Disable*",
                "kms:Get*",
                "kms:Delete*",
                "kms:TagResource",
                "kms:UntagResource",
                "kms:ScheduleKeyDeletion",
                "kms:CancelKeyDeletion"
            ],
            "Resource": "*"
        },
        {
            "Sid": "Allow use of the key",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::account-id:role/datasync-role-name"
            },
            "Action": [
                "kms:Encrypt",
                "kms:Decrypt",
                "kms:ReEncrypt*",
                "kms:GenerateDataKey*"
            ],
            "Resource": "*"
        },
        {
            "Sid": "Allow attachment of persistent resources",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::account-id:role/datasync-role-name"
            },
            "Action": [
                "kms:CreateGrant",
                "kms:ListGrants",
                "kms:RevokeGrant"
            ],
            "Resource": "*",
            "Condition": {
                "Bool": {
                    "kms:GrantIsForAWSResource": "true"
                }
            }
        }
    ]
}

Mengakses bucket S3 dengan akses VPC terbatas

Bucket Amazon S3 yang membatasi akses ke titik akhir virtual private cloud (VPC) tertentu atau VPC akan menolak mentransfer ke atau DataSync dari bucket tersebut. Untuk mengaktifkan transfer dalam situasi ini, Anda dapat memperbarui kebijakan bucket untuk menyertakan peran IAM yang Anda tentukan dengan DataSync lokasi Anda.

Option 1: Allowing access based on DataSync location role ARN

Dalam kebijakan bucket S3, Anda dapat menentukan Nama Sumber Daya Amazon (ARN) peran IAM lokasi DataSync Anda.

Contoh berikut adalah kebijakan bucket S3 yang menolak akses dari semua kecuali dua VPC (vpc-1234567890abcdef0dan). vpc-abcdef01234567890 Namun, kebijakan tersebut juga mencakup kunci ArnNotLikeIfExistsPrincipalArnkondisi dan aws: condition, yang memungkinkan ARN peran DataSync lokasi mengakses bucket.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Access-to-specific-VPCs-only",
            "Effect": "Deny",
            "Principal": "*",
            "Action": "s3:*",
            "Resource": "arn:aws:s3:::bucket-name/*",
            "Condition": {
                "StringNotEqualsIfExists": {
                    "aws:SourceVpc": [
                        "vpc-1234567890abcdef0",
                        "vpc-abcdef01234567890"
                    ]
                },
                "ArnNotLikeIfExists": {
                    "aws:PrincipalArn": [
                        "arn:aws:iam::account-id:role/datasync-location-role-name"
                    ]
                }
            }
        }
    ]
}
Option 2: Allowing access based on DataSync location role tag

Dalam kebijakan bucket S3, Anda dapat menentukan tag yang dilampirkan ke peran IAM DataSync lokasi Anda.

Contoh berikut adalah kebijakan bucket S3 yang menolak akses dari semua kecuali dua VPC (vpc-1234567890abcdef0dan). vpc-abcdef01234567890 Namun, kebijakan tersebut juga menyertakan kunci StringNotEqualsIfExistskondisi dan aws: PrincipalTag condition, yang memungkinkan prinsipal dengan kunci tag exclude-from-vpc-restriction dan nilaitrue. Anda dapat mencoba pendekatan serupa dalam kebijakan bucket dengan menentukan tag yang dilampirkan ke peran DataSync lokasi Anda.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Access-to-specific-VPCs-only",
            "Effect": "Deny",
            "Principal": "*",
            "Action": "s3:*",
            "Resource": "arn:aws:s3:::bucket-name/*",
            "Condition": {
                "StringNotEqualsIfExists": {
                    "aws:SourceVpc": [
                        "vpc-1234567890abcdef0",
                        "vpc-abcdef01234567890"
                    ],
                    "aws:PrincipalTag/exclude-from-vpc-restriction": "true"
                }
            }
        }
    ]
}

Pertimbangan kelas penyimpanan dengan transfer Amazon S3

Ketika Amazon S3 adalah tujuan transfer Anda, DataSync dapat mentransfer data langsung ke kelas penyimpanan Amazon S3 tertentu. Beberapa kelas penyimpanan memiliki perilaku yang dapat memengaruhi biaya penyimpanan Amazon S3 Anda. Untuk informasi selengkapnya, lihat Harga Amazon S3.

penting

Objek baru yang disalin ke bucket S3 disimpan menggunakan kelas penyimpanan yang Anda tentukan saat membuat lokasi transfer Amazon S3. DataSync tidak akan mengubah kelas penyimpanan objek yang ada di bucket (bahkan jika objek itu dimodifikasi di lokasi sumber).

Kelas penyimpanan Amazon S3 Pertimbangan
S3 Standard Pilih Standar S3 untuk menyimpan file yang sering Anda akses secara berlebihan di beberapa Availability Zone yang terpisah secara geografis. Ini adalah kelas penyimpanan default jika Anda tidak menentukannya.
S3 Intelligent-Tiering

Pilih S3 Intelligent-Tiering untuk mengoptimalkan biaya penyimpanan dengan memindahkan data secara otomatis ke tingkat akses penyimpanan yang paling hemat biaya.

Anda membayar biaya bulanan per objek yang disimpan di kelas penyimpanan S3 Intelligent-Tiering. Biaya Amazon S3 ini mencakup pemantauan pola akses data dan memindahkan objek antar tingkatan.
S3 Standard-IA

Pilih IA Standar S3 untuk menyimpan objek yang jarang Anda akses secara berlebihan di beberapa Availability Zone yang terpisah secara geografis.

Objek yang disimpan dalam kelas penyimpanan IA standar S3 dapat dikenakan biaya tambahan untuk menimpa, menghapus, atau mengambil. Pertimbangkan seberapa sering objek ini berubah, berapa lama Anda berencana untuk menyimpan objek ini, dan seberapa sering Anda perlu mengaksesnya. Perubahan data objek atau metadata setara dengan menghapus objek dan membuat objek baru untuk menggantikannya. Ini menghasilkan biaya tambahan untuk objek yang disimpan di kelas penyimpanan IA standar S3.

Objek kurang dari 128 KB lebih kecil dari muatan kapasitas minimum per objek di kelas penyimpanan IA standar S3. Benda-benda ini disimpan di kelas penyimpanan Standar S3.
S3 One Zone-IA

Pilih S3 One Zone-IA untuk menyimpan objek yang jarang Anda akses dalam satu Availability Zone.

Objek yang disimpan di kelas penyimpanan IA Satu Zona S3 dapat dikenakan biaya tambahan untuk menimpa, menghapus, atau mengambil. Pertimbangkan seberapa sering objek ini berubah, berapa lama Anda berencana untuk menyimpan objek ini, dan seberapa sering Anda perlu mengaksesnya. Perubahan data objek atau metadata setara dengan menghapus objek dan membuat objek baru untuk menggantikannya. Ini menghasilkan biaya tambahan untuk objek yang disimpan di kelas penyimpanan IA Zona Satu S3.

Objek kurang dari 128 KB lebih kecil dari muatan kapasitas minimum per objek di kelas penyimpanan IA Satu Zona S3. Benda-benda ini disimpan di kelas penyimpanan Standar S3.
S3 Glacier Instant Retrieval

Pilih S3 Glacier Instant Retrieval untuk mengarsipkan objek yang jarang diakses tetapi memerlukan pengambilan dalam milidetik.

Data yang disimpan di kelas penyimpanan S3 Glacier Instant Retrieval menawarkan penghematan biaya dibandingkan dengan kelas penyimpanan IA Standar S3 dengan kinerja latensi dan throughput yang sama. S3 Glacier Instant Retrieval memiliki biaya akses data yang lebih tinggi daripada IA Standar S3.

Objek yang disimpan di S3 Glacier Instant Retrieval dapat dikenakan biaya tambahan untuk menimpa, menghapus, atau mengambil. Pertimbangkan seberapa sering objek ini berubah, berapa lama Anda berencana untuk menyimpan objek ini, dan seberapa sering Anda perlu mengaksesnya. Perubahan data objek atau metadata setara dengan menghapus objek dan membuat objek baru untuk menggantikannya. Ini menghasilkan biaya tambahan untuk objek yang disimpan di kelas penyimpanan S3 Glacier Instant Retrieval.

Objek kurang dari 128 KB lebih kecil dari muatan kapasitas minimum per objek di kelas penyimpanan S3 Glacier Instant Retrieval. Benda-benda ini disimpan di kelas penyimpanan Standar S3.
S3 Glacier Flexible Retrieval

Pilih S3 Glacier Flexible Retrieval untuk arsip yang lebih aktif.

Objek yang disimpan dalam S3 Glacier Flexible Retrieval dapat dikenakan biaya tambahan untuk menimpa, menghapus, atau mengambil. Pertimbangkan seberapa sering objek ini berubah, berapa lama Anda berencana untuk menyimpan objek ini, dan seberapa sering Anda perlu mengaksesnya. Perubahan data objek atau metadata setara dengan menghapus objek dan membuat objek baru untuk menggantikannya. Ini menghasilkan biaya tambahan untuk objek yang disimpan di kelas penyimpanan S3 Glacier Flexible Retrieval.

Objek kurang dari 40 KB lebih kecil dari muatan kapasitas minimum per objek di kelas penyimpanan S3 Glacier Flexible Retrieval. Benda-benda ini disimpan di kelas penyimpanan Standar S3.

Anda harus mengembalikan objek yang diarsipkan di kelas penyimpanan ini sebelum DataSync dapat membacanya. Untuk selengkapnya, lihat Bekerja dengan objek yang diarsipkan di Panduan Pengguna Amazon S3.

Saat menggunakan S3 Glacier Flexible Retrieval, pilih opsi Verifikasi hanya tugas yang ditransfer data untuk membandingkan checksum data dan metadata di akhir transfer. Anda tidak dapat menggunakan opsi Verifikasi semua data di tujuan untuk kelas penyimpanan ini karena memerlukan pengambilan semua objek yang ada dari tujuan.
S3 Glacier Deep Archive

Pilih S3 Glacier Deep Archive untuk mengarsipkan objek Anda untuk retensi data jangka panjang dan pelestarian digital di mana data diakses sekali atau dua kali setahun.

Objek yang disimpan di S3 Glacier Deep Archive dapat dikenakan biaya tambahan karena menimpa, menghapus, atau mengambil. Pertimbangkan seberapa sering objek ini berubah, berapa lama Anda berencana untuk menyimpan objek ini, dan seberapa sering Anda perlu mengaksesnya. Perubahan data objek atau metadata setara dengan menghapus objek dan membuat objek baru untuk menggantikannya. Hal ini mengakibatkan biaya tambahan untuk objek yang disimpan dalam kelas penyimpanan S3 Glacier Deep Archive.

Objek kurang dari 40 KB lebih kecil dari biaya kapasitas minimum per objek di kelas penyimpanan S3 Glacier Deep Archive. Benda-benda ini disimpan di kelas penyimpanan Standar S3.

Anda harus mengembalikan objek yang diarsipkan di kelas penyimpanan ini sebelum DataSync dapat membacanya. Untuk selengkapnya, lihat Bekerja dengan objek yang diarsipkan di Panduan Pengguna Amazon S3.

Saat menggunakan S3 Glacier Deep Archive, pilih opsi Verifikasi hanya tugas yang ditransfer data untuk membandingkan checksum data dan metadata di akhir transfer. Anda tidak dapat menggunakan opsi Verifikasi semua data di tujuan untuk kelas penyimpanan ini karena memerlukan pengambilan semua objek yang ada dari tujuan.

Outposts S3

Kelas penyimpanan untuk Amazon S3 pada Outposts.

Mengevaluasi biaya permintaan S3 saat menggunakan DataSync

Dengan lokasi Amazon S3, Anda dikenakan biaya terkait permintaan API S3 yang dibuat oleh. DataSync Bagian ini dapat membantu Anda memahami cara DataSync menggunakan permintaan ini dan bagaimana hal itu dapat memengaruhi biaya Amazon S3 Anda.

Permintaan S3 dibuat oleh DataSync

Tabel berikut menjelaskan permintaan S3 yang DataSync dapat dibuat saat Anda menyalin data ke atau dari lokasi Amazon S3.

Permintaan S3 Bagaimana DataSync menggunakannya

ListObjectV2

DataSync membuat setidaknya satu LIST permintaan untuk setiap objek yang diakhiri dengan garis miring (/) untuk membuat daftar objek yang dimulai dengan awalan itu. Permintaan ini dipanggil selama fase persiapan tugas.

HeadObject

DataSync membuat HEAD permintaan untuk mengambil metadata objek selama fase persiapan dan verifikasi tugas. Mungkin ada beberapa HEAD permintaan per objek tergantung pada bagaimana Anda DataSync ingin memverifikasi integritas data yang ditransfer.

GetObject

DataSync membuat GET permintaan untuk membaca data dari objek selama fase transfer tugas. Mungkin ada beberapa GET permintaan untuk objek besar.

GetObjectTagging

Jika Anda mengonfigurasi tugas Anda untuk menyalin tag objek, DataSync buat GET permintaan ini untuk memeriksa tag objek selama fase persiapan dan transfer tugas.

PutObject

DataSync membuat PUT permintaan untuk membuat objek dan awalan di bucket S3 tujuan selama fase transfer tugas. Karena DataSync menggunakan fitur unggahan multipart Amazon S3, mungkin ada beberapa PUT permintaan untuk objek besar.

PutObjectTagging

Jika objek sumber Anda memiliki tag dan Anda mengonfigurasi tugas Anda untuk menyalin tag objek, DataSync buat PUT permintaan ini saat mentransfer tag tersebut.

CopyObject

DataSync membuat COPY permintaan untuk membuat salinan objek hanya jika metadata objek itu berubah. Ini dapat terjadi jika Anda awalnya menyalin data ke bucket S3 menggunakan layanan atau alat lain yang tidak membawa metadatanya.

Pertimbangan biaya

DataSync membuat permintaan S3 pada bucket S3 setiap kali Anda menjalankan tugas Anda. Hal ini dapat menyebabkan biaya bertambah dalam situasi tertentu. Sebagai contoh:

  • Anda sering mentransfer objek ke atau dari bucket S3.

  • Anda mungkin tidak mentransfer banyak data, tetapi bucket S3 Anda memiliki banyak objek di dalamnya. Anda masih dapat melihat muatan tinggi dalam skenario ini karena DataSync membuat permintaan S3 pada setiap objek bucket.

  • Anda mentransfer antar bucket S3, begitu DataSync juga dengan membuat permintaan S3 pada sumber dan tujuan.

Untuk membantu meminimalkan biaya permintaan S3 yang terkait dengan DataSync, pertimbangkan hal berikut:

Kelas penyimpanan S3 apa yang saya gunakan?

Biaya permintaan S3 dapat bervariasi berdasarkan kelas penyimpanan Amazon S3 yang digunakan objek Anda, terutama untuk kelas yang mengarsipkan objek (seperti S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, dan S3 Glacier Deep Archive).

Berikut adalah beberapa skenario di mana kelas penyimpanan dapat memengaruhi biaya permintaan S3 Anda saat menggunakan DataSync:

  • Setiap kali Anda menjalankan tugas, DataSync membuat HEAD permintaan untuk mengambil metadata objek. Permintaan ini menghasilkan biaya bahkan jika Anda tidak memindahkan objek apa pun. Seberapa besar permintaan ini memengaruhi tagihan Anda tergantung pada kelas penyimpanan yang digunakan objek Anda bersama dengan jumlah objek yang DataSync memindai.

  • Jika Anda memindahkan objek ke kelas penyimpanan S3 Glacier Instant Retrieval (baik secara langsung atau melalui konfigurasi siklus hidup bucket), permintaan pada objek di kelas ini lebih mahal daripada objek di kelas penyimpanan lainnya.

  • Jika Anda mengonfigurasi DataSync tugas untuk memverifikasi bahwa lokasi sumber dan tujuan Anda sepenuhnya disinkronkan, akan ada GET permintaan untuk setiap objek di semua kelas penyimpanan (kecuali S3 Glacier Flexible Retrieval dan S3 Glacier Deep Archive).

  • Selain GET permintaan, Anda dikenakan biaya pengambilan data untuk objek di kelas penyimpanan Pengambilan Instan S3 Standard-IA, S3 One Zone-IA, atau S3 Glacier Instant Retrieval.

Untuk informasi selengkapnya, lihat Harga Amazon S3.

Seberapa sering saya perlu mentransfer data saya?

Jika Anda perlu memindahkan data secara berulang, pikirkan jadwal yang tidak menjalankan lebih banyak tugas daripada yang Anda butuhkan.

Anda juga dapat mempertimbangkan untuk membatasi ruang lingkup transfer Anda. Misalnya, Anda dapat mengonfigurasi DataSync untuk fokus pada objek dalam awalan tertentu atau memfilter data apa yang ditransfer. Opsi ini dapat membantu mengurangi jumlah permintaan S3 yang dibuat setiap kali Anda menjalankan DataSync tugas.

Pertimbangan lain dengan transfer Amazon S3

Saat menggunakan Amazon S3 dengan DataSync, ingat hal berikut:

  • Perubahan pada data objek atau metadata setara dengan menghapus dan mengganti objek. Perubahan ini menghasilkan biaya tambahan dalam skenario berikut:

    • Saat menggunakan versi objek - Perubahan pada data objek atau metadata membuat versi baru objek.

    • Saat menggunakan kelas penyimpanan yang dapat dikenakan biaya tambahan untuk menimpa, menghapus, atau mengambil objek — Perubahan pada data objek atau metadata mengakibatkan biaya tersebut. Untuk informasi selengkapnya, lihat Pertimbangan kelas penyimpanan dengan transfer Amazon S3.

  • Saat menggunakan versi objek di Amazon S3, menjalankan DataSync tugas transfer sekali dapat membuat lebih dari satu versi objek Amazon S3.

  • DataSync mungkin tidak mentransfer objek jika memiliki karakter yang tidak standar dalam namanya. Untuk informasi selengkapnya, lihat pedoman penamaan kunci objek di Panduan Pengguna Amazon S3.

  • Untuk membantu meminimalkan biaya penyimpanan Amazon S3, sebaiknya gunakan konfigurasi siklus hidup untuk menghentikan unggahan multibagian yang tidak lengkap.

  • Setelah awalnya mentransfer data dari bucket S3 ke sistem file (misalnya, NFS atau Amazon FSx), menjalankan DataSync tugas yang sama berikutnya tidak akan menyertakan objek yang telah dimodifikasi tetapi ukurannya sama dengan saat transfer pertama.

  • Jika Anda mentransfer dari bucket S3, gunakan Amazon S3 Storage Lens untuk mengetahui berapa banyak objek yang Anda pindahkan.

    Tip

    Saat mentransfer antar bucket S3, tidak DataSync dapat bekerja dengan lebih dari 25 juta objek per eksekusi tugas. Jika ada lebih dari 25 juta objek yang terlibat, kami merekomendasikan beberapa opsi:

    • Mengatur objek Anda menggunakan awalan yang tidak mencakup lebih dari 25 juta objek. Anda kemudian dapat membuat DataSync tugas terpisah untuk setiap awalan.

    • Memfilter data yang ditransfer oleh DataSync.

Membuat lokasi transfer Amazon S3 Anda

Untuk membuat lokasi, Anda memerlukan bucket S3 yang ada. Jika Anda tidak memilikinya, lihat Memulai Amazon S3 di Panduan Pengguna Amazon S3.

Tip

Jika bucket S3 Anda memiliki objek dengan kelas penyimpanan yang berbeda, pelajari cara DataSyncbekerja dengan kelas penyimpanan ini dan bagaimana hal itu dapat memengaruhi AWS tagihan Anda.

Untuk membuat lokasi Amazon S3

  1. Buka AWS DataSync konsol di https://console.aws.amazon.com/datasync/.

  2. Di panel navigasi kiri, perluas Transfer data, lalu pilih Lokasi dan Buat lokasi.

  3. Untuk jenis Lokasi, pilih Amazon S3.

  4. Untuk bucket S3, pilih bucket yang ingin Anda gunakan sebagai lokasi. (Saat membuat DataSync tugas nanti, Anda menentukan apakah lokasi ini adalah sumber transfer atau tujuan.)

    Jika bucket S3 Anda terletak di AWS Outposts sumber daya, Anda harus menentukan jalur akses Amazon S3. Untuk informasi selengkapnya, lihat Mengelola akses data dengan jalur akses Amazon S3 di Panduan Pengguna Amazon S3.

  5. Untuk kelas penyimpanan S3, pilih kelas penyimpanan yang Anda ingin objek Anda gunakan saat Amazon S3 adalah tujuan transfer.

    Untuk informasi selengkapnya, lihat Pertimbangan kelas penyimpanan dengan transfer Amazon S3.

  6. (Hanya Amazon S3 di Outposts) Untuk Agen, tentukan Nama Sumber Daya Amazon (ARN) agen di Outpost Anda. DataSync

    Untuk informasi selengkapnya, lihat Menyebarkan agen Anda di AWS Outposts.

  7. Untuk Folder, masukkan awalan di bucket S3 yang DataSync membaca dari atau menulis ke (tergantung pada apakah bucket adalah lokasi sumber atau tujuan).

    Awas

    DataSync tidak dapat mentransfer objek dengan awalan yang dimulai dengan garis miring (/) atau termasuk//,/./, atau /../ pola. Sebagai contoh:

    • /photos

    • photos//2006/January

    • photos/./2006/February

    • photos/../2006/March

  8. Untuk IAM role, lakukan salah satu hal berikut ini:

    • Pilih Autogenerate DataSync untuk membuat peran IAM secara otomatis dengan izin yang diperlukan untuk mengakses bucket S3.

      Jika DataSync sebelumnya membuat peran IAM untuk bucket S3 ini, peran tersebut dipilih secara default.

    • Pilih peran IAM kustom yang Anda buat. Untuk informasi selengkapnya, lihat Membuat peran IAM DataSync untuk mengakses lokasi Amazon S3 Anda.

  9. (Opsional) Pilih Tambahkan tag untuk menandai lokasi Amazon S3 Anda.

    Tanda adalah pasangan nilai kunci yang membantu mengelola, memfilter, dan mencari lokasi Anda.

  10. Pilih Buat lokasi.

Setelah dibuat, Anda dapat menggunakan lokasi ini sebagai sumber atau tujuan untuk transfer Anda.

Mentransfer ke atau dari bucket S3 melintasi Akun AWS

Dengan DataSync, Anda dapat memindahkan data ke atau dari bucket S3 secara berbeda. Akun AWS Untuk informasi lebih lanjut, lihat tutorial berikut: