Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengunggah dan menyalin objek menggunakan unggahan multipart di Amazon S3
Unggahan multipart memungkinkan Anda mengunggah satu objek ke Amazon S3 sebagai satu set bagian. Setiap bagian merupakan bagian data objek yang saling berkaitan. Anda dapat mengunggah bagian objek ini secara independen, dan dalam urutan apa pun. Untuk unggahan, AWS klien Anda yang diperbarui secara otomatis menghitung checksum objek dan mengirimkannya ke Amazon S3 bersama dengan ukuran objek sebagai bagian dari permintaan. Jika ada transmisi bagian mana pun yang gagal, Anda dapat mentransmisikan ulang bagian tersebut tanpa memengaruhi bagian lainnya. Setelah semua bagian objek Anda diunggah, Amazon S3 merakitnya untuk membuat objek. Ini adalah praktik terbaik untuk menggunakan unggahan multipart untuk objek yang 100 MB atau lebih besar daripada mengunggahnya dalam satu operasi.
Penggunaan unggahan multibagian memberikan keuntungan sebagai berikut:
-
Peningkatan throughput–Anda dapat mengunggah bagian-bagian secara paralel untuk meningkatkan throughput.
-
Pemulihan yang cepat dari masalah jaringan apa pun–Ukuran bagian yang lebih kecil meminimalkan dampak pengunggahan ulang karena kesalahan jaringan.
-
Jeda dan pelanjutan pengunggahan objek–Anda dapat mengunggah bagian-bagian objek kapan saja. Setelah Anda memulai unggahan multibagian, tidak ada kedaluwarsa; Anda harus secara eksplisit menyelesaikan atau menghentikan unggahan multibagian.
-
Mulai unggahan sebelum Anda mengetahui ukuran objek akhir — Anda dapat mengunggah objek saat Anda membuatnya.
Kami menyarankan agar Anda menggunakan unggahan multibagian dengan cara berikut:
-
Jika Anda mengunggah objek besar melalui jaringan bandwidth tinggi yang stabil, gunakan unggahan multipart untuk memaksimalkan penggunaan bandwidth yang tersedia dengan mengunggah bagian objek secara paralel untuk kinerja multi-threaded.
-
Jika Anda mengunggah melalui jaringan jerawatan, gunakan unggahan multibagian untuk meningkatkan ketahanan terhadap kesalahan jaringan dengan menghindari pengunggahan dimulai ulang. Saat menggunakan unggahan multibagian, Anda hanya perlu mencoba mengunggah kembali bagian yang terputus selama pengunggahan. Anda tidak perlu mengunggah ulang objek Anda dari awal.
catatan
Untuk informasi selengkapnya tentang menggunakan kelas penyimpanan Amazon S3 Express One Zone dengan bucket direktori, lihat S3 Express One Zone dan Bekerja dengan bucket direktori. Untuk informasi selengkapnya tentang penggunaan unggahan multibagian dengan S3 Express One Zone dan bucket direktori, lihat Menggunakan unggahan multibagian dengan bucket direktori.
Proses pengunggahan multibagian
Unggahan multipart adalah proses tiga langkah: Anda memulai unggahan, mengunggah bagian objek, dan—setelah mengunggah semua bagian—menyelesaikan unggahan multipart. Setelah menerima permintaan upload multipart lengkap, Amazon S3 membuat objek dari bagian yang diunggah, dan Anda dapat mengakses objek seperti halnya objek lain di bucket Anda.
Anda dapat membuat daftar semua unggahan multibagian yang sedang berlangsung, atau mendapatkan daftar bagian yang telah Anda unggah untuk unggahan multibagian tertentu. Setiap operasi ini dijelaskan dalam bagian ini.
Menginisiasi unggahan multibagian
Saat Anda mengirim permintaan untuk memulai unggahan multipart, pastikan untuk menentukan jenis checksum. Amazon S3 kemudian akan mengembalikan respons dengan ID unggahan, yang merupakan pengenal unik untuk unggahan multipart Anda. ID unggahan ini diperlukan saat Anda mengunggah suku cadang, mencantumkan bagian, menyelesaikan unggahan, atau menghentikan unggahan. Jika Anda ingin memberikan metadata yang menjelaskan objek yang sedang diunggah, Anda harus menyediakannya dalam permintaan untuk memulai unggahan multipart.
Pengunggahan bagian-bagian
Saat mengunggah bagian, Anda harus menentukan nomor bagian selain ID unggahan. Anda dapat memilih nomor bagian antara 1 hingga 10.000. Nomor bagian secara unik mengidentifikasi sebuah bagian dan posisinya dalam objek yang Anda unggah. Nomor bagian yang Anda pilih tidak harus berurutan (misalnya, nomornya dapat berupa 1, 5, dan 14). Ketahuilah bahwa jika Anda mengunggah bagian baru menggunakan nomor bagian yang sama dengan bagian yang diunggah sebelumnya, bagian yang diunggah sebelumnya akan ditimpa.
Saat Anda mengunggah bagian, Amazon S3 mengembalikan jenis algoritma checksum dengan nilai checksum untuk setiap bagian sebagai header dalam respons. Untuk setiap unggahan bagian, Anda harus mencatat nomor bagian dan ETag nilainya. Anda harus memasukkan nilai-nilai ini dalam permintaan selanjutnya untuk menyelesaikan unggahan multibagian. Setiap bagian akan memiliki sendiri ETag pada saat upload. Namun, setelah unggahan multipart selesai dan semua bagian dikonsolidasikan, semua bagian menjadi milik satu ETag sebagai checksum checksum.
penting
Setelah Anda memulai pengunggahan multibagian dan mengunggah satu atau beberapa bagian, Anda harus menyelesaikan atau menghentikan unggahan multibagian untuk menghentikan biaya penyimpanan komponen yang diunggah. Hanya setelah Anda menyelesaikan atau menghentikan unggahan multibagian, Amazon S3 akan membebaskan penyimpanan suku cadang dan berhenti menagih Anda untuk penyimpanan suku cadang.
Setelah menghentikan unggahan multibagian, Anda tidak dapat mengunggah bagian apa pun menggunakan ID unggahan itu lagi. Jika sebagian unggahan sedang berlangsung, mereka masih dapat berhasil atau gagal bahkan setelah Anda menghentikan unggahan. Untuk memastikan Anda membebaskan semua penyimpanan yang dikonsumsi oleh semua bagian, Anda harus menghentikan unggahan multibagian hanya setelah semua unggahan bagian selesai.
Penyelesaian unggahan multibagian
Saat Anda menyelesaikan unggahan multibagian, Amazon S3 membuat objek dengan menggabungkan bagian-bagian dalam urutan menaik berdasarkan nomor bagian. Jika metadata objek disediakan dalam permintaan mulai unggahan multibagian, Amazon S3 akan mengaitkan metadatanya dengan objek tersebut. Setelah permintaan selesai sepenuhnya, bagiantersebut tidak akan ada lagi.
Permintaan pengunggahan multibagian lengkap Anda harus menyertakan ID unggahan dan daftar nomor bagian serta ETag nilainya yang sesuai. Respons Amazon S3 mencakup ETag yang secara unik mengidentifikasi data objek gabungan. ETag Ini belum tentu MD5 hash dari data objek.
Saat Anda memberikan checksum objek lengkap selama pengunggahan multibagian, AWS SDK meneruskan checksum ke Amazon S3, dan S3 memvalidasi sisi server integritas objek, membandingkannya dengan nilai yang diterima. Kemudian, S3 menyimpan objek jika nilainya cocok. Jika kedua nilai tidak cocok, Amazon S3 gagal permintaan dengan BadDigest kesalahan. Checksum objek Anda juga disimpan dalam metadata objek yang nantinya akan Anda gunakan untuk memvalidasi integritas data objek.
Contoh panggilan unggahan multibagian
Untuk contoh ini, asumsikan bahwa Anda membuat unggahan multipart untuk file 100 GB. Dalam hal ini, Anda akan memiliki panggilan API berikut untuk seluruh proses. Akan ada total 1.002 panggilan API.
-
Panggilan
CreateMultipartUploaduntuk memulai proses. -
1.000
UploadPartpanggilan individu, masing-masing mengunggah bagian dari 100 MB, dengan ukuran total 100 GB. -
CompleteMultipartUploadPanggilan untuk menyelesaikan proses.
Pendaftaran unggahan multibagian
Anda dapat mendaftar bagian-bagian dari unggahan multibagian tertentu atau semua unggahan multibagian yang sedang berlangsung. Operasi bagian daftar mengembalikan informasi bagian yang Anda unggah untuk unggahan multibagian tertentu. Untuk setiap permintaan daftar bagian, Amazon S3 akan menampilkan informasi bagian untuk unggahan multibagian tertentu, hingga maksimum 1.000 bagian. Jika ada lebih dari 1.000 bagian dalam unggahan multipart, Anda harus mengirim serangkaian permintaan bagian daftar untuk mengambil semua bagian. Perhatikan bahwa daftar bagian yang ditampilkan tidak mencakup bagian yang belum selesai diunggah. Dengan menggunakan operasi daftar unggahan multibagian, Anda dapat memperoleh daftar unggahan multibagian yang sedang berlangsung.
Unggahan multibagian yang sedang berlangsung adalah unggahan yang telah Anda mulai, tetapi belum selesai atau dihentikan. Setiap permintaan akan ditampilkan sebanyak maksimum 1.000 unggahan multibagian. Jika ada lebih dari 1.000 unggahan multibagian yang sedang berlangsung, Anda harus mengirim permintaan tambahan untuk mengambil unggahan multibagian yang tersisa. Gunakan pendaftaran yang ditampilkan untuk verifikasi.
penting
Jangan menggunakan hasil pendaftaran ini saat mengirim permintaan selesaikan unggahan multibagian. Sebagai gantinya, pertahankan daftar nomor bagian Anda sendiri yang Anda tentukan saat mengunggah bagian dan ETag nilai terkait yang dikembalikan Amazon S3.
Checksum dengan operasi unggahan multibagian
Saat mengunggah sebuah objek ke Amazon S3, Anda dapat menentukan algoritma checksum untuk Amazon S3 untuk digunakan. Secara default, konsol AWS SDK dan S3 menggunakan algoritme untuk semua unggahan objek, yang dapat Anda timpa. Jika Anda menggunakan SDK yang lebih lama dan objek yang diunggah tidak memiliki checksum yang ditentukan, Amazon S3 secara otomatis menggunakan algoritma checksum CRC-64/NVME (). CRC64NVME (Ini juga merupakan opsi yang disarankan untuk verifikasi integritas data yang efisien.) Saat menggunakan CRC-64/NVME, Amazon S3 menghitung checksum objek lengkap setelah unggahan multipart atau satu bagian selesai. Algoritma checksum CRC-64/NVME digunakan untuk menghitung checksum langsung dari seluruh objek, atau checksum checksum, untuk setiap bagian individu.
Setelah Anda mengunggah objek ke S3 menggunakan unggahan multipart, Amazon S3 menghitung nilai checksum untuk setiap bagian, atau untuk objek lengkap—dan menyimpan nilainya. Anda dapat menggunakan S3 API atau AWS SDK untuk mengambil nilai checksum dengan cara berikut:
-
Untuk masing-masing bagian, Anda dapat menggunakan
GetObjectatauHeadObject. Jika Anda ingin mengambil nilai checksum untuk masing-masing bagian dari unggahan multibagian saat masih dalam proses, Anda dapat menggunakannya.ListParts -
Untuk seluruh objek, Anda dapat menggunakan
PutObject. Jika Anda ingin melakukan upload multipart dengan checksum objek lengkap, gunakanCreateMultipartUploaddanCompleteMultipartUploaddengan menentukan jenis checksum objek lengkap. Untuk memvalidasi nilai checksum dari seluruh objek atau untuk mengonfirmasi jenis checksum mana yang digunakan dalam unggahan multipart, gunakan.ListParts
penting
Jika Anda menggunakan unggahan multibagian dengan Checksum, nomor bagian untuk setiap unggahan bagian (dalam unggahan multibagian) harus menggunakan nomor bagian yang berurutan. Saat menggunakan Checksum, jika Anda mencoba menyelesaikan permintaan unggahan multibagian dengan nomor bagian yang tidak berurutan, Amazon S3 menghasilkan kesalahan. HTTP 500 Internal Server
Untuk informasi selengkapnya tentang cara kerja checksum dengan objek unggahan multibagian, lihat. Memeriksa integritas objek di Amazon S3
Untuk end-to-end prosedur yang menunjukkan cara mengunggah objek menggunakan unggahan multipart dengan checksum tambahan, lihat. Tutorial: Unggah objek melalui unggahan multipart dan verifikasi integritas datanya
Operasi pengunggahan multibagian serentak
Dalam lingkungan pengembangan terdistribusi, aplikasi Anda dapat memulai beberapa pembaruan pada objek yang sama secara bersamaan. Aplikasi Anda dapat memulai beberapa unggahan multibagian menggunakan kunci objek yang sama. Untuk setiap unggahan ini, aplikasi Anda kemudian dapat mengunggah bagian dan mengirim sebuah permintaan menyelesaikan unggahan ke Amazon S3 untuk membuat objek. Jika Penentuan Versi S3 diaktifkan pada bucket, menyelesaikan pengunggahan multibagian akan selalu membuat versi baru. Saat Anda memulai beberapa unggahan multibagian yang menggunakan kunci objek yang sama dalam bucket berkemampuan versi, versi objek saat ini ditentukan oleh pengunggahan yang paling baru dimulai (). createdDate
Misalnya, Anda memulai CreateMultipartUpload permintaan objek pada pukul 10:00 pagi. Kemudian, Anda mengirimkan CreateMultipartUpload permintaan kedua untuk objek yang sama pada pukul 11:00. Karena permintaan kedua dikirimkan paling baru, objek yang diunggah oleh permintaan 11:00 AM menjadi versi saat ini, bahkan jika unggahan pertama selesai setelah yang kedua. Untuk bucket yang tidak mengaktifkan versi, ada kemungkinan permintaan lain yang diterima antara waktu saat unggahan multibagian dimulai dan saat selesai, permintaan lainnya mungkin diutamakan.
Contoh lain ketika permintaan upload multipart bersamaan dapat diutamakan adalah jika operasi lain menghapus kunci setelah Anda memulai unggahan multipart dengan kunci tersebut. Sebelum Anda menyelesaikan operasi, respons unggahan multibagian lengkap mungkin menunjukkan pembuatan objek yang berhasil tanpa Anda pernah melihat objek.
Mencegah mengunggah objek dengan nama kunci yang identik selama pengunggahan multipart
Anda dapat memeriksa keberadaan objek di bucket Anda sebelum membuatnya menggunakan penulisan bersyarat pada operasi unggahan. Ini dapat mencegah penimpaan data yang ada. Penulisan bersyarat akan memvalidasi bahwa tidak ada objek yang ada dengan nama kunci yang sama yang sudah ada di bucket Anda saat mengunggah.
Anda dapat menggunakan penulisan bersyarat untuk PutObjectatau CompleteMultipartUploadpermintaan.
Untuk informasi selengkapnya tentang permintaan bersyarat, lihat,Tambahkan prasyarat ke operasi S3 dengan permintaan bersyarat.
Unggahan multibagian dan harga
Setelah Anda memulai unggahan multibagian, Amazon S3 akan menyimpan semua bagian hingga Anda menyelesaikan atau menghentikan unggahan. Sepanjang masa pakainya, Anda akan ditagih untuk semua penyimpanan, bandwidth, dan permintaan untuk unggahan multibagian ini dan bagian terkaitnya.
Bagian-bagian ini ditagih sesuai dengan kelas penyimpanan yang ditentukan saat bagian diunggah. Namun, Anda tidak akan ditagih untuk suku cadang ini jika diunggah ke S3 Glacier Flexible Retrieval atau S3 Glacier Deep Archive. Suku cadang multipart yang sedang berlangsung untuk permintaan PUT ke kelas penyimpanan S3 Glacier Flexible Retrieval ditagih sebagai penyimpanan staging S3 Glacier Flexible Retrieval pada tingkat penyimpanan Standar S3 hingga unggahan selesai. Selain itu, keduanya CreateMultipartUpload dan UploadPart ditagih dengan tarif Standar S3. Hanya CompleteMultipartUpload permintaan yang ditagih dengan tarif Pengambilan Fleksibel S3 Glacier. Demikian pula, suku cadang multipart yang sedang berlangsung untuk kelas penyimpanan PUT ke S3 Glacier Deep Archive ditagih sebagai penyimpanan pementasan Pengambilan Fleksibel Gletser S3 pada tingkat penyimpanan Standar S3 hingga unggahan selesai, dengan hanya permintaan yang dikenakan tarif S3 Glacier Deep Archive. CompleteMultipartUpload
Jika Anda menghentikan pengunggahan multibagian, Amazon S3 menghapus artefak unggahan dan semua bagian yang Anda unggah. Anda tidak akan ditagih untuk artefak itu. Tidak ada biaya penghapusan awal untuk menghapus unggahan multibagian yang belum selesai terlepas dari kelas penyimpanan yang ditentukan. Untuk informasi selengkapnya tentang harga, lihat Harga Amazon S3
catatan
Untuk meminimalkan biaya penyimpanan, kami menyarankan untuk Anda mengonfigurasi aturan siklus hidup untuk menghapus unggahan multibagian yang tidak lengkap setelah beberapa hari tertentu dengan menggunakan tindakan AbortIncompleteMultipartUpload. Untuk informasi selengkapnya tentang membuat aturan siklus hidup untuk menghapus unggahan multibagian yang tidak lengkap, lihat Mengonfigurasi konfigurasi siklus hidup bucket untuk menghapus unggahan multibagian yang tidak lengkap.
Dukungan API untuk unggahan multibagian
Bagian berikut dalam Referensi API Amazon Simple Storage Service menjelaskan tentang API REST untuk unggahan multibagian.
Untuk panduan unggahan multibagian yang menggunakan fungsi AWS Lambda, lihat Mengunggah objek besar ke Amazon S3
AWS Command Line Interface dukungan untuk upload multipart
Topik-topik berikut dalam AWS Command Line Interface menjelaskan operasi untuk upload multipart.
AWS Dukungan SDK untuk unggahan multipart
Anda dapat menggunakan AWS SDKs untuk mengunggah objek di beberapa bagian. Untuk daftar tindakan API yang AWS SDKs didukung, lihat:
API dan izin unggahan multibagian
Anda harus memiliki izin yang diperlukan untuk menggunakan operasi pengunggahan multibagian. Anda dapat menggunakan daftar kontrol akses (ACLs), kebijakan bucket, atau kebijakan pengguna untuk memberikan izin individu untuk melakukan operasi ini. Tabel berikut mencantumkan izin yang diperlukan untuk berbagai operasi unggahan multibagian saat menggunakan ACLs, kebijakan bucket, atau kebijakan pengguna.
| Tindakan | Izin yang diperlukan |
|---|---|
|
Buat Unggahan Multibagian |
Anda harus diizinkan untuk melakukan Pemilik bucket dapat mengizinkan pengguna utama lain untuk melakukan tindakan |
|
Mulai Unggahan Multibagian |
Anda harus diizinkan untuk melakukan Pemilik bucket dapat mengizinkan pengguna utama lain untuk melakukan tindakan |
| Inisiator | Elemen kontainer yang mengidentifikasi siapa yang memulai unggahan multibagian. Jika inisiator adalah Akun AWS, elemen ini memberikan informasi yang sama dengan elemen Pemilik. Jika inisiator adalah seorang pengguna IAM, elemen ini akan menyediakan ARN pengguna dan nama tampilan. |
| Unggah Bagian | Anda harus diizinkan untuk melakukan tindakan Pemilik bucket harus mengizinkan inisiator untuk melakukan tindakan |
| Unggah Bagian (Salinan) | Anda harus diizinkan untuk melakukan tindakan Agar inisiator dapat mengunggah bagian untuk sebuah objek, pemilik bucket harus mengizinkan inisiator untuk melakukan tindakan |
| Selesaikan Unggahan Multibagian | Anda harus diizinkan untuk melakukan tindakan Pemilik bucket harus mengizinkan inisiator untuk melakukan tindakan |
| Hentikan Unggahan Multibagian | Anda harus diizinkan untuk melakukan tindakan Secara default, pemilik bucket dan inisiator unggahan multipart diizinkan untuk melakukan tindakan ini sebagai bagian dari kebijakan bucket IAM dan S3. Jika inisiator adalah pengguna IAM, pengguna tersebut juga Akun AWS diizinkan untuk menghentikan unggahan multibagian tersebut. Dengan kebijakan titik akhir VPC, inisiator unggahan multibagian tidak secara otomatis mendapatkan izin untuk melakukan tindakan. Selain pengaturan default ini, pemilik bucket dapat mengizinkan pengguna utama lain untuk melakukan tindakan |
| Daftarkan Bagian | Anda harus diizinkan untuk melakukan tindakan Secara default, pemilik bucket memiliki izin untuk mendaftarkan bagian untuk unggahan multibagian apa pun pada bucket. Inisiator unggahan multibagian memiliki izin untuk mendaftarkan bagian-bagian dari unggahan multibagian tertentu. Jika inisiator unggahan multipart adalah pengguna IAM, Akun AWS pengendali pengguna IAM tersebut juga memiliki izin untuk membuat daftar bagian dari unggahan tersebut. Selain pengaturan default ini, pemilik bucket dapat mengizinkan pengguna utama lain untuk melakukan tindakan |
| Daftarkan Unggahan Multibagian | Anda harus diizinkan untuk melakukan tindakan Selain pengaturan default ini, pemilik bucket dapat mengizinkan pengguna utama lain untuk melakukan tindakan |
| AWS KMS Enkripsi dan Dekripsi izin terkait |
Untuk melakukan upload multipart dengan enkripsi menggunakan kunci AWS Key Management Service (AWS KMS) KMS, pemohon harus memiliki izin berikut:
Izin ini diperlukan karena Amazon S3 harus mendekripsi dan membaca data dari bagian file terenkripsi sebelum menyelesaikan unggahan multibagian. Jika pengguna atau peran IAM Anda Akun AWS sama dengan kunci KMS, maka validasi bahwa Anda memiliki izin pada kebijakan kunci dan IAM. Jika pengguna atau peran IAM Anda memiliki akun yang berbeda dengan kunci KMS Anda, maka Anda harus memiliki izin pada kebijakan kunci maupun pengguna atau pengguna IAM Anda. |
| SSE-C (enkripsi sisi server dengan kunci enkripsi yang disediakan pelanggan) | Saat Anda menggunakan CompleteMultipartUploadAPI, Anda harus menyediakan SSE-C (enkripsi sisi server dengan kunci enkripsi yang disediakan pelanggan), atau objek Anda akan dibuat tanpa checksum, dan tidak ada nilai checksum yang dikembalikan. |
Untuk informasi tentang hubungan antara izin ACL dan izin dalam kebijakan akses, lihat Pemetaan izin ACL dan izin kebijakan akses. Untuk informasi selengkapnya tentang pengguna IAM dan praktik terbaik, lihat Identitas IAM (pengguna, grup pengguna, dan peran) di Panduan Pengguna IAM.
Checksum dengan operasi unggahan multibagian
Ada tiga Amazon S3 APIs yang digunakan untuk melakukan unggahan multipart yang sebenarnya: CreateMultipartUpload,, UploadPartdan. CompleteMultipartUpload Tabel berikut menunjukkan header dan nilai checksum mana yang harus disediakan untuk masing-masing: APIs
| Algoritma checksum | Jenis Checksum | CreateMultipartUpload |
UploadPart |
CompleteMultipartUpoad |
|---|---|---|---|---|
CRC-64/NVME () |
Objek penuh | Header yang diperlukan:
|
Header opsional:
|
Header opsional:
|
CRC-32 () CRC 32-C () |
Objek penuh |
Header yang diperlukan:
|
Header opsional:
|
Header opsional:
|
|
CRC-32 () CRC-32C () SHA-1 () SHA-256 () |
Komposit |
Header yang diperlukan:
|
Header yang diperlukan:
|
Header yang diperlukan: Semua checksum tingkat bagian harus disertakan dalam permintaan. Header opsional:
|
Topik
