Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tutorial: Unggah objek melalui unggahan multipart dan verifikasi integritas datanya

Unggahan multibagian memungkinkan Anda untuk mengunggah satu objek sebagai kumpulan bagian. Setiap bagian merupakan bagian data objek yang saling berkaitan. Anda dapat mengunggah bagian-bagian objek tersebut secara independen dan dengan urutan apa pun. Jika ada transmisi bagian mana pun yang gagal, Anda dapat mentransmisikan ulang bagian tersebut tanpa memengaruhi bagian lainnya. Setelah semua bagian objek Anda diunggah, Amazon S3 merakit bagian-bagian ini dan menciptakan objek. Secara umum, saat ukuran objek Anda mencapai 100 MB, Anda harus mempertimbangkan untuk menggunakan unggahan multibagian daripada mengunggah objek tersebut dalam satu operasi. Untuk informasi selengkapnya tentang unggahan multipart, lihat. Mengunggah dan menyalin objek menggunakan unggahan multibagian Untuk batasan yang terkait dengan unggahan multipart, lihat. Batas unggahan multibagian Amazon S3

Anda dapat menggunakan checksum untuk memverifikasi bahwa aset tidak diubah saat disalin. Melakukan checksum terdiri dari menggunakan algoritma untuk iterasi secara berurutan atas setiap byte dalam file. Amazon S3 menawarkan beberapa opsi checksum untuk memeriksa integritas data. Kami menyarankan Anda melakukan pemeriksaan integritas ini sebagai praktik terbaik daya tahan dan untuk mengonfirmasi bahwa setiap byte ditransfer tanpa perubahan. Amazon S3 juga mendukung algoritma berikut:: SHA -1, SHA -256,, dan. CRC32 CRC32C Amazon S3 menggunakan satu atau lebih algoritme ini untuk menghitung nilai checksum tambahan dan menyimpannya sebagai bagian dari metadata objek. Untuk informasi selengkapnya tentang checksum, lihat Memeriksa integritas objek.

Tujuan

Dalam tutorial ini, Anda akan belajar cara mengunggah objek ke Amazon S3 dengan menggunakan unggahan multipart dan checksum tambahan SHA -256 melalui AWS Command Line Interface ().AWS CLI Anda juga akan belajar cara memeriksa integritas data objek dengan menghitung MD5 hash dan SHA -256 checksum dari objek yang diunggah.

Prasyarat

Langkah 1: Buat file besar

Jika Anda sudah memiliki file yang siap diunggah, Anda dapat menggunakan file untuk tutorial ini. Jika tidak, buat file 15 MB menggunakan langkah-langkah berikut. Untuk batasan yang terkait dengan unggahan multipart, lihat. Batas unggahan multibagian Amazon S3

Untuk membuat file besar

Gunakan salah satu perintah berikut untuk membuat file Anda, tergantung pada sistem operasi yang Anda gunakan.

Linux atau macOS

Untuk membuat file 15 MB, buka terminal lokal Anda dan jalankan perintah berikut:

dd if=/dev/urandom of=census-data.bin bs=1M count=15

Perintah ini membuat file bernama census-data.bin diisi dengan byte acak, dengan ukuran 15 MB.

Windows

Untuk membuat file 15 MB, buka terminal lokal Anda dan jalankan perintah berikut:

fsutil file createnew census-data.bin 15728640

Perintah ini membuat file bernama census-data.bin dengan ukuran 15 MB data arbitrer (15728640 byte).

Langkah 2: Pisahkan file menjadi beberapa file

Untuk melakukan pengunggahan multipart, Anda harus membagi file besar Anda menjadi bagian-bagian yang lebih kecil. Anda kemudian dapat mengunggah bagian-bagian yang lebih kecil dengan menggunakan proses upload multipart. Langkah ini menunjukkan cara membagi file besar yang dibuat di Langkah 1 menjadi bagian-bagian yang lebih kecil. Contoh berikut menggunakan file 15 MB bernamacensus-data.bin.

Untuk membagi file besar menjadi beberapa bagian

Linux atau macOS

Untuk membagi file besar menjadi bagian 5 MB, gunakan split perintah. Buka terminal Anda dan jalankan yang berikut:

split -b 5M -d census-data.bin census-part

Perintah ini dibagi census-data.bin menjadi 5 MB bagian bernamacensus-part**, di mana ** sufiks numerik dimulai dari. 00

Windows

Untuk membagi file besar, gunakan PowerShell. Buka Powershell, dan jalankan skrip berikut:

$inputFile = "census-data.bin"
$outputFilePrefix = "census-part"
$chunkSize = 5MB

$fs = [System.IO.File]::OpenRead($inputFile)
$buffer = New-Object byte[] $chunkSize
$fileNumber = 0

while ($fs.Position -lt $fs.Length) {
$bytesRead = $fs.Read($buffer, 0, $chunkSize)
$outputFile = "{0}{1:D2}" -f $outputFilePrefix, $fileNumber
$fileStream = [System.IO.File]::Create($outputFile)
$fileStream.Write($buffer, 0, $bytesRead)
$fileStream.Close()
$fileNumber++
}

$fs.Close()

PowerShell Script ini membaca file besar dalam potongan 5 MB dan menulis setiap potongan ke file baru dengan akhiran numerik.

Setelah menjalankan perintah yang sesuai, Anda akan melihat bagian-bagian di direktori tempat Anda menjalankan perintah. Setiap bagian akan memiliki akhiran yang sesuai dengan nomor bagiannya, misalnya:

census-part00 census-part01 census-part02

Langkah 3: Buat unggahan multipart dengan checksum tambahan

Untuk memulai proses upload multipart, Anda perlu membuat permintaan upload multipart. Langkah ini melibatkan memulai unggahan multibagian dan menentukan checksum tambahan untuk integritas data. Contoh berikut menggunakan checksum SHA -256. Jika Anda ingin memberikan metadata apa pun yang menjelaskan objek yang sedang diunggah, Anda harus menyediakannya dalam permintaan untuk memulai unggahan multibagian.

Untuk memulai unggahan multipart

Di terminal Anda, gunakan create-multipart-upload perintah berikut untuk memulai unggahan multipart untuk bucket Anda. Ganti amzn-s3-demo-bucket1 dengan nama bucket Anda yang sebenarnya. Juga, ganti census_data_file dengan nama file yang Anda pilih. Nama file ini menjadi kunci objek saat unggahan selesai.

aws s3api create-multipart-upload --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --checksum-algorithm sha256

Jika permintaan Anda berhasil, Anda akan melihat JSON output seperti berikut:

{
    "ServerSideEncryption": "AES256",
    "ChecksumAlgorithm": "SHA256",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "UploadId": "cNV6KCSNANFZapz1LUGPC5XwUVi1n6yUoIeSP138sNOKPeMhpKQRrbT9k0ePmgoOTCj9K83T4e2Gb5hQvNoNpCKqyb8m3.oyYgQNZD6FNJLBZluOIUyRE.qM5yhDTdhz"
}
        

Langkah 4: Unggah bagian dari unggahan multipart Anda

Pada langkah ini, Anda akan mengunggah bagian dari unggahan multipart Anda ke bucket S3 Anda. Gunakan upload-part perintah untuk mengunggah setiap bagian satu per satu. Proses ini memerlukan penentuan ID unggahan, nomor bagian, dan file yang akan diunggah untuk setiap bagian.

Langkah 5: Buat daftar semua bagian dari unggahan multipart Anda

Untuk menyelesaikan unggahan multibagian, Anda memerlukan daftar semua bagian yang telah diunggah untuk unggahan multibagian tertentu. Output dari list-parts perintah memberikan informasi seperti nama bucket, kunci, ID unggah, nomor bagian, checksum tambahaneTag, dan banyak lagi. Sangat membantu untuk menyimpan output ini dalam file sehingga Anda dapat menggunakannya untuk langkah berikutnya saat menyelesaikan proses pengunggahan multibagian. Anda dapat membuat file JSON output yang dipanggil parts.json dengan menggunakan metode berikut.

Langkah 6: Selesaikan unggahan multipart

Setelah mengunggah semua bagian dari unggahan multipart Anda dan mencantumkannya, langkah terakhir adalah menyelesaikan unggahan multipart. Langkah ini menggabungkan semua bagian yang diunggah menjadi satu objek di bucket S3 Anda.

Untuk menyelesaikan unggahan multipart

Untuk menyelesaikan unggahan multipart, gunakan perintah. complete-multipart-upload Perintah ini memerlukan parts.json file yang dibuat di Langkah 5, nama bucket Anda, dan ID unggahan. Ganti <amzn-s3-demo-bucket1> dengan nama bucket Anda dan <your-upload-id> dengan ID unggah dariparts.json.

aws s3api complete-multipart-upload --multipart-upload file://parts.json --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --upload-id <your-upload-id>

Berikut contoh outputnya:

{
    "ServerSideEncryption": "AES256",
    "Location": "https://amzn-s3-demo-bucket1.s3.us-east-2.amazonaws.com/census_data_file",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "ETag": "\"f453c6dccca969c457efdf9b1361e291-3\"",
    "ChecksumSHA256": "aI8EoktCdotjU8Bq46DrPCxQCGuGcPIhJ51noWs6hvk=-3"
}
            

Langkah 7: Konfirmasikan bahwa objek diunggah ke bucket Anda

Setelah menyelesaikan pengunggahan multipart, Anda dapat memverifikasi bahwa objek telah berhasil diunggah ke bucket S3 Anda. Untuk membuat daftar objek di bucket Anda dan mengonfirmasi keberadaan file yang baru diunggah, gunakan perintah list-objects-v2

Untuk daftar objek yang diunggah

Untuk membuat daftar objek di Anda, gunakan bucket list-objects-v2 perintah. Ganti amzn-s3-demo-bucket1 dengan nama bucket Anda yang sebenarnya:

aws s3api list-objects-v2 --bucket amzn-s3-demo-bucket1

Perintah ini mengembalikan daftar objek di bucket Anda. Cari file yang Anda unggah (misalnya,census_data_file) dalam daftar objek.

Untuk informasi selengkapnya, lihat bagian Contoh untuk list-objects-v2 perintah di Panduan AWS Command Line Interface Pengguna.

Langkah 8: Verifikasi integritas objek dengan MD5 checksum

Saat mengunggah objek, Anda dapat menentukan algoritma checksum untuk Amazon S3 untuk digunakan. Secara default, Amazon S3 menyimpan MD5 intisari byte sebagai objek. ETag Untuk unggahan multipart, ETag ini bukan checksum untuk seluruh objek, melainkan gabungan checksum untuk setiap bagian individu.

Saat Anda menginstruksikan Amazon S3 untuk menggunakan checksum tambahan, Amazon S3 menghitung nilai checksum untuk setiap bagian dan menyimpan nilainya. Jika Anda ingin mengambil nilai checksum untuk masing-masing bagian dari unggahan multibagian yang masih berlangsung, Anda dapat menggunakannya. list-parts

Untuk informasi selengkapnya tentang cara kerja checksum dengan objek unggahan multibagian, lihat. Memeriksa integritas objek

Langkah 9: Verifikasi integritas objek dengan checksum tambahan

Pada langkah ini, tutorial ini menggunakan SHA -256 sebagai checksum tambahan untuk memvalidasi integritas objek. Jika Anda telah menggunakan checksum tambahan yang berbeda, gunakan nilai checksum itu sebagai gantinya.

Langkah 10: Bersihkan sumber daya Anda

Jika Anda ingin membersihkan file yang dibuat dalam tutorial ini, gunakan metode berikut. Untuk petunjuk cara menghapus file yang diunggah ke bucket S3 Anda, lihat. Menghapus objek Amazon S3

Hapus file lokal yang dibuat di Langkah 1:

Untuk menghapus file yang Anda buat untuk upload multipart Anda, jalankan perintah berikut dari direktori kerja Anda:

rm census-data.bin census-part* outfile parts.json