Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memeriksa integritas objek untuk data diam di Amazon S3
Jika Anda perlu memverifikasi konten kumpulan data yang disimpan di Amazon S3, operasi checksum Komputasi Operasi Batch S3 menghitung checksum objek lengkap atau komposit untuk objek yang diam. Operasi Compute checksum menggunakan Operasi Batch untuk menghitung nilai checksum secara asinkron untuk sekelompok objek dan secara otomatis menghasilkan laporan integritas konsolidasi, tanpa membuat salinan baru data Anda, atau memulihkan atau mengunduh data apa pun.
Dengan operasi Compute checksum, Anda dapat memverifikasi miliaran objek secara efisien dengan satu permintaan pekerjaan. Untuk setiap permintaan pekerjaan checksum Compute, S3 menghitung nilai checksum, dan memasukkannya ke dalam laporan integritas yang dihasilkan secara otomatis (juga dikenal sebagai laporan penyelesaian). Anda kemudian dapat menggunakan laporan penyelesaian untuk memvalidasi integritas dataset Anda.
Operasi checksum Compute bekerja dengan objek apa pun yang disimpan di S3, terlepas dari kelas penyimpanan atau ukuran objek. Baik Anda perlu memverifikasi objek sebagai praktik terbaik pelestarian data, atau memenuhi persyaratan kepatuhan, operasi Compute checksum mengurangi biaya, waktu, dan upaya yang diperlukan untuk validasi data dengan melakukan perhitungan checksum saat diam. Untuk informasi tentang harga checksum Compute, lihat tab Manajemen dan wawasan tentang harga Amazon S3.
Kemudian, Anda dapat menggunakan output dari laporan penyelesaian yang dihasilkan untuk membandingkan dengan nilai checksum yang telah Anda simpan di database untuk memverifikasi bahwa kumpulan data Anda tetap utuh dari waktu ke waktu. Pendekatan ini membantu Anda mempertahankan integritas data end-to-end untuk kebutuhan bisnis dan kepatuhan. Misalnya, Anda dapat menggunakan operasi checksum Compute untuk mengirimkan daftar objek yang disimpan di kelas penyimpanan S3 Glacier untuk audit keamanan tahunan. Selain itu, berbagai algoritma checksum yang didukung memungkinkan Anda mempertahankan kontinuitas dengan algoritma yang digunakan dalam aplikasi Anda.
Menggunakan algoritma checksum yang didukung
Untuk data diam, Anda dapat menghitung checksum, menggunakan salah satu algoritma checksum yang didukung:
Semua algoritma checksum yang didukung mendukung tipe checksum lengkap dan tipe checksum komposit, kecuali CRC-64/NVME (CRC64NVME), yang hanya mendukung tipe checksum objek penuh.
-
CRC-64/NVME (
CRC64NVME) -
CRC-32 (
CRC32) -
CRC-32C (
CRC32C) -
SHA-1 (
SHA1) -
SHA-256 (
SHA256) -
MD5 ()
MD5 -
XxHash64 ()
XXHASH64 -
XxHash3 ()
XXHASH3 -
XxHash128 ()
XXHASH128 -
SHA-512 (
SHA512)
Penggunaan Hitung checksum
Untuk objek yang disimpan di Amazon S3, Anda dapat menggunakan operasi checksum Compute dengan Operasi Batch S3 untuk memeriksa konten data yang disimpan saat diam. Anda dapat membuat pekerjaan Operasi Compute checksum Batch dengan menggunakan konsol Amazon S3, AWS Command Line Interface (AWS CLI), REST API, atau AWS SDK. Ketika pekerjaan Compute checksum selesai, Anda menerima laporan penyelesaian. Untuk informasi selengkapnya tentang cara menggunakan laporan penyelesaian, lihat Mel acak status pekerjaan dan laporan penyelesaian.
Sebelum membuat pekerjaan checksum Compute, Anda harus membuat peran S3 Batch Operations AWS Identity and Access Management (IAM) untuk memberikan izin Amazon S3 untuk melakukan tindakan atas nama Anda. Anda harus memberikan izin untuk membaca file manifes dan menulis laporan penyelesaian ke bucket S3. Untuk informasi selengkapnya, lihat Hitung checksum.
Untuk menggunakan Hitung checksum operation
-
Masuk ke Konsol Manajemen AWS dan buka konsol Amazon S3 di https://console.aws.amazon.com/s3/
. -
Di bilah navigasi, pilih nama yang saat ini ditampilkan Wilayah AWS. Selanjutnya, pilih Wilayah tempat Anda ingin membuat pekerjaan Anda.
catatan
Untuk operasi penyalinan, Anda harus membuat pekerjaan di Wilayah yang sama dengan bucket tujuan. Untuk semua operasi lain, Anda harus membuat pekerjaan di Wilayah yang sama dengan objek dalam manifes.
-
Pilih Operasi Batch di panel navigasi kiri konsol Amazon S3.
-
Pilih Buat tugas.
-
Lihat Wilayah AWS tempat Anda ingin membuat pekerjaan Anda.
catatan
Untuk operasi penyalinan, Anda harus membuat pekerjaan di Wilayah yang sama dengan bucket tujuan. Untuk semua operasi lain, Anda harus membuat pekerjaan di Wilayah yang sama dengan objek dalam manifes.
-
Pada Format manifes, pilih jenis objek manifes yang akan digunakan.
-
Jika Anda memilih laporan inventaris S3 (manifest.json), masukkan jalur ke
manifest.jsonobjek, dan (opsional) ID versi objek Manifest jika Anda ingin menggunakan versi objek tertentu. Atau, Anda dapat memilih Browse S3 dan memilih file JSON manifes, yang secara otomatis mengisi semua entri bidang objek manifes. -
Jika Anda memilih CSV, pilih jenis lokasi Manifes, Kemudian, masukkan jalur ke objek CSV-formatted manifes atau pilih Browse S3 untuk memilih objek manifes. Objek manifes harus mengikuti format yang dijelaskan di konsol. Jika Anda ingin menggunakan versi tertentu dari objek manifes, maka Anda juga dapat menentukan ID versi objek.
-
Jika Anda memilih Buat manifes menggunakan konfigurasi Replikasi S3, daftar objek akan dibuat menggunakan konfigurasi replikasi dan secara opsional disimpan ke tujuan yang Anda pilih. Saat menggunakan konfigurasi replikasi untuk menghasilkan manifes, satu-satunya operasi yang akan tersedia adalah Replic ate.
-
-
Pilih Berikutnya.
-
Di bawah Oper asi, pilih operasi hitung checksum untuk menghitung checksum pada semua objek yang tercantum dalam manifes. Pilih jenis Checksum dan fungsi Checksum untuk pekerjaan Anda. Lalu, pilih Selanjutnya.
-
Isi informasi untuk Konfigurasikan opsi tambahan, lalu pilih Ber ikutnya.
-
Pada halaman Konfigurasi opsi tambahan, isi informasi untuk pekerjaan checksum Compute Anda.
catatan
Di bawah Laporan Pen yelesaian, pastikan untuk mengkonfirmasi pernyataan pengakuan. Pernyataan pengakuan ini mengonfirmasi bahwa Anda memahami bahwa laporan penyelesaian berisi nilai checksum, yang digunakan untuk memverifikasi integritas data yang disimpan di Amazon S3. Oleh karena itu, laporan penyelesaian harus dibagikan dengan hati-hati. Selain itu, perlu diketahui bahwa jika Anda membuat permintaan checksum Compute dan Anda menentukan lokasi bucket pemilik akun eksternal untuk menyimpan laporan penyelesaian Anda, pastikan untuk menentukan Akun AWS ID pemilik bucket eksternal.
-
Pilih Berikutnya.
-
Pada halaman T injauan, tinjau dan konfirmasikan pengaturan Anda.
-
(Opsional) Jika Anda perlu membuat perubahan, pilih Sebelumnya untuk kembali ke halaman sebelumnya, atau pilih Edit untuk memperbarui langkah tertentu.
Setelah mengonfirmasi perubahan, pilih Buat pekerjaan.
Untuk membuat daftar dan memantau kemajuan semua Hitung checksum permintaan
Masuk ke Konsol Manajemen AWS dan buka konsol Amazon S3 di https://console.aws.amazon.com/s3/
. -
Di panel navigasi kiri, pilih Operasi Batch.
-
Pada halaman Operasi Batch, Anda dapat meninjau detail pekerjaan seperti prioritas pekerjaan, tingkat penyelesaian pekerjaan, dan total objek.
-
Jika Anda ingin mengelola atau mengkloning pekerjaan checksum Compute tertentu, pilih ID Pekerjaan untuk meninjau informasi pekerjaan tambahan.
-
Pada halaman pekerjaan checksum Compute tertentu, tinjau detail pekerjaan.
Setiap pekerjaan operasi batch berlangsung melalui status https://docs.aws.amazon.com/AmazonS3/latest/userguide/batch-ops-job-status.html#batch-ops-job-status-table pekerjaan yang berbeda. Anda juga dapat mengaktifkan AWS CloudTrail peristiwa di konsol S3 untuk menerima peringatan tentang perubahan status pekerjaan apa pun. Untuk pekerjaan aktif, Anda dapat meninjau pekerjaan yang sedang berjalan dan tingkat penyelesaian di halaman detail pekerjaan.
Anda dapat menggunakan create-job perintah untuk membuat pekerjaan operasi batch baru, dan untuk menyediakan daftar objek. Kemudian, tentukan algoritma checksum dan jenis checksum, dan bucket tujuan tempat Anda ingin menyimpan laporan checksum Compute. Contoh berikut membuat pekerjaan checksum Komputasi Operasi Batch S3 dengan menggunakan manifes yang dihasilkan S3 untuk. Akun AWS
111122223333
Untuk menggunakan perintah ini, ganti user input
placeholders dengan informasi Anda sendiri:
aws s3control create-job \ --account-id111122223333\ --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::my-manifest-bucket/manifest.csv","ETag":"e0e8bfc50e0f0c5d5a1a5f0e0e8bfc50"}}' \ --manifest-generator '{ "S3JobManifestGenerator": { "ExpectedBucketOwner": "111122223333", "SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket", "EnableManifestOutput":true, "ManifestOutputLocation": { "ExpectedManifestBucketOwner": "111122223333", "Bucket": "arn:aws:s3:::amzn-s3-demo-manifest-bucket", "ManifestPrefix": "prefix", "ManifestFormat": "S3InventoryReport_CSV_20211130" }, "Filter": { "CreatedAfter": "2023-09-01", "CreatedBefore": "2023-10-01", "KeyNameConstraint": { "MatchAnyPrefix": [ "prefix" ], "MatchAnySuffix": [ "suffix" ] }, "ObjectSizeGreaterThanBytes":100, "ObjectSizeLessThanBytes":200, "MatchAnyStorageClass": [ "STANDARD", "STANDARD_IA" ] } } }' \ --operation '{"S3ComputeObjectChecksum":{"ChecksumAlgorithm":"CRC64NVME","ChecksumType":"FULL_OBJECT"}}' \ --report '{"Bucket":"arn:aws:s3:::my-report-bucket","Format":"Report_CSV_20180820","Enabled":true,"Prefix":"batch-op-reports/","ReportScope":"AllTasks","ExpectedBucketOwner":"111122223333"}' \ --priority10\ --role-arn arn:aws:iam::123456789012:role/S3BatchJobRole\ --client-request-token6e023a7e-4820-4654-8c81-7247361aeb73\ --description "Compute object checksums" \ --regionus-west-2
Setelah mengirimkan pekerjaan checksum Compute, Anda menerima ID pekerjaan sebagai respons dan muncul di halaman daftar Operasi Batch S3. Amazon S3 memproses daftar objek dan menghitung checksum untuk setiap objek. Setelah pekerjaan selesai, S3 menyediakan laporan checksum Compute konsolidasi di tujuan yang ditentukan.
Untuk memantau kemajuan pekerjaan checksum Compute Anda, gunakan perintah describe-jobuser input placeholders dengan informasi Anda sendiri.
Contoh:
aws s3control describe-job --account-id111122223333--job-id1234567890abcdef0
Untuk mendapatkan daftar semua pekerjaan operasi batch Aktif dan Lengkap, lihat Daftar pekerjaan atau daftar pekerjaan
Anda dapat mengirim permintaan REST untuk memverifikasi integritas objek dengan Compute checksum menggunakan. CreateJob Anda dapat memantau kemajuan permintaan checksum Compute dengan mengirimkan permintaan REST ke operasi DescribeJob API. Setiap pekerjaan operasi batch berlangsung melalui status berikut:
-
BARU
-
MEMPERSIAPKAN
-
SIAP
-
AKTIF
-
BERHENTI
-
DIHENTIKAN
-
LENGKAP
-
MEMBATALKAN
-
GAGAL
Respons API memberi tahu Anda tentang status pekerjaan saat ini.