Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Tutorial: carica un oggetto tramite caricamento in più parti e verifica l'integrità dei dati

Il caricamento in più parti consente di caricare un singolo oggetto come un insieme di parti. Ciascuna parte è una parte contigua dei dati dell'oggetto. È possibile caricare queste parti dell'oggetto in modo indipendente e in qualsiasi ordine. Se la trasmissione di una parte non riesce, è possibile ritrasmettere tale parte senza influire sulle altre. Una volta caricate tutte le parti dell'oggetto, Amazon S3 le assembla e crea l'oggetto. In generale, quando la dimensione dell'oggetto raggiunge i 100 MB, si consiglia di valutare la possibilità di eseguire caricamenti in più parti anziché caricare l'oggetto in una singola operazione. Per ulteriori informazioni sui caricamenti in più parti, consulta. Caricamento e copia di oggetti utilizzando il caricamento in più parti Per i limiti relativi ai caricamenti in più parti, consulta. Limiti del caricamenti in più parti di Amazon S3

Puoi utilizzare i checksum per verificare che le risorse non vengano alterate quando vengono copiate. L'esecuzione di un checksum consiste nell'utilizzare un algoritmo per iterare in sequenza su ogni byte di un file. Amazon S3 offre diverse opzioni di checksum per verificare l'integrità dei dati. Ti consigliamo di eseguire questi controlli di integrità come best practice di durabilità e per confermare che ogni byte venga trasferito senza alterazioni. Amazon S3 supporta anche i seguenti algoritmi: SHA -1, SHA -256 e. CRC32 CRC32C Amazon S3 utilizza uno o più di questi algoritmi per calcolare un valore di checksum aggiuntivo e archiviarlo come parte dei metadati dell'oggetto. Per ulteriori informazioni sui checksum, consulta Verifica dell'integrità degli oggetti.

Obiettivo

In questo tutorial, imparerai come caricare un oggetto su Amazon S3 utilizzando un caricamento in più parti e un checksum SHA -256 aggiuntivo tramite l'interfaccia a riga di AWS comando ().AWS CLI Imparerai anche come verificare l'integrità dei dati dell'oggetto calcolando l'MD5hash e il checksum SHA -256 dell'oggetto caricato.

Prerequisiti

Passaggio 1: creare un file di grandi dimensioni

Se hai già un file pronto per il caricamento, puoi utilizzarlo per questo tutorial. Altrimenti, crea un file da 15 MB utilizzando i seguenti passaggi. Per i limiti relativi ai caricamenti in più parti, consulta. Limiti del caricamenti in più parti di Amazon S3

Per creare un file di grandi dimensioni

Utilizza uno dei seguenti comandi per creare il file, a seconda del sistema operativo in uso.

Linux o macOS:

Per creare un file da 15 MB, apri il terminale locale ed esegui il seguente comando:

dd if=/dev/urandom of=census-data.bin bs=1M count=15

Questo comando crea un file denominato census-data.bin riempito con byte casuali, con una dimensione di 15 MB.

Windows

Per creare un file da 15 MB, apri il terminale locale ed esegui il seguente comando:

fsutil file createnew census-data.bin 15728640

Questo comando crea un file denominato census-data.bin con una dimensione di 15 MB di dati arbitrari (15728640 byte).

Passaggio 2: suddividere il file in più file

Per eseguire il caricamento in più parti, devi dividere il file di grandi dimensioni in parti più piccole. Puoi quindi caricare le parti più piccole utilizzando il processo di caricamento in più parti. Questo passaggio dimostra come suddividere il file di grandi dimensioni creato nel passaggio 1 in parti più piccole. L'esempio seguente utilizza un file da 15 MB denominatocensus-data.bin.

Per dividere un file di grandi dimensioni in parti

Linux o macOS:

Per dividere il file di grandi dimensioni in parti da 5 MB, usa il split comando. Apri il tuo terminale ed esegui quanto segue:

split -b 5M -d census-data.bin census-part

Questo comando census-data.bin si divide in parti da 5 MB denominatecensus-part**, dove ** è un suffisso numerico a partire da. 00

Windows

Per dividere il file di grandi dimensioni, usa. PowerShell Apri Powershell ed esegui lo script seguente:

$inputFile = "census-data.bin"
$outputFilePrefix = "census-part"
$chunkSize = 5MB

$fs = [System.IO.File]::OpenRead($inputFile)
$buffer = New-Object byte[] $chunkSize
$fileNumber = 0

while ($fs.Position -lt $fs.Length) {
$bytesRead = $fs.Read($buffer, 0, $chunkSize)
$outputFile = "{0}{1:D2}" -f $outputFilePrefix, $fileNumber
$fileStream = [System.IO.File]::Create($outputFile)
$fileStream.Write($buffer, 0, $bytesRead)
$fileStream.Close()
$fileNumber++
}

$fs.Close()

Questo PowerShell script legge il file di grandi dimensioni in blocchi di 5 MB e scrive ogni blocco in un nuovo file con un suffisso numerico.

Dopo aver eseguito il comando appropriato, dovresti vedere le parti nella directory in cui hai eseguito il comando. Ogni parte avrà un suffisso corrispondente al relativo numero di parte, ad esempio:

census-part00 census-part01 census-part02

Fase 3: Creare il caricamento multiparte con un checksum aggiuntivo

Per iniziare il processo di caricamento in più parti, devi creare la richiesta di caricamento in più parti. Questo passaggio prevede l'avvio del caricamento in più parti e la specificazione di un checksum aggiuntivo per l'integrità dei dati. L'esempio seguente utilizza il checksum -256. SHA Se desiderate fornire dei metadati che descrivano l'oggetto da caricare, dovete fornirli nella richiesta per avviare il caricamento in più parti.

Per avviare il caricamento in più parti

Nel tuo terminale, usa il seguente create-multipart-upload comando per avviare un caricamento in più parti per il tuo bucket. amzn-s3-demo-bucket1Sostituiscilo con il nome effettivo del bucket. Inoltre, sostituiscilo census_data_file con il nome di file che hai scelto. Questo nome di file diventa la chiave dell'oggetto al termine del caricamento.

aws s3api create-multipart-upload --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --checksum-algorithm sha256

Se la richiesta ha esito positivo, verrà visualizzato un JSON output simile al seguente:

{
    "ServerSideEncryption": "AES256",
    "ChecksumAlgorithm": "SHA256",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "UploadId": "cNV6KCSNANFZapz1LUGPC5XwUVi1n6yUoIeSP138sNOKPeMhpKQRrbT9k0ePmgoOTCj9K83T4e2Gb5hQvNoNpCKqyb8m3.oyYgQNZD6FNJLBZluOIUyRE.qM5yhDTdhz"
}
        

Fase 4: Caricate le parti del caricamento in più parti

In questo passaggio, caricherai le parti del caricamento in più parti nel tuo bucket S3. Usa il upload-part comando per caricare ogni parte singolarmente. Questo processo richiede di specificare l'ID di caricamento, il numero di parte e il file da caricare per ogni parte.

Passaggio 5: Elenca tutte le parti del caricamento in più parti

Per completare il caricamento in più parti, avrai bisogno di un elenco di tutte le parti che sono state caricate per quello specifico caricamento in più parti. L'output del list-parts comando fornisce informazioni come il nome del bucket, la chiave, l'ID di caricamento, il numero di parteeTag, checksum aggiuntivi e altro ancora. È utile salvare questo output in un file in modo da poterlo utilizzare per il passaggio successivo al completamento del processo di caricamento in più parti. È possibile creare un file JSON di output richiamato parts.json utilizzando il metodo seguente.

Fase 6: Completa il caricamento multiparte

Dopo aver caricato tutte le parti del caricamento in più parti e averle elencate, il passaggio finale consiste nel completare il caricamento in più parti. Questo passaggio unisce tutte le parti caricate in un unico oggetto nel bucket S3.

Per completare il caricamento in più parti

Per finalizzare il caricamento in più parti, usa il comando. complete-multipart-upload Questo comando richiede il parts.json file creato nel passaggio 5, il nome del bucket e l'ID di caricamento. <amzn-s3-demo-bucket1>Sostituiscilo con il nome del bucket e <your-upload-id> con l'ID di caricamento di. parts.json

aws s3api complete-multipart-upload --multipart-upload file://parts.json --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --upload-id <your-upload-id>

Ecco l'output di esempio:

{
    "ServerSideEncryption": "AES256",
    "Location": "https://amzn-s3-demo-bucket1.s3.us-east-2.amazonaws.com/census_data_file",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "ETag": "\"f453c6dccca969c457efdf9b1361e291-3\"",
    "ChecksumSHA256": "aI8EoktCdotjU8Bq46DrPCxQCGuGcPIhJ51noWs6hvk=-3"
}
            

Passaggio 7: Conferma che l'oggetto sia caricato nel tuo bucket

Dopo aver completato il caricamento multiparte, puoi verificare che l'oggetto sia stato caricato correttamente nel tuo bucket S3. Per elencare gli oggetti nel bucket e confermare la presenza del file appena caricato, usa il comando list-objects-v2

Per elencare l'oggetto caricato

Per elencare gli oggetti presenti nel tuo, usa il bucket di list-objects-v2 comandi. Sostituisci amzn-s3-demo-bucket1 con il nome effettivo del bucket:

aws s3api list-objects-v2 --bucket amzn-s3-demo-bucket1

Questo comando restituisce un elenco di oggetti nel bucket. Cerca il file caricato (ad esempio,census_data_file) nell'elenco degli oggetti.

Per ulteriori informazioni, consultate la sezione Esempi relativa al list-objects-v2 comando nella Guida per l'AWS Command Line Interface utente.

Fase 8: Verificare l'integrità dell'oggetto con un MD5 checksum

Quando carichi un oggetto, puoi specificare un algoritmo di checksum da utilizzare in Amazon S3. Per impostazione predefinita, Amazon S3 memorizza il MD5 digest di byte come oggetto. ETag Per i caricamenti in più parti, non ETag è il checksum per l'intero oggetto, ma piuttosto un insieme di checksum per ogni singola parte.

Quando chiedi ad Amazon S3 di utilizzare checksum aggiuntivi, Amazon S3 calcola il valore del checksum per ogni parte e archivia i valori. Se desideri recuperare i valori di checksum per singole parti di caricamenti multiparte ancora in corso, puoi utilizzare. list-parts

Per ulteriori informazioni su come funzionano i checksum con oggetti di caricamento in più parti, consulta. Verifica dell'integrità degli oggetti

Fase 9: Verifica l'integrità dell'oggetto con un checksum aggiuntivo

In questo passaggio, questo tutorial utilizza SHA -256 come checksum aggiuntivo per convalidare l'integrità dell'oggetto. Se hai utilizzato un checksum aggiuntivo diverso, usa invece quel valore di checksum.

Fase 10: eliminare le risorse

Se vuoi ripulire i file creati in questo tutorial, usa il seguente metodo. Per istruzioni su come eliminare i file caricati nel bucket S3, consulta. Eliminazione di oggetti Amazon S3

Eliminare i file locali creati nel passaggio 1:

Per rimuovere i file che hai creato per il caricamento in più parti, esegui il comando seguente dalla tua directory di lavoro:

rm census-data.bin census-part* outfile parts.json