Tutorial: Cargar un objeto mediante una carga multiparte y verificar la integridad de sus datos

La carga multiparte permite cargar un solo objeto como un conjunto de partes. Cada parte es una parte contigua de los datos del objeto. Puede cargar estas partes del objeto de forma independiente y en cualquier orden. Si la transmisión de cualquier parte falla, puede retransmitir esta parte sin que las demás partes se vean afectadas. Después de cargar todas las partes del objeto, Amazon S3 las combina y crea el objeto. Por lo general, cuando el tamaño del objeto alcanza los 100 MB, deberá usar las cargas multipartes en lugar de cargar el objeto en una única operación. Para obtener más información acerca de las cargas multipartes, consulte Carga y copia de objetos con la carga multiparte. Para conocer los límites relacionados con las cargas multiparte, consulte Límites de carga multiparte de Amazon S3.

Puede utilizar sumas de verificación para comprobar que los activos no se modifican al copiarlos. La realización de una suma de comprobación consiste en utilizar un algoritmo para iterar secuencialmente cada byte de un archivo. Amazon S3 ofrece varias opciones de suma de comprobación para comprobar la integridad de los datos. Le recomendamos que realice estas comprobaciones de integridad como práctica recomendada de durabilidad y para confirmar que todos los bytes se transfieren sin alteraciones. Amazon S3 también admite los siguientes algoritmos: SHA-1, SHA-256, CRC32 y CRC32C. Amazon S3 utiliza uno o más de estos algoritmos para calcular un valor de suma de comprobación adicional y almacenarlo como parte de los metadatos del objeto. Para obtener más información acerca de las sumas de comprobación, consulte Comprobación de la integridad de objetos.

Objetivo

En este tutorial, obtendrá información sobre cómo cargar un objeto en Amazon S3 mediante una carga multiparte y una suma de comprobación SHA-256 adicional a través de la interfaz de línea de comandos de AWS (CLI de AWS). También obtendrá información sobre cómo comprobar la integridad de los datos del objeto mediante el cálculo del hash MD5 y la suma de comprobación SHA-256 del objeto cargado.

Requisitos previos

Paso 1: Creación de un archivo grande

Si ya tiene un archivo listo para cargar, puede usarlo para este tutorial. De lo contrario, cree un archivo de 15 MB siguiendo estos pasos. Para conocer los límites relacionados con las cargas multiparte, consulte Límites de carga multiparte de Amazon S3.

Creación de un archivo grande

Utilice uno de los siguientes comandos para crear el archivo, en función del sistema operativo que esté utilizando.

Linux o macOS

Para crear un archivo de 15 MB, abra el terminal local y ejecute el siguiente comando:

dd if=/dev/urandom of=census-data.bin bs=1M count=15

Este comando crea un archivo llamado census-data.bin relleno de bytes aleatorios, con un tamaño de 15 MB.

Windows

Para crear un archivo de 15 MB, abra el terminal local y ejecute el siguiente comando:

fsutil file createnew census-data.bin 15728640

Este comando crea un archivo llamado census-data.bin con un tamaño de 15 MB de datos arbitrarios (15728640 bytes).

Paso 2: División del archivo en varios archivos

Para realizar la carga multiparte, debe dividir el archivo grande en partes más pequeñas. A continuación, puede cargar las partes más pequeñas mediante el proceso de carga multiparte. En este paso se muestra cómo dividir el archivo grande creado en el Paso 1 en partes más pequeñas. En el siguiente ejemplo, se utiliza un archivo de 15 MB llamado census-data.bin.

División de un archivo grande en partes

Linux o macOS

Para dividir el archivo grande en partes de 5 MB, utilice el comando split. Abra el terminal y ejecute lo siguiente:

split -b 5M -d census-data.bin census-part

Este comando divide census-data.bin en partes de 5 MB llamadas census-part**, donde ** es un sufijo numérico que comienza desde 00.

Windows

Para dividir el archivo grande, utilice PowerShell. Abra Powershell y ejecute el siguiente script:

$inputFile = "census-data.bin"
$outputFilePrefix = "census-part"
$chunkSize = 5MB

$fs = [System.IO.File]::OpenRead($inputFile)
$buffer = New-Object byte[] $chunkSize
$fileNumber = 0

while ($fs.Position -lt $fs.Length) {
$bytesRead = $fs.Read($buffer, 0, $chunkSize)
$outputFile = "{0}{1:D2}" -f $outputFilePrefix, $fileNumber
$fileStream = [System.IO.File]::Create($outputFile)
$fileStream.Write($buffer, 0, $bytesRead)
$fileStream.Close()
$fileNumber++
}

$fs.Close()

Este script de PowerShell lee el archivo grande en fragmentos de 5 MB y escribe cada fragmento en un archivo nuevo con un sufijo numérico.

Tras ejecutar el comando correspondiente, debería ver las partes del directorio donde ejecutó el comando. Cada parte tendrá un sufijo correspondiente a su número de pieza, por ejemplo:

census-part00 census-part01 census-part02

Paso 3: Creación de la carga multiparte con una suma de comprobación adicional

Para iniciar el proceso de carga multiparte, debe crear la solicitud de carga multiparte. Este paso implica iniciar la carga multiparte y especificar una suma de verificación adicional para la integridad de los datos. En el siguiente ejemplo, se utiliza la suma de comprobación SHA-256. Si desea proporcionar metadatos que describen el objeto que se está cargando, debe proporcionarlos en la solicitud para iniciar la carga multiparte.

Inicio de la carga multiparte

En el terminal, use el siguiente comando create-multipart-upload para iniciar una carga multiparte para el bucket. Reemplace amzn-s3-demo-bucket1 por el nombre real de su bucket. Además, sustituya census_data_file por el nombre de archivo elegido. Este nombre de archivo se convierte en la clave del objeto cuando se completa la carga.

aws s3api create-multipart-upload --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --checksum-algorithm sha256

Si la solicitud funciona correctamente, verá una salida JSON como la siguiente:

{
    "ServerSideEncryption": "AES256",
    "ChecksumAlgorithm": "SHA256",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "UploadId": "cNV6KCSNANFZapz1LUGPC5XwUVi1n6yUoIeSP138sNOKPeMhpKQRrbT9k0ePmgoOTCj9K83T4e2Gb5hQvNoNpCKqyb8m3.oyYgQNZD6FNJLBZluOIUyRE.qM5yhDTdhz"
}
        

Paso 4: Carga de las partes de la carga multiparte

En este paso, cargará las partes de la carga multiparte en el bucket de S3. Utilice el comando upload-part para cargar cada parte de forma individual. Este proceso requiere especificar el ID de carga, el número de parte y el archivo que se va a cargar para cada parte.

Paso 5: Muestra de todas las partes de la carga multiparte

Para completar la carga multiparte, necesitará una lista de todas las partes que se han cargado para esa carga multiparte específica. El resultado del comando list-parts proporciona información como el nombre del bucket, la clave, el ID de carga, el número de parte, la ETag, las sumas de verificación adicionales, etc. Resulta útil guardar este resultado en un archivo para poder utilizarlo en el siguiente paso al completar el proceso de carga multiparte. Puede crear un archivo de salida JSON llamado parts.json mediante el siguiente método.

Paso 6: Completar la carga multiparte

Tras cargar todas las partes de la carga multiparte y mostrarlas, el paso final consiste en completar la carga multiparte. En este paso, se combinan todas las partes cargadas en un único objeto del bucket de S3.

Completar la carga multiparte

Para finalizar la carga multiparte, use el comando complete-multipart-upload. Este comando requiere el archivo parts.json creado en el Paso 5, el nombre del bucket y el ID de carga. Sustituya <amzn-s3-demo-bucket1> por el nombre del bucket y <your-upload-id> por el ID de carga de parts.json.

aws s3api complete-multipart-upload --multipart-upload file://parts.json --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --upload-id <your-upload-id>

Este es el ejemplo de salida:

{
    "ServerSideEncryption": "AES256",
    "Location": "https://amzn-s3-demo-bucket1.s3.us-east-2.amazonaws.com/census_data_file",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "ETag": "\"f453c6dccca969c457efdf9b1361e291-3\"",
    "ChecksumSHA256": "aI8EoktCdotjU8Bq46DrPCxQCGuGcPIhJ51noWs6hvk=-3"
}
            

Paso 7: Confirmación de que el objeto se ha cargado en el bucket

Tras completar la carga multiparte, puede comprobar que el objeto se ha cargado correctamente en el bucket de S3. Para mostrar los objetos del bucket y confirmar la presencia del archivo recién cargado, utilice el comando list-objects-v2

Muestra del objeto cargado

Para mostrar los objetos del bucket, utilice el comando ‎list-objects-v2. Sustituya amzn-s3-demo-bucket1 por el nombre real del bucket:

aws s3api list-objects-v2 --bucket amzn-s3-demo-bucket1

Este comando devuelve una lista de objetos del bucket. Busque el archivo cargado (por ejemplo, census_data_file) en la lista de objetos.

Para obtener más información, consulte la sección de Ejemplos del comando list-objects-v2 en la Guía del usuario de AWS Command Line Interface.

Paso 8: Comprobación de la integridad del objeto con una suma de comprobación MD5

Al cargar un objeto, puede especificar un algoritmo de suma de comprobación para que lo utilice Amazon S3. De forma predeterminada, Amazon S3 almacena el resumen MD5 de bytes como ETag del objeto. Para cargas multiparte, la ETag no es la suma de comprobación de todo el objeto, sino más bien una combinación de sumas de comprobación para cada parte individual.

Cuando indica a Amazon S3 que utilice sumas de comprobación adicionales, Amazon S3 calcula el valor de la suma de comprobación de cada parte y almacena los valores. Si quiere recuperar los valores de la suma de comprobación de partes individuales de las cargas multiparte que aún están en progreso, puede utilizar list-parts.

Para obtener más información sobre cómo funcionan las sumas de comprobación con objetos de carga multiparte, consulte Comprobación de la integridad de objetos.

Paso 9: Comprobación de la integridad del objeto con una suma de comprobación adicional

En este paso, este tutorial utiliza SHA-256 como suma de comprobación adicional para validar la integridad del objeto. Si ha utilizado una suma de comprobación adicional diferente, utilice ese valor de suma de comprobación en su lugar.

Paso 10: Eliminar los recursos

Si desea limpiar los archivos creados en este tutorial, use el siguiente método. Para obtener instrucciones sobre cómo eliminar los archivos cargados en el bucket de S3, consulte Eliminación de objetos de Amazon S3.

Elimine los archivos locales creados en el Paso 1:

Para eliminar los archivos que haya creado para la carga multiparte, ejecute el siguiente comando desde el directorio de trabajo:

rm census-data.bin census-part* outfile parts.json