チュートリアル: マルチパートアップロードでオブジェクトをアップロードして、データ整合性を検証する

マルチパートアップロードを使用すると、単一のオブジェクトをパートのセットとしてアップロードすることができます。各パートは、オブジェクトのデータの連続する部分です。これらのオブジェクトパートは、任意の順序で個別にアップロードできます。いずれかのパートの送信が失敗すると、他のパートに影響を与えることなくそのパートを再送することができます。オブジェクトのすべてのパートがアップロードされたら、Amazon S3 はこれらのパートを組み立ててオブジェクトを作成します。通常、オブジェクトサイズが 100 MB 以上の場合は、単一のオペレーションでオブジェクトをアップロードする代わりに、マルチパートアップロードを使用することを考慮してください。マルチパートアップロードの詳細については、「マルチパートアップロードを使用したオブジェクトのアップロードとコピー」を参照してください。マルチパートアップロードに関する制限については、「Amazon S3 マルチパートアップロードの制限」を参照してください。

チェックサムを使用して、コピー時にアセットが変更されていないことを確認できます。チェックサムを実行するには、アルゴリズムを使用してファイル内のバイトごとに順番に反復処理を行います。Amazon S3 は、データの整合性をチェックするための複数のチェックサムオプションを提供しています。耐久性のベストプラクティスとして、このような整合性チェックを実行し、すべてのバイトが変更されずに転送されることを確認することをお勧めします。Amazon S3 は、HA-1、SHA-256、CRC32、CRC32C のアルゴリズムもサポートしています。Amazon S3 は、このようなアルゴリズムの 1 つまたは複数使用して、追加のチェックサム値を計算し、オブジェクトメタデータの一部として保存します。チェックサムの詳細については、「オブジェクトの整合性をチェックする」を参照してください。

目的

このチュートリアルでは、AWS コマンドラインインターフェイス (AWS CLI) を介してマルチパートアップロードと追加の SHA-256 チェックサムを使って、オブジェクトを Amazon S3 にアップロードする方法を説明します。アップロードしたオブジェクトの MD5 ハッシュと SHA-256 チェックサムを計算することで、オブジェクトのデータ整合性を確認する方法についても説明します。

前提条件

ステップ 1: サイズが大きいファイルを作成する

アップロードするファイルが既にある場合は、このチュートリアルでそのファイルを使用できます。ない場合は、次の手順で 15 MB のファイルを作成します。マルチパートアップロードに関する制限については、「Amazon S3 マルチパートアップロードの制限」を参照してください。

サイズが大きいファイルを作成するには

使用しているオペレーティングシステムに応じて、次のいずれかのコマンドを使用してファイルを作成します。

Linux または macOS

15 MB のファイルを作成するには、ローカルターミナルを開いて、次のコマンドを実行します。

dd if=/dev/urandom of=census-data.bin bs=1M count=15

このコマンドは、ランダムなバイトが入力された、サイズが 15 MB の census-data.bin という名前のファイルを作成します。

Windows

15 MB のファイルを作成するには、ローカルターミナルを開いて、次のコマンドを実行します。

fsutil file createnew census-data.bin 15728640

このコマンドは、サイズが 15 MB (15,728,640 バイト) の任意のデータが入力された、census-data.bin という名前のファイルを作成します。

ステップ 2: ファイルを複数のファイルに分割する

マルチパートアップロードを実行するには、サイズの大きいファイルを小さいサイズのパートに分割する必要があります。その後、マルチパートアップロードプロセスを使用して、小さいサイズのパートをアップロードできます。このステップでは、ステップ 1 で作成したサイズの大きいファイルを小さいパートに分割する方法を説明します。次の例では、census-data.bin という名前の 15 MB のファイルを使用します。

サイズの大きいファイルをパートに分割するには

Linux または macOS

サイズの大きいファイルを 5 MB のパートに分割するには、split コマンドを使用します。ターミナルを開いて、次のコマンドを実行します。

split -b 5M -d census-data.bin census-part

このコマンドは、census-data.bin を census-part** という名前の 5 MB のパートに分割します。** は 00 から始まる数値のサフィックスです。

Windows

サイズの大きいファイルを分割するには、PowerShell を使用します。PowerShell を開いて、次のスクリプトを実行します。

$inputFile = "census-data.bin"
$outputFilePrefix = "census-part"
$chunkSize = 5MB

$fs = [System.IO.File]::OpenRead($inputFile)
$buffer = New-Object byte[] $chunkSize
$fileNumber = 0

while ($fs.Position -lt $fs.Length) {
$bytesRead = $fs.Read($buffer, 0, $chunkSize)
$outputFile = "{0}{1:D2}" -f $outputFilePrefix, $fileNumber
$fileStream = [System.IO.File]::Create($outputFile)
$fileStream.Write($buffer, 0, $bytesRead)
$fileStream.Close()
$fileNumber++
}

$fs.Close()

この PowerShell スクリプトは、サイズの大きいファイルを 5 MB のチャンクで読み取り、各チャンクを数値のサフィックス付きの新しいファイルに書き込みます。

適切なコマンドを実行後、コマンドを実行したディレクトリに複数のパートがあるのを確認できるはずです。各パートには、次の例のとおり、パート番号に対応するサフィックスが付けられています。

census-part00 census-part01 census-part02

ステップ 3: 追加のチェックサムを使用してマルチパートアップロードを作成する

マルチパートアップロードプロセスを開始するには、マルチパートアップロードリクエストを作成する必要があります。このステップでは、マルチパートアップロードを開始し、データの整合性に関する追加のチェックサムを指定します。次の例では、SHA-256 チェックサムを使用しています。アップロードするオブジェクトの説明となるメタデータを指定する場合は、マルチパートアップロードの開始リクエストの中で指定する必要があります。

マルチパートアップロードを開始するには

ターミナルで、次の create-multipart-upload コマンドを使用してバケットのマルチパートアップロードを開始します。amzn-s3-demo-bucket1 を実際のバケット名に置き換えます。census_data_file も選択したファイル名に置き換えます。このファイル名は、アップロードが完了するとオブジェクトキーになります。

aws s3api create-multipart-upload --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --checksum-algorithm sha256

リクエストが正常に完了すると、次のような JSON 出力が表示されます。

{
    "ServerSideEncryption": "AES256",
    "ChecksumAlgorithm": "SHA256",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "UploadId": "cNV6KCSNANFZapz1LUGPC5XwUVi1n6yUoIeSP138sNOKPeMhpKQRrbT9k0ePmgoOTCj9K83T4e2Gb5hQvNoNpCKqyb8m3.oyYgQNZD6FNJLBZluOIUyRE.qM5yhDTdhz"
}
        

ステップ 4: マルチパートアップロードのパートをアップロードする

このステップでは、マルチパートアップロードのパートを S3 バケットにアップロードします。upload-part コマンドを使用して、各パートを個別にアップロードします。このプロセスでは、アップロード ID、パート番号、パートごとにアップロードするファイルを指定する必要があります。

ステップ 5: マルチパートアップロードのすべてのパートを一覧表示する

マルチパートアップロードを完了するには、特定のマルチパートアップロードでアップロードされたすべてのパートの一覧が必要です。list-parts コマンドからの出力は、バケット名、キー、アップロード ID、パート番号、eTag、追加のチェックサムなどの情報を提供します。この出力をファイルに保存して、マルチパートアップロードプロセスの完了に向けた次のステップで使用できるようにすると便利です。次の方法を使用して、parts.json という名前の JSON 出力ファイルを作成できます。

ステップ 6: マルチアップロードを完了する

マルチパートアップロードのすべてのパートをアップロードして一覧表示した後の最後のステップは、マルチパートアップロードを完了することです。このステップでは、アップロードしたすべてのパートを S3 バケット内の単一のオブジェクトにマージします。

マルチパートアップロードを完了するには

マルチパートアップロードを最終化するには、complete-multipart-upload コマンドを使用します。このコマンドには、ステップ 5 で作成した parts.json ファイル、バケット名、アップロード ID が必要です。<amzn-s3-demo-bucket1> は実際のバケット名、<your-upload-id> は parts.json のアップロード ID に置き換えます。

aws s3api complete-multipart-upload --multipart-upload file://parts.json --bucket amzn-s3-demo-bucket1 --key 'census_data_file' --upload-id <your-upload-id>

以下は出力の例です。

{
    "ServerSideEncryption": "AES256",
    "Location": "https://amzn-s3-demo-bucket1.s3.us-east-2.amazonaws.com/census_data_file",
    "Bucket": "amzn-s3-demo-bucket1",
    "Key": "census_data_file",
    "ETag": "\"f453c6dccca969c457efdf9b1361e291-3\"",
    "ChecksumSHA256": "aI8EoktCdotjU8Bq46DrPCxQCGuGcPIhJ51noWs6hvk=-3"
}
            

ステップ 7: オブジェクトがバケットにアップロードされていることを確認する

マルチパートアップロードが完了したら、オブジェクトが S3 バケットに正常にアップロードされたことを確認できます。バケット内のオブジェクトを一覧表示して、新しくアップロードされたファイルが存在することを確認するには、 list-objects-v2 コマンドを使用します。

アップロードしたオブジェクトを一覧表示するには

バケット内のオブジェクトを一覧表示するには、list-objects-v2 コマンドを使用します。次の amzn-s3-demo-bucket1 は、実際のバケット名に置き換えます。

aws s3api list-objects-v2 --bucket amzn-s3-demo-bucket1

このコマンドは、バケット内のオブジェクトの一覧を返します。オブジェクトの一覧で、アップロードしたファイル (census_data_file など) を検索します。

詳細については、「AWS Command Line Interface ユーザーガイド」の「list-objects-v2 コマンドの例」セクションを参照してください。

ステップ 8: MD5 チェックサムを使用してオブジェクトの整合性を検証する

オブジェクトをアップロードする際に、Amazon S3 が使用するチェックサムのアルゴリズムを指定できます。デフォルトでは、Amazon S3 は複数のバイトの MD5 ダイジェストをオブジェクトの ETag として保存します。マルチパートアップロードの場合、ETag はオブジェクト全体のチェックサムではなく、個別のパートのチェックサムの複合体です。

追加のチェックサムを使用するように Amazon S3 に指示すると、Amazon S3 は各パートのチェックサム値を計算し、その値を保存します。マルチパートアップロード処理中の個別のパートのチェックサム値を取得する場合は、list-parts を使用できます。

マルチパートアップロードオブジェクトでのチェックサムの動作の詳細については、「オブジェクトの整合性をチェックする」を参照してください。

ステップ 9: 追加のチェックサムを使用してオブジェクトの整合性を検証する

このチュートリアルでは、オブジェクトの整合性を検証するための追加のチェックサムとして、このステップで SHA-256 を使用します。別の追加のチェックサムを使用した場合は、代わりにそのチェックサム値を使用します。

ステップ 10: リソースをクリーンアップする

このチュートリアルで作成したファイルをクリーンアップする場合は、次の方法を使用します。S3 バケットにアップロードしたファイルを削除する手順については、「Amazon S3 オブジェクトの削除」を参照してください。

ステップ 1 で作成したローカルファイルを削除する:

マルチパートアップロードのために作成したファイルを削除するには、作業ディレクトリから次のコマンドを実行します。

rm census-data.bin census-part* outfile parts.json