|
com.amazonaws
aws-java-sdk-bom
>1.12.7871
pom
import
com.amazonaws
aws-java-sdk-s3
| 1 [最新バージョン](https://central.sonatype.com/artifact/com.amazonaws/aws-java-sdk-bom)。2 [最新バージョン](https://central.sonatype.com/artifact/software.amazon.awssdk/bom)。3 [最新バージョン](https://central.sonatype.com/artifact/software.amazon.awssdk.crt/aws-crt)。 ## クライアントコンストラクタの移行 ### サポート対象コンストラクタ (自動移行) | V1 コンストラクタ | V2 の同等コンストラクタ | 移行ステータス | | --- | --- | --- | | new TransferManager() | S3TransferManager.create() | サポート対象 | | TransferManagerBuilder. defaultTransferManager() | S3TransferManager.create() | サポート対象 | | TransferManagerBuilder. standard().build() | S3TransferManager.builder().build() | サポート対象 | | new TransferManager(AWSCredentials) | S3TransferManager.builder() .s3Client(S3AsyncClient.builder() .credentialsProvider(...).build()) .build() | サポート対象 | | new TransferManager( AWSCredentialsProvider) | S3TransferManager.builder() .s3Client(S3AsyncClient.builder() .credentialsProvider(...).build()) .build() | サポート | ### サポート対象外コンストラクタ (手動移行が必要) | V1 コンストラクタ | V2 の同等コンストラクタ | 移行に関するメモ | | --- | --- | --- | | new TransferManager(AmazonS3) | 手動移行が必要 | S3AsyncClient を個別に作成する | | new TransferManager(AmazonS3, ExecutorService) | 手動移行が必要 | S3AsyncClient を作成し、エグゼキュターを設定する | | new TransferManager(AmazonS3, ExecutorService, boolean) | 手動移行が必要 | shutDownThreadPools パラメータはサポートされていません | ### 手動移行の例 **V1 コード:** ``` AmazonS3 s3Client = AmazonS3ClientBuilder.defaultClient(); TransferManager transferManager = new TransferManager(s3Client); ``` **V2 コード:** ``` // Create an `S3AsyncClient` with similar configuration S3AsyncClient s3AsyncClient = S3AsyncClient.builder() .credentialsProvider(DefaultCredentialsProvider.create()) .build(); // Provide the configured `S3AsyncClient` to the S3 transfer manager builder. S3TransferManager transferManager = S3TransferManager.builder() .s3Client(s3AsyncClient) .build(); ``` ## クライアントメソッドの移行 現在、移行ツールは基本的な `copy`、`download`、`upload`、`uploadDirectory`、`downloadDirectory`、`resumeDownload`、および `resumeUpload` メソッドをサポートしています。 ### 主な転送メソッド | V1 メソッド | V2 メソッド | 戻り型の変更 | 移行ステータス | | --- | --- | --- | --- | | upload(String, String, File) | uploadFile(UploadFileRequest) | Upload → FileUpload | サポート対象 | | upload(PutObjectRequest) | upload(UploadRequest) | Upload → Upload | サポート対象 | | download(String, String, File) | downloadFile(DownloadFileRequest) | Download → FileDownload | サポート対象 | | download(GetObjectRequest, File) | downloadFile(DownloadFileRequest) | Download → FileDownload | サポート対象 | | copy(String, String, String, String) | copy(CopyRequest) | Copy → Copy | サポート対象 | | copy(CopyObjectRequest) | copy(CopyRequest) | Copy → Copy | サポート対象 | | uploadDirectory(String, String, File, boolean) | uploadDirectory( UploadDirectoryRequest) | MultipleFileUpload → DirectoryUpload | サポート対象 | | downloadDirectory(String, String, File) | downloadDirectory( DownloadDirectoryRequest) | MultipleFileDownload → DirectoryDownload | サポート | ### 再開可能な転送メソッド | V1 メソッド | V2 メソッド | 移行ステータス | | --- | --- | --- | | resumeUpload(PersistableUpload) | resumeUploadFile(ResumableFileUpload) | サポート対象 | | resumeDownload(PersistableDownload) | resumeDownloadFile(ResumableFileDownload) | サポート | ### ライフサイクルメソッド | V1 メソッド | V2 メソッド | 移行ステータス | | --- | --- | --- | | shutdownNow() | close() | サポート | | shutdownNow(boolean) | close() メソッドを使用してコードを手動で調整する | サポート外 | ### サポートされていない V1 クライアントメソッド | V1 メソッド | V2 代替メソッド | 注意事項 | | --- | --- | --- | | abortMultipartUploads(String, Date) | 低レベルの Amazon S3 クライアントを使用 | サポート外 | | getAmazonS3Client() | リファレンスを個別に保存 | サポート対象外、v2 にはゲッターなし | | getConfiguration() | リファレンスを個別に保存 | サポート対象外、v2 にはゲッターなし | | uploadFileList(...) | 複数の uploadFile() 呼び出しを行う | サポート外 | | TransferStateChangeListener パラメータを持つ copy メソッド | TransferListener を使用する | [手動移行の例を参照](#tm-unsupported-client-methods-copy) | | S3ProgressListener パラメータを持つ download メソッド | [https://sdk.amazonaws.com/java/api/latest/software/amazon/awssdk/transfer/s3/progress/TransferListener.html](https://sdk.amazonaws.com/java/api/latest/software/amazon/awssdk/transfer/s3/progress/TransferListener.html) を使用する | [手動移行の例を参照](#tm-unsupported-client-methods-download) | | 4 つ以上のパラメータを持つ `downloadDirectory` メソッド | | [手動移行の例を参照](#tm-unsupported-client-methods-download-dir) | | ObjectMetadataProvider パラメータを使用した upload メソッド | リクエストでメタデータを設定 | [手動移行の例を参照](#tm-unsupported-client-methods-upload) | | \$1Provider パラメータを持つ uploadDirectory メソッド | リクエストでタグを設定 | [手動移行の例を参照](#tm-unsupported-client-methods-uploadDirectory) | #### `TransferStateChangeListener` パラメータを持つ `copy` メソッド + `copy(CopyObjectRequest copyObjectRequest, AmazonS3 srcS3, TransferStateChangeListener stateChangeListener)` + `copy(CopyObjectRequest copyObjectRequest, TransferStateChangeListener stateChangeListener)` ``` // V1 ---------------------------------------------------------------------------------------------- // Initialize source S3 client AmazonS3 s3client = AmazonS3ClientBuilder.standard() .withRegion("us-west-2") .build(); // Initialize Transfer Manager TransferManager tm = TransferManagerBuilder.standard() .withS3Client(srcS3) .build(); CopyObjectRequest copyObjectRequest = new CopyObjectRequest( "amzn-s3-demo-source-bucket", "source-key", "amzn-s3-demo-destination-bucket", "destination-key" ); TransferStateChangeListener stateChangeListener = new TransferStateChangeListener() { @Override public void transferStateChanged(Transfer transfer, TransferState state) { //Implementation of the TransferStateChangeListener } }; Copy copy = tm.copy(copyObjectRequest, srcS3, stateChangeListener); // V2 ---------------------------------------------------------------------------------------------- S3AsyncClient s3AsyncClient = S3AsyncClient.builder() .region(Region.US_WEST_2) .build(); S3TransferManager transferManager = S3TransferManager.builder() .s3Client(s3AsyncClient) .build(); // Create transfer listener (equivalent to TransferStateChangeListener in v1) TransferListener transferListener = new TransferListener() { @Override public void transferInitiated(Context.TransferInitiated context) { //Implementation System.out.println("Transfer initiated"); } @Override public void bytesTransferred(Context.BytesTransferred context) { //Implementation System.out.println("Bytes transferred"); } @Override public void transferComplete(Context.TransferComplete context) { //Implementation System.out.println("Transfer completed!"); } @Override public void transferFailed(Context.TransferFailed context) { //Implementation System.out.println("Transfer failed"); } }; CopyRequest copyRequest = CopyRequest.builder() .copyObjectRequest(req -> req .sourceBucket("amzn-s3-demo-source-bucket") .sourceKey("source-key") .destinationBucket("amzn-s3-demo-destination-bucket") .destinationKey("destination-key") ) .addTransferListener(transferListener) // Configure the transferListener into the request .build(); Copy copy = transferManager.copy(copyRequest); ``` #### `S3ProgressListener` パラメータを持つ `download` メソッド + `download(GetObjectRequest getObjectRequest, File file, S3ProgressListener progressListener)` + `download(GetObjectRequest getObjectRequest, File file, S3ProgressListener progressListener, long timeoutMillis)` + `download(GetObjectRequest getObjectRequest, File file, S3ProgressListener progressListener, long timeoutMillis, boolean resumeOnRetry)` ``` // V1 ---------------------------------------------------------------------------------------------- S3ProgressListener progressListener = new S3ProgressListener() { @Override public void progressChanged(com.amazonaws.event.ProgressEvent progressEvent) { long bytes = progressEvent.getBytesTransferred(); ProgressEventType eventType = progressEvent.getEventType(); // Use bytes and eventType as needed } @Override public void onPersistableTransfer(PersistableTransfer persistableTransfer) { } }; Download download1 = tm.download(getObjectRequest, file, progressListener); Download download2 = tm.download(getObjectRequest, file, progressListener, timeoutMillis) Download download3 = tm.download(getObjectRequest, file, progressListener, timeoutMillis, true) // V2 ---------------------------------------------------------------------------------------------- TransferListener transferListener = new TransferListener() { @Override public void transferInitiated(Context.InitializedContext context) { // Equivalent to ProgressEventType.TRANSFER_STARTED_EVENT System.out.println("Transfer initiated"); } @Override public void bytesTransferred(Context.BytesTransferred context) { // Equivalent to ProgressEventType.REQUEST_BYTE_TRANSFER_EVENT long bytes = context.bytesTransferred(); System.out.println("Bytes transferred: " + bytes); } @Override public void transferComplete(Context.TransferComplete context) { // Equivalent to ProgressEventType.TRANSFER_COMPLETED_EVENT System.out.println("Transfer completed"); } @Override public void transferFailed(Context.TransferFailed context) { // Equivalent to ProgressEventType.TRANSFER_FAILED_EVENT System.out.println("Transfer failed: " + context.exception().getMessage()); } }; DownloadFileRequest downloadFileRequest = DownloadFileRequest.builder() .getObjectRequest(getObjectRequest) .destination(file.toPath()) .addTransferListener(transferListener) .build(); // For download1 FileDownload download = transferManager.downloadFile(downloadFileRequest); // For download2 CompletedFileDownload completedFileDownload = download.completionFuture() .get(timeoutMillis, TimeUnit.MILLISECONDS); // For download3, the v2 SDK does not have a direct equiavalent to the `resumeOnRetry` method of v1. // If a download is interrupted, you need to start a new download request. ``` #### 4 つ以上のパラメータを持つ `downloadDirectory` メソッド + `downloadDirectory(String bucketName, String keyPrefix, File destinationDirectory, boolean resumeOnRetry)` + `downloadDirectory(String bucketName, String keyPrefix, File destinationDirectory, boolean resumeOnRetry, KeyFilter filter)` + `downloadDirectory(String bucketName, String keyPrefix, File destinationDirectory, KeyFilter filter)` ``` // V1 ---------------------------------------------------------------------------------------------- KeyFilter filter = new KeyFilter() { @Override public boolean shouldInclude(S3ObjectSummary objectSummary) { //Filter implementation } }; MultipleFileDownload multipleFileDownload = tm.downloadDirectory(bucketName, keyPrefix, destinationDirectory, filter); // V2 ---------------------------------------------------------------------------------------------- // The v2 SDK does not have a direct equiavalent to the `resumeOnRetry` method of v1. // If a download is interrupted, you need to start a new download request. DownloadFilter filter = new DownloadFilter() { @Override public boolean test(S3Object s3Object) { // Filter implementation. } }; DownloadDirectoryRequest downloadDirectoryRequest = DownloadDirectoryRequest.builder() .bucket(bucketName) .filter(filter) .listObjectsV2RequestTransformer(builder -> builder.prefix(keyPrefix)) .destination(destinationDirectory.toPath()) .build(); DirectoryDownload directoryDownload = transferManager.downloadDirectory(downloadDirectoryRequest); ``` #### `ObjectMetadata` パラメータを持つ `upload` メソッド + `upload(String bucketName, String key, InputStream input, ObjectMetadata objectMetadata)` ``` // V1 ----------------------------------------------------------------------------------------------ObjectMetadata metadata = new ObjectMetadata(); ObjectMetadata metadata = new ObjectMetadata(); metadata.setContentType("text/plain"); // System-defined metadata metadata.setContentLength(22L); // System-defined metadata metadata.addUserMetadata("myKey", "myValue"); // User-defined metadata PutObjectRequest putObjectRequest = new PutObjectRequest(bucketName, key, inputStream, metadata); Upload upload = transferManager.upload("amzn-s3-demo-bucket", "my-key", inputStream, metadata); // V2 ---------------------------------------------------------------------------------------------- /* When you use an InputStream to upload in V2, you should specify the content length and use `RequestBody.fromInputStream()`. If you don't provide the content length, the entire stream will be buffered in memory. If you can't determine the content length, we recommend using the CRT-based S3 client. */ Map
software.amazon.awssdk
bom
2.31.682
pom
import
software.amazon.awssdk
s3-transfer-manager
software.amazon.awssdk.crt
aws-crt
0.38.53
TransferManagerBuilder tmBuilder =|
TransferManagerBuilder.standard();
S3TransferManager.Builder tmBuilder =| | S3 クライアント |
S3TransferManager.builder();
tmBuilder.withS3Client(...);|
tmBuilder.setS3Client(...);
tmBuilder.s3Client(...);| | エグゼキュター |
tmBuilder.withExecutorFactory(...);|
tmBuilder.setExecutorFactory(...);
tmBuilder.executor(...);| | スレッドプールをシャットダウンする |
tmBuilder.withShutDownThreadPools(...);| サポート外。S3TransferManager が閉じられても、提供されたエグゼキューターはシャットダウンされません。 | | 最小アップロードパートサイズ |
tmBuilder.setShutdownThreadPools(...);
tmBuilder.withMinimumUploadPartSize(...);|
tmBuilder.setMinimumUploadPartSize(...);
S3AsyncClient s3 = S3AsyncClient.crtBuilder().| | マルチパートアップロードのしきい値 |
minimumPartSizeInBytes(...).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartUploadThreshold(...);|
tmBuilder.setMultipartUploadThreshold(...);
S3AsyncClient s3 = S3AsyncClient.crtBuilder().| | 最小コピーパーツサイズ |
thresholdInBytes(...).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartCopyPartSize(...);|
tmBuilder.setMultipartCopyPartSize(...);
S3AsyncClient s3 = S3AsyncClient.crtBuilder().| | マルチパートコピーのしきい値 |
minimumPartSizeInBytes(...).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartCopyThreshold(...);|
tmBuilder.setMultipartCopyThreshold(...);
S3AsyncClient s3 = S3AsyncClient.crtBuilder().| | 並列ダウンロードを無効にする |
thresholdInBytes(...).build();
tmBuilder.s3Client(s3);
tmBuilder.withDisableParallelDownloads(...);| マルチパートを無効にした (デフォルト)、標準 Java ベースの S3 クライアントを転送マネージャに渡して、並列ダウンロードを無効にします。
tmBuilder.setDisableParallelDownloads(...);
S3AsyncClient s3 =| | 常にマルチパート md5 を計算する |
S3AsyncClient.builder().build();
tmBuilder.s3Client(s3);
tmBuilder.withAlwaysCalculateMultipartMd5(...);| サポート外。 | ------ #### [ Use Java-based S3 async client ] **** | 設定 | v1 | v2 - Java ベースの S3 非同期クライアントを使用する Transfer Manager | | --- | --- | --- | | (ビルダーを入手する) |
tmBuilder.setAlwaysCalculateMultipartMd5(...);
TransferManagerBuilder tmBuilder =|
TransferManagerBuilder.standard();
S3TransferManager.Builder tmBuilder =| | S3 クライアント |
S3TransferManager.builder();
tmBuilder.withS3Client(...);|
tmBuilder.setS3Client(...);
tmBuilder.s3Client(...);| | エグゼキュター |
tmBuilder.withExecutorFactory(...);|
tmBuilder.setExecutorFactory(...);
tmBuilder.executor(...);| | スレッドプールをシャットダウンする |
tmBuilder.withShutDownThreadPools(...);| サポート外。S3TransferManager が閉じられても、提供されたエグゼキューターはシャットダウンされません。 | | 最小アップロードパートサイズ |
tmBuilder.setShutdownThreadPools(...);
tmBuilder.withMinimumUploadPartSize(...);|
tmBuilder.setMinimumUploadPartSize(...);
S3AsyncClient s3 = S3AsyncClient.builder()| | マルチパートアップロードのしきい値 |
.multipartConfiguration(cfg ->
cfg.minimumPartSizeInBytes(...)).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartUploadThreshold(...);|
tmBuilder.setMultipartUploadThreshold(...);
S3AsyncClient s3 = S3AsyncClient.builder()| | 最小コピーパーツサイズ |
.multipartConfiguration(cfg ->
cfg.thresholdInBytes(...)).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartCopyPartSize(...);|
tmBuilder.setMultipartCopyPartSize(...);
S3AsyncClient s3 = S3AsyncClient.builder()| | マルチパートコピーのしきい値 |
.multipartConfiguration(cfg ->
cfg.minimumPartSizeInBytes(...)).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartCopyThreshold(...);|
tmBuilder.setMultipartCopyThreshold(...);
S3AsyncClient s3 = S3AsyncClient.builder()| | 並列ダウンロードを無効にする |
.multipartConfiguration(cfg ->
cfg.thresholdInBytes(...)).build();
tmBuilder.s3Client(s3);
tmBuilder.withDisableParallelDownloads(...);| マルチパートを無効にした (デフォルト)、標準 Java ベースの S3 クライアントを転送マネージャに渡して、並列ダウンロードを無効にします。
tmBuilder.setDisableParallelDownloads(...);
S3AsyncClient s3 =| | 常にマルチパート md5 を計算する |
S3AsyncClient.builder().build();
tmBuilder.s3Client(s3);
tmBuilder.withAlwaysCalculateMultipartMd5(...);| サポート外。 | ------ ## 動作の変更 ### 非同期オペレーション **V1 (ブロック)** ``` Upload upload = transferManager.upload("amzn-s3-demo-bucket", "key", file); upload.waitForCompletion(); // Blocks until complete ``` **V2 (非同期):** ``` FileUpload upload = transferManager.uploadFile(UploadFileRequest.builder() .putObjectRequest(PutObjectRequest.builder() .bucket("amzn-s3-demo-bucket") .key("key") .build()) .source(file) .build()); CompletedFileUpload result = upload.completionFuture().join(); // Blocks until complete // Or handle asynchronously: upload.completionFuture().thenAccept(result -> { System.out.println("Upload completed: " + result.response().eTag()); }); ``` ### エラー処理 **V1:** サブリクエストが失敗した場合、ディレクトリ転送は完全に失敗します。 **V2:** 一部のサブリクエストが失敗した場合でも、ディレクトリ転送は正常に完了します。エラーを明示的に確認します。 ``` DirectoryUpload directoryUpload = transferManager.uploadDirectory(request); CompletedDirectoryUpload result = directoryUpload.completionFuture().join(); // Check for failed transfers if (!result.failedTransfers().isEmpty()) { System.out.println("Some uploads failed:"); result.failedTransfers().forEach(failed -> System.out.println("Failed: " + failed.exception().getMessage())); } ``` ### バイト範囲フェッチによる並列ダウンロード v2 SDK で自動並列転送機能が有効になっている場合、S3 Transfer Manager は[バイト範囲フェッチ](https://docs.aws.amazon.com/AmazonS3/latest/userguide/optimizing-performance-guidelines.html#optimizing-performance-guidelines-get-range)を使用してオブジェクトの特定の部分を並列して取得します (マルチパートダウンロード)。v2 でのオブジェクトのダウンロード方法は、オブジェクトが最初にアップロードされた方法には依存しません。すべてのダウンロードで、高いスループットと同時実行性のメリットが得られます。 これとは対照的に、v1 の Transfer Manager では、オブジェクトが最初にどのようにアップロードされたかが問題になります。v1 の Transfer Manager は、パーツがアップロードされたのと同じ方法でオブジェクトの一部を取得します。オブジェクトが元々単一のオブジェクトとしてアップロードされた場合、v1 の Transfer Manager はサブリクエストを使用してダウンロードプロセスを高速化することはできません。
tmBuilder.setAlwaysCalculateMultipartMd5(...);