|
com.amazonaws
aws-java-sdk-bom
>1.12.7871
pom
import
com.amazonaws
aws-java-sdk-s3
| 1 [Letzte Version](https://central.sonatype.com/artifact/com.amazonaws/aws-java-sdk-bom). 2 [Letzte Version](https://central.sonatype.com/artifact/software.amazon.awssdk/bom). 3 [Letzte Version](https://central.sonatype.com/artifact/software.amazon.awssdk.crt/aws-crt). ## Migration des Client-Konstruktors ### Unterstützte Konstruktoren (automatische Migration) | V1-Konstruktor | V2-Äquivalent | Migrationsstatus | | --- | --- | --- | | new TransferManager() | S3TransferManager.create() | Unterstützt | | TransferManagerBuilder. defaultTransferManager() | S3TransferManager.create() | Unterstützt | | TransferManagerBuilder. standard().build() | S3TransferManager.builder().build() | Unterstützt | | new TransferManager(AWSCredentials) | S3TransferManager.builder() .s3Client(S3AsyncClient.builder() .credentialsProvider(...).build()) .build() | Unterstützt | | new TransferManager( AWSCredentialsProvider) | S3TransferManager.builder() .s3Client(S3AsyncClient.builder() .credentialsProvider(...).build()) .build() | Unterstützt | ### Konstruktoren werden nicht unterstützt (manuelle Migration erforderlich) | V1-Konstruktor | V2-Äquivalent | Hinweise zur Migration | | --- | --- | --- | | new TransferManager(AmazonS3) | Manuelle Migration erforderlich | Erstellen Sie ein S3AsyncClient separates | | new TransferManager(AmazonS3, ExecutorService) | Manuelle Migration erforderlich | Erstellen Sie einen S3AsyncClient Executor und konfigurieren Sie ihn | | new TransferManager(AmazonS3, ExecutorService, boolean) | Manuelle Migration erforderlich | shutDownThreadPoolsParameter wird nicht unterstützt | ### Beispiele für manuelle Migrationen **V1-Code:** ``` AmazonS3 s3Client = AmazonS3ClientBuilder.defaultClient(); TransferManager transferManager = new TransferManager(s3Client); ``` **V2-Kode:** ``` // Create an `S3AsyncClient` with similar configuration S3AsyncClient s3AsyncClient = S3AsyncClient.builder() .credentialsProvider(DefaultCredentialsProvider.create()) .build(); // Provide the configured `S3AsyncClient` to the S3 transfer manager builder. S3TransferManager transferManager = S3TransferManager.builder() .s3Client(s3AsyncClient) .build(); ``` ## Migration der Client-Methode Derzeit unterstützt das Migrationstool grundlegende `copy``download`,`upload`,`uploadDirectory`,`downloadDirectory`,`resumeDownload`, und `resumeUpload` Methoden. ### Wichtigste Übertragungsmethoden | V1-Methode | V2-Methode | Änderung des Rückgabetyps | Migrationsstatus | | --- | --- | --- | --- | | upload(String, String, File) | uploadFile(UploadFileRequest) | Upload → FileUpload | Unterstützt | | upload(PutObjectRequest) | upload(UploadRequest) | Upload → Upload | Unterstützt | | download(String, String, File) | downloadFile(DownloadFileRequest) | Download → FileDownload | Unterstützt | | download(GetObjectRequest, File) | downloadFile(DownloadFileRequest) | Download → FileDownload | Unterstützt | | copy(String, String, String, String) | copy(CopyRequest) | Copy → Copy | Unterstützt | | copy(CopyObjectRequest) | copy(CopyRequest) | Copy → Copy | Unterstützt | | uploadDirectory(String, String, File, boolean) | uploadDirectory( UploadDirectoryRequest) | MultipleFileUpload → DirectoryUpload | Unterstützt | | downloadDirectory(String, String, File) | downloadDirectory( DownloadDirectoryRequest) | MultipleFileDownload → DirectoryDownload | Unterstützt | ### Wiederaufnehmbare Übertragungsmethoden | V1-Methode | V2-Methode | Migrationsstatus | | --- | --- | --- | | resumeUpload(PersistableUpload) | resumeUploadFile(ResumableFileUpload) | Unterstützt | | resumeDownload(PersistableDownload) | resumeDownloadFile(ResumableFileDownload) | Unterstützt | ### Lebenszyklus-Methoden | V1-Methode | V2-Methode | Migrationsstatus | | --- | --- | --- | | shutdownNow() | close() | Unterstützt | | shutdownNow(boolean) | Passen Sie den Code mithilfe der close() Methode manuell an | Nicht unterstützt | ### Nicht unterstützte V1-Client-Methoden | V1-Methode | V2-Alternative | Hinweise | | --- | --- | --- | | abortMultipartUploads(String, Date) | Verwenden Sie den Amazon S3 S3-Client auf niedriger Ebene | Nicht unterstützt | | getAmazonS3Client() | Speichern Sie eine Referenz separat | Nicht unterstützt; kein Getter in Version 2 | | getConfiguration() | Speichern Sie eine Referenz separat | Nicht unterstützt; kein Getter in Version 2 | | uploadFileList(...) | Tätigen Sie mehrere Anrufe uploadFile() | Nicht unterstützt | | copyMethoden mit einem TransferStateChangeListener Parameter | Verwenden von TransferListener | [Siehe Beispiel für eine manuelle Migration](#tm-unsupported-client-methods-copy) | | downloadMethoden mit einem S3ProgressListener Parameter | Verwenden von [https://sdk.amazonaws.com/java/api/latest/software/amazon/awssdk/transfer/s3/progress/TransferListener.html](https://sdk.amazonaws.com/java/api/latest/software/amazon/awssdk/transfer/s3/progress/TransferListener.html) | [Siehe Beispiel für eine manuelle Migration](#tm-unsupported-client-methods-download) | | `downloadDirectory`Methoden mit 4 oder mehr Parametern | | [Siehe Beispiel für eine manuelle Migration](#tm-unsupported-client-methods-download-dir) | | uploadMethode mit einem ObjectMetadataProvider Parameter | Legen Sie Metadaten in der Anfrage fest | [Siehe Beispiel für eine manuelle Migration](#tm-unsupported-client-methods-upload) | | uploadDirectoryMethoden mit \$1Provider Parametern | Legen Sie Tags auf Anfrage fest | [Siehe Beispiel für eine manuelle Migration](#tm-unsupported-client-methods-uploadDirectory) | #### `copy`Methoden mit einem `TransferStateChangeListener` Parameter + `copy(CopyObjectRequest copyObjectRequest, AmazonS3 srcS3, TransferStateChangeListener stateChangeListener)` + `copy(CopyObjectRequest copyObjectRequest, TransferStateChangeListener stateChangeListener)` ``` // V1 ---------------------------------------------------------------------------------------------- // Initialize source S3 client AmazonS3 s3client = AmazonS3ClientBuilder.standard() .withRegion("us-west-2") .build(); // Initialize Transfer Manager TransferManager tm = TransferManagerBuilder.standard() .withS3Client(srcS3) .build(); CopyObjectRequest copyObjectRequest = new CopyObjectRequest( "amzn-s3-demo-source-bucket", "source-key", "amzn-s3-demo-destination-bucket", "destination-key" ); TransferStateChangeListener stateChangeListener = new TransferStateChangeListener() { @Override public void transferStateChanged(Transfer transfer, TransferState state) { //Implementation of the TransferStateChangeListener } }; Copy copy = tm.copy(copyObjectRequest, srcS3, stateChangeListener); // V2 ---------------------------------------------------------------------------------------------- S3AsyncClient s3AsyncClient = S3AsyncClient.builder() .region(Region.US_WEST_2) .build(); S3TransferManager transferManager = S3TransferManager.builder() .s3Client(s3AsyncClient) .build(); // Create transfer listener (equivalent to TransferStateChangeListener in v1) TransferListener transferListener = new TransferListener() { @Override public void transferInitiated(Context.TransferInitiated context) { //Implementation System.out.println("Transfer initiated"); } @Override public void bytesTransferred(Context.BytesTransferred context) { //Implementation System.out.println("Bytes transferred"); } @Override public void transferComplete(Context.TransferComplete context) { //Implementation System.out.println("Transfer completed!"); } @Override public void transferFailed(Context.TransferFailed context) { //Implementation System.out.println("Transfer failed"); } }; CopyRequest copyRequest = CopyRequest.builder() .copyObjectRequest(req -> req .sourceBucket("amzn-s3-demo-source-bucket") .sourceKey("source-key") .destinationBucket("amzn-s3-demo-destination-bucket") .destinationKey("destination-key") ) .addTransferListener(transferListener) // Configure the transferListener into the request .build(); Copy copy = transferManager.copy(copyRequest); ``` #### `download`Methoden mit einem `S3ProgressListener` Parameter + `download(GetObjectRequest getObjectRequest, File file, S3ProgressListener progressListener)` + `download(GetObjectRequest getObjectRequest, File file, S3ProgressListener progressListener, long timeoutMillis)` + `download(GetObjectRequest getObjectRequest, File file, S3ProgressListener progressListener, long timeoutMillis, boolean resumeOnRetry)` ``` // V1 ---------------------------------------------------------------------------------------------- S3ProgressListener progressListener = new S3ProgressListener() { @Override public void progressChanged(com.amazonaws.event.ProgressEvent progressEvent) { long bytes = progressEvent.getBytesTransferred(); ProgressEventType eventType = progressEvent.getEventType(); // Use bytes and eventType as needed } @Override public void onPersistableTransfer(PersistableTransfer persistableTransfer) { } }; Download download1 = tm.download(getObjectRequest, file, progressListener); Download download2 = tm.download(getObjectRequest, file, progressListener, timeoutMillis) Download download3 = tm.download(getObjectRequest, file, progressListener, timeoutMillis, true) // V2 ---------------------------------------------------------------------------------------------- TransferListener transferListener = new TransferListener() { @Override public void transferInitiated(Context.InitializedContext context) { // Equivalent to ProgressEventType.TRANSFER_STARTED_EVENT System.out.println("Transfer initiated"); } @Override public void bytesTransferred(Context.BytesTransferred context) { // Equivalent to ProgressEventType.REQUEST_BYTE_TRANSFER_EVENT long bytes = context.bytesTransferred(); System.out.println("Bytes transferred: " + bytes); } @Override public void transferComplete(Context.TransferComplete context) { // Equivalent to ProgressEventType.TRANSFER_COMPLETED_EVENT System.out.println("Transfer completed"); } @Override public void transferFailed(Context.TransferFailed context) { // Equivalent to ProgressEventType.TRANSFER_FAILED_EVENT System.out.println("Transfer failed: " + context.exception().getMessage()); } }; DownloadFileRequest downloadFileRequest = DownloadFileRequest.builder() .getObjectRequest(getObjectRequest) .destination(file.toPath()) .addTransferListener(transferListener) .build(); // For download1 FileDownload download = transferManager.downloadFile(downloadFileRequest); // For download2 CompletedFileDownload completedFileDownload = download.completionFuture() .get(timeoutMillis, TimeUnit.MILLISECONDS); // For download3, the v2 SDK does not have a direct equiavalent to the `resumeOnRetry` method of v1. // If a download is interrupted, you need to start a new download request. ``` #### `downloadDirectory`Methoden mit 4 oder mehr Parametern + `downloadDirectory(String bucketName, String keyPrefix, File destinationDirectory, boolean resumeOnRetry)` + `downloadDirectory(String bucketName, String keyPrefix, File destinationDirectory, boolean resumeOnRetry, KeyFilter filter)` + `downloadDirectory(String bucketName, String keyPrefix, File destinationDirectory, KeyFilter filter)` ``` // V1 ---------------------------------------------------------------------------------------------- KeyFilter filter = new KeyFilter() { @Override public boolean shouldInclude(S3ObjectSummary objectSummary) { //Filter implementation } }; MultipleFileDownload multipleFileDownload = tm.downloadDirectory(bucketName, keyPrefix, destinationDirectory, filter); // V2 ---------------------------------------------------------------------------------------------- // The v2 SDK does not have a direct equiavalent to the `resumeOnRetry` method of v1. // If a download is interrupted, you need to start a new download request. DownloadFilter filter = new DownloadFilter() { @Override public boolean test(S3Object s3Object) { // Filter implementation. } }; DownloadDirectoryRequest downloadDirectoryRequest = DownloadDirectoryRequest.builder() .bucket(bucketName) .filter(filter) .listObjectsV2RequestTransformer(builder -> builder.prefix(keyPrefix)) .destination(destinationDirectory.toPath()) .build(); DirectoryDownload directoryDownload = transferManager.downloadDirectory(downloadDirectoryRequest); ``` #### `upload`Methode mit `ObjectMetadata` Parameter + `upload(String bucketName, String key, InputStream input, ObjectMetadata objectMetadata)` ``` // V1 ----------------------------------------------------------------------------------------------ObjectMetadata metadata = new ObjectMetadata(); ObjectMetadata metadata = new ObjectMetadata(); metadata.setContentType("text/plain"); // System-defined metadata metadata.setContentLength(22L); // System-defined metadata metadata.addUserMetadata("myKey", "myValue"); // User-defined metadata PutObjectRequest putObjectRequest = new PutObjectRequest(bucketName, key, inputStream, metadata); Upload upload = transferManager.upload("amzn-s3-demo-bucket", "my-key", inputStream, metadata); // V2 ---------------------------------------------------------------------------------------------- /* When you use an InputStream to upload in V2, you should specify the content length and use `RequestBody.fromInputStream()`. If you don't provide the content length, the entire stream will be buffered in memory. If you can't determine the content length, we recommend using the CRT-based S3 client. */ Map
software.amazon.awssdk
bom
2.31.682
pom
import
software.amazon.awssdk
s3-transfer-manager
software.amazon.awssdk.crt
aws-crt
0.38.53
TransferManagerBuilder tmBuilder =|
TransferManagerBuilder.standard();
S3TransferManager.Builder tmBuilder =| | S3-Klient |
S3TransferManager.builder();
tmBuilder.withS3Client(...);|
tmBuilder.setS3Client(...);
tmBuilder.s3Client(...);| | Testamentsvollstrecker |
tmBuilder.withExecutorFactory(...);|
tmBuilder.setExecutorFactory(...);
tmBuilder.executor(...);| | Threadpools herunterfahren |
tmBuilder.withShutDownThreadPools(...);| Nicht unterstützt Der bereitgestellte Executor wird nicht heruntergefahren, wenn der S3TransferManager geschlossen wird | | Minimale Größe des Upload-Teils |
tmBuilder.setShutdownThreadPools(...);
tmBuilder.withMinimumUploadPartSize(...);|
tmBuilder.setMinimumUploadPartSize(...);
S3AsyncClient s3 = S3AsyncClient.crtBuilder().| | Schwellenwert für mehrteiliges Hochladen |
minimumPartSizeInBytes(...).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartUploadThreshold(...);|
tmBuilder.setMultipartUploadThreshold(...);
S3AsyncClient s3 = S3AsyncClient.crtBuilder().| | Minimale Größe des Kopierteils |
thresholdInBytes(...).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartCopyPartSize(...);|
tmBuilder.setMultipartCopyPartSize(...);
S3AsyncClient s3 = S3AsyncClient.crtBuilder().| | Schwellenwert für mehrteiliges Kopieren |
minimumPartSizeInBytes(...).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartCopyThreshold(...);|
tmBuilder.setMultipartCopyThreshold(...);
S3AsyncClient s3 = S3AsyncClient.crtBuilder().| | parallel Downloads deaktivieren |
thresholdInBytes(...).build();
tmBuilder.s3Client(s3);
tmBuilder.withDisableParallelDownloads(...);| Deaktivieren Sie parallel Downloads, indem Sie einen standardmäßigen Java-basierten S3-Client mit deaktiviertem Multipart (Standard) an den Transfermanager übergeben.
tmBuilder.setDisableParallelDownloads(...);
S3AsyncClient s3 =| | Berechne immer mehrteiliges MD5 |
S3AsyncClient.builder().build();
tmBuilder.s3Client(s3);
tmBuilder.withAlwaysCalculateMultipartMd5(...);| Nicht unterstützt | ------ #### [ Use Java-based S3 async client ] **** | Einstellung | v1 | v2 — Transfer Manager mit einem Java-basierten asynchronen S3-Client | | --- | --- | --- | | (hol dir einen Builder) |
tmBuilder.setAlwaysCalculateMultipartMd5(...);
TransferManagerBuilder tmBuilder =|
TransferManagerBuilder.standard();
S3TransferManager.Builder tmBuilder =| | S3-Klient |
S3TransferManager.builder();
tmBuilder.withS3Client(...);|
tmBuilder.setS3Client(...);
tmBuilder.s3Client(...);| | Testamentsvollstrecker |
tmBuilder.withExecutorFactory(...);|
tmBuilder.setExecutorFactory(...);
tmBuilder.executor(...);| | Threadpools herunterfahren |
tmBuilder.withShutDownThreadPools(...);| Nicht unterstützt Der bereitgestellte Executor wird nicht heruntergefahren, wenn der S3TransferManager geschlossen wird | | Minimale Größe des Upload-Teils |
tmBuilder.setShutdownThreadPools(...);
tmBuilder.withMinimumUploadPartSize(...);|
tmBuilder.setMinimumUploadPartSize(...);
S3AsyncClient s3 = S3AsyncClient.builder()| | Schwellenwert für mehrteiliges Hochladen |
.multipartConfiguration(cfg ->
cfg.minimumPartSizeInBytes(...)).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartUploadThreshold(...);|
tmBuilder.setMultipartUploadThreshold(...);
S3AsyncClient s3 = S3AsyncClient.builder()| | Minimale Größe des Kopierteils |
.multipartConfiguration(cfg ->
cfg.thresholdInBytes(...)).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartCopyPartSize(...);|
tmBuilder.setMultipartCopyPartSize(...);
S3AsyncClient s3 = S3AsyncClient.builder()| | Schwellenwert für mehrteiliges Kopieren |
.multipartConfiguration(cfg ->
cfg.minimumPartSizeInBytes(...)).build();
tmBuilder.s3Client(s3);
tmBuilder.withMultipartCopyThreshold(...);|
tmBuilder.setMultipartCopyThreshold(...);
S3AsyncClient s3 = S3AsyncClient.builder()| | parallel Downloads deaktivieren |
.multipartConfiguration(cfg ->
cfg.thresholdInBytes(...)).build();
tmBuilder.s3Client(s3);
tmBuilder.withDisableParallelDownloads(...);| Deaktivieren Sie parallel Downloads, indem Sie einen standardmäßigen Java-basierten S3-Client mit deaktiviertem Multipart (Standard) an den Transfermanager übergeben.
tmBuilder.setDisableParallelDownloads(...);
S3AsyncClient s3 =| | Berechne immer mehrteiliges MD5 |
S3AsyncClient.builder().build();
tmBuilder.s3Client(s3);
tmBuilder.withAlwaysCalculateMultipartMd5(...);| Nicht unterstützt | ------ ## Verhaltensänderungen ### Asynchrone Operationen **V1 (blockierend):** ``` Upload upload = transferManager.upload("amzn-s3-demo-bucket", "key", file); upload.waitForCompletion(); // Blocks until complete ``` **V2 (asynchron):** ``` FileUpload upload = transferManager.uploadFile(UploadFileRequest.builder() .putObjectRequest(PutObjectRequest.builder() .bucket("amzn-s3-demo-bucket") .key("key") .build()) .source(file) .build()); CompletedFileUpload result = upload.completionFuture().join(); // Blocks until complete // Or handle asynchronously: upload.completionFuture().thenAccept(result -> { System.out.println("Upload completed: " + result.response().eTag()); }); ``` ### Fehlerbehandlung **V1:** Verzeichnisübertragungen schlagen vollständig fehl, wenn eine Unteranforderung fehlschlägt. **V2:** Verzeichnisübertragungen werden erfolgreich abgeschlossen, auch wenn einige Unteranfragen fehlschlagen. Explizit nach Fehlern suchen: ``` DirectoryUpload directoryUpload = transferManager.uploadDirectory(request); CompletedDirectoryUpload result = directoryUpload.completionFuture().join(); // Check for failed transfers if (!result.failedTransfers().isEmpty()) { System.out.println("Some uploads failed:"); result.failedTransfers().forEach(failed -> System.out.println("Failed: " + failed.exception().getMessage())); } ``` ### Paralleler Download über Bytebereichs-Abrufe Wenn die automatische parallele Übertragung im v2-SDK aktiviert ist, verwendet der S3 Transfer Manager [Bytebereichs-Abrufe, um bestimmte](https://docs.aws.amazon.com/AmazonS3/latest/userguide/optimizing-performance-guidelines.html#optimizing-performance-guidelines-get-range) Teile des Objekts parallel abzurufen (mehrteiliger Download). Die Art und Weise, wie ein Objekt mit Version 2 heruntergeladen wird, hängt nicht davon ab, wie das Objekt ursprünglich hochgeladen wurde. Alle Downloads können von hohem Durchsatz und Parallelität profitieren. Im Gegensatz dazu spielt es beim Transfer Manager von Version 1 eine Rolle, wie das Objekt ursprünglich hochgeladen wurde. Der v1-Transfermanager ruft die Teile des Objekts auf die gleiche Weise ab, wie die Teile hochgeladen wurden. Wenn ein Objekt ursprünglich als einzelnes Objekt hochgeladen wurde, ist der v1 Transfer Manager nicht in der Lage, den Download-Vorgang mithilfe von Unteranforderungen zu beschleunigen.
tmBuilder.setAlwaysCalculateMultipartMd5(...);