Protections de l'intégrité des données pour Amazon S3

Depuis un certain temps, AWS les SDK prennent en charge les contrôles d'intégrité des données lors du chargement ou du téléchargement de données depuis Amazon Simple Storage Service. Auparavant, ces vérifications étaient facultatives. Nous avons maintenant activé ces vérifications par défaut, à l'aide d' CRC-based algorithmes tels que CRC32 ou CRC64NVME. Bien que chaque SDK ou outil possède un algorithme par défaut, vous pouvez en choisir un autre. Vous pouvez également continuer à fournir manuellement une somme de contrôle précalculée pour les téléchargements si vous le souhaitez. Un comportement cohérent entre les chargements, les chargements partitionnés, les téléchargements et les modes de chiffrement simplifie les contrôles d'intégrité côté client.

Les dernières versions de nos AWS SDK calculent AWS CLI automatiquement une somme de contrôle basée sur le contrôle de redondance cyclique (CRC) pour chaque téléchargement et l'envoie à Amazon S3. Amazon S3 calcule indépendamment une somme de contrôle côté serveur et la valide par rapport à la valeur fournie avant de stocker durablement l'objet et sa somme de contrôle dans les métadonnées de l'objet. En stockant la somme de contrôle dans les métadonnées à côté de l'objet, lorsque l'objet est téléchargé, la même somme de contrôle peut être automatiquement renvoyée et utilisée également pour valider les téléchargements. Vous pouvez également vérifier le checksum enregistré dans les métadonnées de l'objet à tout moment.

Pour en savoir plus sur les opérations de somme de contrôle, les téléchargements partitionnés ou la liste des algorithmes de somme de contrôle pris en charge, consultez la section Vérification de l'intégrité des objets dans Amazon S3 dans le guide de l'utilisateur d'Amazon Simple Storage Service.

Téléchargements partitionnés :

Amazon S3 fournit également aux développeurs des totaux d'objets complets cohérents pour les téléchargements partiels ou partitionnés.

Lorsque vous chargez des fichiers en plusieurs parties, les SDK calculent les checksums pour chaque partie. Amazon S3 utilise ces sommes de contrôle pour vérifier l'intégrité de chaque partie par le biais de l'UploadPartAPI. En outre, Amazon S3 valide la taille complète du fichier et la somme de contrôle lorsque vous appelez l'CompleteMultipartUploadAPI.

Si votre SDK dispose d'un gestionnaire de transfert Amazon S3 pour faciliter les téléchargements partitionnés, les sommes de contrôle sont validées pour les parties à l'aide de l'algorithme SDK-specific par défaut indiqué dans le tableau. Support par AWS Kits SDK et outils Vous pouvez opter pour une somme de contrôle complète de l'objet en définissant le paramètre sur FULL_OBJECT ou en choisissant checksum_type d'utiliser l'algorithme CRC64NVME.

Si vous utilisez une ancienne version du SDK ou AWS CLI :

Si votre application utilise une version antérieure à décembre 2024 du SDK ou de l'outil, Amazon S3 calcule toujours une somme de contrôle CRC64NVME sur les nouveaux objets et la stocke dans les métadonnées de l'objet pour référence future. Vous pouvez ensuite comparer le CRC enregistré avec un CRC calculé de votre côté et vérifier que la transmission réseau était correcte. En outre, vous pouvez toujours étendre manuellement la protection de l'intégrité en fournissant vos propres sommes de contrôle précalculées avec vos UploadPartdemandes PutObjectOR, ce qui est la technique standard pour résoudre ce problème dans les anciennes versions.

Support par AWS Kits SDK et outils

Les SDK suivants prennent en charge les fonctionnalités et les paramètres décrits dans cette rubrique. Toute exception partielle est notée. Tous les paramètres de propriété du système JVM sont pris en charge par le AWS SDK pour Java et le AWS SDK for Kotlin seul.