Protections de l'intégrité des données pour Amazon S3

Depuis un certain temps, AWS les kits SDK prennent en charge les contrôles d'intégrité des données lors du chargement de données vers ou depuis Amazon Simple Storage Service. Auparavant, ces contrôles étaient optionnels. À présent, nous avons activé ces vérifications par défaut, à l'aide d' CRC-based algorithmes tels que CRC32 ou CRC64NVME. Bien que chaque SDK ou outil possède un algorithme par défaut, vous pouvez choisir un algorithme différent. Vous pouvez également continuer à fournir manuellement une somme de contrôle pré-calculée pour les téléchargements si vous le souhaitez. Un comportement cohérent entre les chargements, les chargements partitionnés, les téléchargements et les modes de cryptage simplifie les contrôles d'intégrité côté client.

Les dernières versions de nos AWS kits SDK calculent AWS CLI automatiquement une somme de contrôle basée sur le contrôle de redondance cyclique (CRC) pour chaque téléchargement et l'envoient à Amazon S3. Amazon S3 calcule indépendamment une somme de contrôle côté serveur et la valide par rapport à la valeur fournie avant de stocker durablement l'objet et sa somme de contrôle dans les métadonnées de l'objet. En stockant la somme de contrôle dans les métadonnées à côté de l'objet, lorsque celui-ci est téléchargé, la même somme de contrôle peut être automatiquement renvoyée et utilisée pour valider également les téléchargements. Vous pouvez également vérifier la somme de contrôle enregistrée dans les métadonnées de l'objet à tout moment.

Pour en savoir plus sur les opérations de somme de contrôle, les chargements partitionnés ou la liste des algorithmes de somme de contrôle pris en charge, consultez la section Vérification de l'intégrité des objets dans Amazon S3 dans le guide de l'utilisateur d'Amazon Simple Storage Service.

Téléchargements en plusieurs parties :

Amazon S3 fournit également aux développeurs des sommes de contrôle complètes et cohérentes des objets lors des chargements partiels et partiels.

Lorsque vous chargez des fichiers en plusieurs parties, les SDK calculent des sommes de contrôle pour chaque partie. Amazon S3 utilise ces sommes de contrôle pour vérifier l'intégrité de chaque partie via l'UploadPartAPI. En outre, Amazon S3 valide la taille complète du fichier et la somme de contrôle lorsque vous appelez l'CompleteMultipartUploadAPI.

Si votre SDK dispose d'un gestionnaire de transfert Amazon S3 pour faciliter les chargements partitionnés, les sommes de contrôle sont validées pour les parties à l'aide de l'algorithme SDK-specific par défaut figurant dans le tableau. Soutenu par AWS Kits SDK et outils Vous pouvez opter pour une somme de contrôle complète de l'objet en réglant le paramètre sur FULL_OBJECT ou en choisissant checksum_type d'utiliser l'algorithme CRC64NVME.

Si vous utilisez une ancienne version du SDK ou AWS CLI si :

Si votre application utilise une version antérieure à décembre 2024 du SDK ou de l'outil, Amazon S3 calcule toujours une somme de contrôle CRC64NVME sur les nouveaux objets et la stocke dans les métadonnées de l'objet pour référence ultérieure. Vous pourrez ensuite comparer le CRC enregistré avec un CRC calculé de votre côté et vérifier que la transmission réseau était correcte. En outre, vous pouvez toujours étendre manuellement la protection de l'intégrité en fournissant vos propres sommes de contrôle précalculées avec vos UploadPart requêtes PutObject OR, ce qui est la technique standard pour résoudre ce problème dans les anciennes versions.

Soutenu par AWS Kits SDK et outils

Les kits SDK suivants prennent en charge les fonctionnalités et les paramètres décrits dans cette rubrique. Toutes les exceptions partielles sont notées. Tous les paramètres de propriété du système JVM sont pris en charge par le AWS SDK pour Java et le AWS SDK pour Kotlin seul.