Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration des AWS DataSync transferts avec Amazon S3
Pour transférer des données vers ou depuis votre compartiment S3, vous devez créer un emplacement AWS DataSync de transfert. DataSyncpeut utiliser cet emplacement comme source ou destination pour le transfert de données.
Important
Avant de créer votre emplacement, veillez à lire les sections suivantes :
Accès aux compartiments S3
DataSyncnécessite l'accès à votre compartiment Amazon S3. Pour ce faire, DataSync assume un rôle AWS Identity and Access Management (IAM) avec une politique IAM et une relation de confiance AWS Security Token Service (AWS STS). La stratégie détermine les actions que le rôle peut effectuer.
DataSyncpeut créer ce rôle pour vous, mais il peut arriver que vous deviez créer un rôle manuellement. Pour plus d'informations, veuillez consulter Utilisation des politiques IAM pour accéder à votre bucket S3.
Considérations relatives à la classe de stockage lors des transferts vers Amazon S3
DataSyncpeut transférer des objets directement dans la classe de stockage Amazon S3
Important
Les nouveaux objets copiés dans un compartiment S3 sont stockés à l'aide de la classe de stockage que vous avez spécifiée lors de la création de votre emplacement Amazon S3. DataSyncne modifiera pas la classe de stockage des objets existants dans le bucket (même si cet objet a été modifié à l'emplacement source).
Classe de stockage Amazon S3 | Considérations |
---|---|
S3 Standard | Choisissez S3 Standard pour stocker vos fichiers fréquemment consultés de manière redondante dans plusieurs zones de disponibilité géographiquement séparées. Il s'agit de la valeur par défaut si vous ne spécifiez pas de classe de stockage. |
S3 Intelligent-Tiering |
Choisissez S3 Intelligent-Tiering (Hiérarchisation intelligente S3) pour optimiser les coûts de stockage en transférant automatiquement les données vers le niveau d'accès de stockage le plus économique. Vous payez des frais mensuels par objet stocké dans la classe de stockage S3 Intelligent-Tiering. Ces frais Amazon S3 incluent la surveillance des modèles d'accès aux données et le déplacement d'objets entre les niveaux. |
S3 standard – Accès peu fréquent |
Choisissez S3 Standard-IA pour stocker de manière redondante les objets auxquels vous accédez rarement dans plusieurs zones de disponibilité géographiquement séparées. Les objets stockés dans la classe de stockage S3 standard — Accès peu fréquent peuvent entraîner des frais supplémentaires en cas de remplacement, de suppression ou de récupération. Prenez en compte la fréquence de changement de ces objets, la durée pendant laquelle vous prévoyez de les conserver et la fréquence à laquelle vous devez y accéder. Les modifications apportées aux données ou aux métadonnées d'un objet équivalent à la suppression d'un objet et à la création d'un nouvel objet pour le remplacer. Cela entraîne des frais supplémentaires pour les objets stockés dans la classe de stockage S3 standard — Accès peu fréquent. Les objets de moins de 128 Ko sont inférieurs à la charge de capacité minimale par objet dans la classe de stockage S3 standard — Accès peu fréquent. Ces objets sont stockés dans la classe de stockage S3 standard. |
S3 One Zone-IA |
Choisissez S3 unizone — Accès peu fréquent dans une seule zone de disponibilité. Les objets stockés dans la classe de stockage S3 unizone — Accès peu fréquent peuvent entraîner des frais supplémentaires en cas de remplacement, de suppression ou de récupération. Prenez en compte la fréquence de changement de ces objets, la durée pendant laquelle vous prévoyez de les conserver et la fréquence à laquelle vous devez y accéder. Les modifications apportées aux données ou aux métadonnées d'un objet équivalent à la suppression d'un objet et à la création d'un nouvel objet pour le remplacer. Cela entraîne des frais supplémentaires pour les objets stockés dans la classe de stockage S3 unizone — Accès peu fréquent. Les objets de moins de 128 Ko sont inférieurs à la charge de capacité minimale par objet dans la classe de stockage S3 unizone — Accès peu fréquent. Ces objets sont stockés dans la classe de stockage S3 standard. |
S3 Glacier Instant Retrieval |
Choisissez S3 Glacier Instant Retrieval pour archiver des objets rarement consultés mais qui doivent être récupérés en quelques millisecondes. Les données stockées dans la classe de stockage S3 Glacier Instant Retrieval permettent de réaliser des économies par rapport à la classe de stockage S3 standard — Accès peu fréquent. S3 Glacier Instant Retrieval présente toutefois des coûts d'accès aux données plus élevés que S3 Standard-Accès peu fréquent. Les objets stockés dans S3 Glacier Instant Retrieval peuvent entraîner des frais supplémentaires en cas de remplacement, de suppression ou de récupération. Prenez en compte la fréquence de changement de ces objets, la durée pendant laquelle vous prévoyez de les conserver et la fréquence à laquelle vous devez y accéder. Les modifications apportées aux données ou aux métadonnées d'un objet équivalent à la suppression d'un objet et à la création d'un nouvel objet pour le remplacer. Cela entraîne des frais supplémentaires pour les objets stockés dans la classe de stockage S3 Glacier Instant Retrieval. Les objets de taille inférieure à 128 Ko sont inférieurs à la charge de capacité minimale par objet dans la classe de stockage S3 Glacier Instant Retrieval. Ces objets sont stockés dans la classe de stockage S3 standard. |
S3 Glacier Flexible Retrival | Choisissez S3 Glacier Flexible Retrieval pour des archives plus actives. Les objets stockés dans S3 Glacier Flexible Retrieval peuvent entraîner des frais supplémentaires en cas de remplacement, de suppression ou de récupération. Prenez en compte la fréquence de changement de ces objets, la durée pendant laquelle vous prévoyez de les conserver et la fréquence à laquelle vous devez y accéder. Les modifications apportées aux données ou aux métadonnées d'un objet équivalent à la suppression d'un objet et à la création d'un nouvel objet pour le remplacer. Cela entraîne des frais supplémentaires pour les objets stockés dans la classe de stockage S3 Glacier Flexible Retrieval. Les objets de moins de 40 Ko sont inférieurs à la charge de capacité minimale par objet dans la classe de stockage S3 Glacier Flexible Retrieval. Ces objets sont stockés dans la classe de stockage S3 standard. Vous devez restaurer les objets archivés dans cette classe de stockage avant de DataSync pouvoir les lire. Pour plus d'informations, consultez la section Utilisation d'objets archivés dans le Guide de l'utilisateur Amazon S3.Lorsque vous utilisez S3 Glacier Flexible Retrieval, choisissez l'option Vérifier uniquement les données transférées pour comparer les checksums des données et des métadonnées à la fin du transfert. Vous ne pouvez pas utiliser l'option Vérifier toutes les données de la destination pour cette classe de stockage car elle nécessite de récupérer tous les objets existants depuis la destination. |
S3 Glacier Deep Archive |
Choisissez S3 Glacier Deep Archive pour archiver vos objets à des fins de conservation des données à long terme et de conservation numérique lorsque les données sont consultées une ou deux fois par an. Les objets stockés dans S3 Glacier Deep Archive peuvent entraîner des frais supplémentaires en cas de remplacement, de suppression ou de récupération. Prenez en compte la fréquence de changement de ces objets, la durée pendant laquelle vous prévoyez de les conserver et la fréquence à laquelle vous devez y accéder. Les modifications apportées aux données ou aux métadonnées d'un objet équivalent à la suppression d'un objet et à la création d'un nouvel objet pour le remplacer. Cela entraîne des frais supplémentaires pour les objets stockés dans la classe de stockage S3 Glacier Deep Archive. Les objets de moins de 40 Ko sont inférieurs à la charge de capacité minimale par objet dans la classe de stockage S3 Glacier Deep Archive. Ces objets sont stockés dans la classe de stockage S3 standard. Vous devez restaurer les objets archivés dans cette classe de stockage avant de DataSync pouvoir les lire. Pour plus d'informations, consultez la section Utilisation d'objets archivés dans le Guide de l'utilisateur Amazon S3. Lorsque vous utilisez S3 Glacier Deep Archive, choisissez l'option Vérifier uniquement les données transférées pour comparer les sommes de contrôle des données et des métadonnées à la fin du transfert. Vous ne pouvez pas utiliser l'option Vérifier toutes les données de la destination pour cette classe de stockage car elle nécessite de récupérer tous les objets existants depuis la destination. |
Outposts S3 |
Classe de stockage pour Amazon S3 sur Outposts. |
Évaluation des coûts des requêtes S3 lors de l'utilisation DataSync
Avec les emplacements Amazon S3, vous devez supporter des coûts liés aux demandes d'API S3 effectuées parDataSync. Cette section peut vous aider à comprendre comment ces demandes sont DataSync utilisées et comment elles peuvent affecter vos coûts Amazon S3
Requêtes S3 effectuées par DataSync
Le tableau suivant décrit les requêtes S3 que vous DataSync pouvez effectuer lorsque vous copiez des données vers ou depuis un emplacement Amazon S3.
Requête S3 | Comment DataSync l'utilise |
---|---|
DataSyncfait au moins une |
|
DataSyncémet |
|
DataSync |
|
DataSync |
|
DataSync |
Considérations de coût
DataSyncémet des requêtes S3 sur des compartiments S3 chaque fois que vous exécutez votre tâche. Cela peut entraîner une accumulation de frais dans certaines situations. Par exemple :
-
Vous transférez fréquemment des objets vers ou depuis un compartiment S3.
-
Vous ne transférez peut-être pas beaucoup de données, mais votre compartiment S3 contient de nombreux objets. Vous pouvez toujours constater des frais élevés dans ce scénario, car DataSync les requêtes S3 sont effectuées sur chacun des objets du compartiment.
-
Vous effectuez un transfert entre des compartiments S3, tout comme vous DataSync envoyez des requêtes S3 sur la source et la destination.
Pour minimiser les coûts des demandes S3 liées àDataSync, prenez en compte les points suivants :
Rubriques
Quelles classes de stockage S3 est-ce que j'utilise ?
Les frais de demande S3 peuvent varier en fonction de la classe de stockage Amazon S3 que vos objets utilisent, en particulier pour les classes qui archivent des objets (S3 Glacier Instant Retrieval, S3 Glacier Instant Retrieval et S3 Glacier Deep Archive Retrieval).
Voici quelques scénarios dans lesquels les classes de stockage peuvent affecter les frais de vos demandes S3 lors de l'utilisation DataSync :
-
Chaque fois que vous exécutez une tâche, DataSync émet des
HEAD
demandes pour récupérer les métadonnées de l'objet. Ces demandes entraînent des frais même si vous ne déplacez aucun objet. L'incidence de ces demandes sur votre facture dépend de la classe de stockage utilisée par vos objets et du nombre d'objets DataSync numérisés. -
Si vous avez déplacé des objets vers la classe de stockage S3 Glacier Instant Retrieval (soit directement, soit par le biais d'une configuration du cycle de vie des compartiments), les requêtes portant sur les objets de cette classe sont plus coûteuses que les objets des autres classes de stockage.
-
Si vous configurez votre DataSync tâche pour vérifier que vos emplacements source et destination sont entièrement synchronisés, des
GET
demandes seront envoyées pour chaque objet dans toutes les classes de stockage (à l'exception de S3 Glacier Flexible Retrieval et de S3 Glacier Deep Archive). -
Outre les
GET
demandes, des frais vous sont facturés pour l'extraction de données pour les objets dans la classe de stockage S3 Standard — Accès peu courant, S3 unizone — Accès peu fréquent ou S3 Glacier Instant Retrieval.
Pour de plus amples informations, veuillez consulter Tarification Amazon S3
À quelle fréquence dois-je transférer mes données ?
Si vous devez déplacer des données de manière récurrente, pensez à un calendrier qui n'exécute pas plus de tâches que nécessaire.
Vous pouvez également envisager de limiter la portée de vos transferts. Par exemple, vous pouvez configurer DataSync pour vous concentrer sur les objets figurant dans certains préfixes ou pour filtrer les données transférées. Ces options peuvent vous aider à réduire le nombre de requêtes S3 effectuées chaque fois que vous exécutez votre DataSync tâche.
Autres considérations liées aux transferts Amazon S3
Lorsque vous utilisez Amazon S3 avecDataSync, n'oubliez pas ce qui suit :
-
Les modifications apportées aux données ou aux métadonnées d'un objet équivalent à la suppression et au remplacement d'un objet. Ces modifications entraînent des frais supplémentaires dans les scénarios suivants :
-
Lors de l'utilisation de la gestion des versions d'objets : les modifications apportées aux données ou aux métadonnées de l'objet créent une nouvelle version de l'objet.
-
Lorsque vous utilisez des classes de stockage qui peuvent entraîner des frais supplémentaires pour le remplacement, la suppression ou la récupération d'objets, les modifications apportées aux données ou aux métadonnées des objets entraînent de tels frais. Pour plus d'informations, veuillez consulter Considérations relatives à la classe de stockage lors des transferts vers Amazon S3.
-
-
Lorsque vous utilisez la gestion des versions d'objets dans Amazon S3, l'exécution d'une DataSync tâche en une seule fois peut créer plusieurs versions d'un objet Amazon S3.
-
DataSyncrisque de ne pas transférer un objet dont le nom contient des caractères non standard. Pour plus d'informations, consultez les directives relatives à la dénomination des clés d'objet dans le Guide de l'utilisateur Amazon S3.
-
Pour minimiser vos coûts de stockage Amazon S3, nous vous recommandons d'utiliser une configuration du cycle de vie pour arrêter les chargements partitionnés incomplets. Pour plus d'informations, consultez le guide de l'utilisateur Amazon S3.
-
Après le transfert initial de données d'un compartiment S3 vers un système de fichiers (par exemple, NFS ou Amazon FSx), les exécutions suivantes de la même DataSync tâche n'incluront pas les objets qui ont été modifiés mais qui ont la même taille que lors du premier transfert.
Création de votre lieu de transfert Amazon S3
Pour créer l'emplacement, vous devez avoir un compartiment S3 existant. Si vous n'en possédez pas, consultez la section Premiers pas avec Amazon S3 dans le Guide de l'utilisateur Amazon S3.
Astuce
Si votre compartiment S3 contient des objets appartenant à différentes classes de stockage, découvrez comment DataSyncfonctionne ces classes de stockage et comment cela peut affecter votre AWS facture.
Pour créer un emplacement Amazon S3
Ouvrez la AWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/
. -
Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Emplacements et Créer un emplacement.
-
Pour le type d'emplacement, choisissez Amazon S3.
-
Pour le compartiment S3, choisissez le compartiment que vous souhaitez utiliser comme emplacement. (Lors de la création ultérieure de votre DataSync tâche, vous préciserez s'il s'agit d'un emplacement source ou d'un emplacement de destination.)
Si votre compartiment S3 se trouve sur une AWS Outposts ressource, vous devez spécifier un point d'accès Amazon S3. Pour plus d'informations, veuillez consulter Gestion de l'accès aux données avec les points d'accès Amazon S3.
-
Pour la classe de stockage S3, choisissez la classe de stockage que vous souhaitez que vos objets utilisent.
Pour plus d'informations, veuillez consulter Considérations relatives à la classe de stockage lors des transferts vers Amazon S3. DataSyncutilise par défaut la classe de stockage S3 Outposts pour Amazon S3 sur Outposts.
-
(Amazon S3 sur Outposts uniquement) Pour les agents, spécifiez l'ARN (Amazon S3 sur Outposts uniquement). DataSync
Pour plus d'informations, veuillez consulter Déployez votre agent sur AWS Outposts.
-
Dans Dossier, entrez un préfixe dans le compartiment S3 vers lequel DataSync lire ou écrire (selon que le compartiment est un emplacement source ou de destination).
Note
Le préfixe ne peut pas commencer par une barre oblique (par exemple
/photos
) ni inclure de barres obliques consécutives, telles que.photos//2006/January
-
Pour IAM role (Rôle IAM), effectuez l'une des opérations suivantes :
-
Choisissez Autogenerate for DataSync pour créer automatiquement un rôle IAM avec les autorisations requises pour accéder au compartiment S3.
Si vous avez DataSync déjà créé un rôle IAM pour ce bucket S3, ce rôle est choisi par défaut.
-
Choisissez un rôle IAM personnalisé que vous venez de créer. Pour plus d'informations, veuillez consulter Création manuelle d'un rôle IAM afin d'accéder à votre compartiment Amazon S3.
-
-
(Facultatif) Choisissez Ajouter une étiquette pour baliser votre emplacement Amazon S3.
Une balise est une paire clé-valeur qui vous aide à gérer, filtrer et rechercher vos emplacements.
-
Choisissez Créer un lieu.
Utilisation des politiques IAM pour accéder à votre bucket S3
Selon les paramètres de sécurité de votre compartiment S3, vous devrez peut-être créer une politique IAM personnalisée qui permet d'DataSyncaccéder au compartiment.
Rubriques
Création manuelle d'un rôle IAM afin d'accéder à votre compartiment Amazon S3
Bien que vous DataSync puissiez créer un rôle IAM pour vous avec les autorisations requises pour le bucket S3, vous pouvez également configurer un rôle vous-même.
Pour créer manuellement un rôle IAM afin d'accéder à votre compartiment Amazon S3
Ouvrez la console IAM à l'adresse https://console.aws.amazon.com/iam/
. -
Dans le volet de navigation de gauche, sous Gestion des accès, choisissez Rôles, puis choisissez Créer un rôle.
-
Sur la page Sélectionner une entité de confiance, pour Type d'entité de confiance, choisissez Service AWS.
-
Pour Cas d'utilisation, choisissez DataSyncdans la liste déroulante et sélectionnez DataSync- S3 Location. Choisissez Suivant.
-
Sur la page Ajouter des autorisations, choisissez AmazonS3 FullAccess pour les compartiments S3 dans. Régions AWS Choisissez Suivant.
Vous pouvez créer manuellement une politique plus restrictive qu'AmazonS3 FullAccess. Voici un exemple:
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": "
YourS3BucketArn
" }, { "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:GetObjectTagging", "s3:PutObjectTagging", "s3:PutObject" ], "Effect": "Allow", "Resource": "YourS3BucketArn
/*" } ] }Pour Amazon S3 sur Outposts, utilisez la politique suivante :
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "s3-outposts:ListBucket", "s3-outposts:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": [ "
s3OutpostsBucketArn
", "s3OutpostsAccessPointArn
" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn
" } } }, { "Action": [ "s3-outposts:AbortMultipartUpload", "s3-outposts:DeleteObject", "s3-outposts:GetObject", "s3-outposts:ListMultipartUploadParts", "s3-outposts:GetObjectTagging", "s3-outposts:PutObjectTagging" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn
/*", "s3OutpostsAccessPointArn
" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn
" } } }, { "Effect": "Allow", "Action": [ "s3-outposts:GetAccessPoint" ], "Resource": "s3OutpostsAccessPointArn
" } ] } -
Donnez un nom à votre rôle et choisissez Créer un rôle.
Ouvrez la AWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/
. -
Cliquez sur le bouton d'actualisation à côté du paramètre du rôle IAM, puis choisissez le rôle que vous venez de créer.
Prévention du problème de l'adjoint confus entre services
Pour éviter tout problème de confusion entre les services adjoints, nous vous recommandons d'utiliser les clés contextuelles de condition aws:SourceAccount
globale aws:SourceArn
et les clés contextuelles de la politique de confiance de votre rôle IAM.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "
123456789012
" }, "StringLike": { "aws:SourceArn": "arn:aws:datasync:us-east-2
:123456789012
:*" } } } ] }
Accès aux compartiments S3 à l'aide du chiffrement côté serveur
DataSyncpeut copier des données vers ou depuis des compartiments S3 qui utilisent le chiffrement côté serveur. Le type de clé de chiffrement utilisé par un bucket peut déterminer si vous avez besoin d'une politique personnalisée DataSync permettant d'accéder au bucket.
Lorsque vous utilisez DataSync des compartiments S3 qui utilisent le chiffrement côté serveur, n'oubliez pas ce qui suit :
-
Si votre compartiment S3 est chiffré à l'aide d'une clé AWS gérée, DataSync vous pouvez accéder aux objets du compartiment par défaut si toutes vos ressources se trouvent au même endroitCompte AWS.
-
Si votre compartiment S3 est chiffré à l'aide d'une clé gérée par le client AWS Key Management Service (AWS KMS) (SSE-KMS), la politique de la clé doit inclure le rôle IAM DataSync utilisé pour accéder au compartiment.
-
Si votre compartiment S3 est chiffré à l'aide d'une clé SSE-KMS gérée par le client et qu'il se trouve dans une autre clé, vous devez Compte AWS DataSync être autorisé à accéder au compartiment situé dans l'autre. Compte AWS Vous pouvez configurer cela en procédant comme suit :
-
Dans le rôle IAM utilisé parDataSync, spécifiez la clé SSE-KMS associée au bucket de destination.
-
Dans la politique de clé SSE-KMS, spécifiez le rôle IAM utilisé par. DataSync
-
-
Si votre compartiment S3 est chiffré à l'aide d'une clé de chiffrement fournie par le client (SSE-C), impossible d'DataSyncaccéder à ce compartiment.
L'exemple suivant est une politique de clé pour une clé SSE-KMS gérée par le client. La politique est associée à un compartiment S3 qui utilise le chiffrement côté serveur. Les valeurs suivantes sont spécifiques à votre configuration :
-
votre compte — Votre
. Compte AWS -
your-admin-role
— Le rôle IAM qui peut administrer la clé. -
your-datasync-role
— Le rôle IAM qui permet d'DataSyncutiliser la clé pour accéder au bucket.
{ "Id": "key-consolepolicy-3", "Version": "2012-10-17", "Statement": [ { "Sid": "Enable IAM Permissions", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::
your-account
:root" }, "Action": "kms:*", "Resource": "*" }, { "Sid": "Allow access for Key Administrators", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::your-account
:role/your-admin-role
" }, "Action": [ "kms:Create*", "kms:Describe*", "kms:Enable*", "kms:List*", "kms:Put*", "kms:Update*", "kms:Revoke*", "kms:Disable*", "kms:Get*", "kms:Delete*", "kms:TagResource", "kms:UntagResource", "kms:ScheduleKeyDeletion", "kms:CancelKeyDeletion" ], "Resource": "*" }, { "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::your-account
:role/your-datasync-role
" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*" ], "Resource": "*" }, { "Sid": "Allow attachment of persistent resources", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::your-account
:role/your-datasync-role
" }, "Action": [ "kms:CreateGrant", "kms:ListGrants", "kms:RevokeGrant" ], "Resource": "*", "Condition": { "Bool": { "kms:GrantIsForAWSResource": "true" } } } ] }
Transfert vers ou depuis des compartiments S3 dans différents compartiments Comptes AWS
AvecDataSync, vous pouvez déplacer des données vers ou depuis des compartiments S3 dans différents Comptes AWS compartiments. Pour de plus d'informations, consultez les didacticiels suivants :