Créer une tâche de réplication par lot pour les règles de réplication existantes - Amazon Simple Storage Service

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Créer une tâche de réplication par lot pour les règles de réplication existantes

Dans Amazon S3, la réplication en direct ne réplique aucun objet qui existait déjà dans votre compartiment source avant que vous ne créiez une configuration de réplication. La réplication dynamique réplique automatiquement uniquement les objets nouveaux et mis à jour qui sont écrits dans le compartiment une fois la configuration de réplication créée. Pour répliquer des objets déjà existants, vous pouvez utiliser S3 Batch Replication pour répliquer ces objets à la demande.

Vous pouvez configurer la réplication par lots S3 pour une configuration de réplication existante à l'aide de la console AWS SDKs, AWS Command Line Interface (AWS CLI) ou Amazon S3. Pour une présentation de la réplication par lots, consultezRéplication d'objets existants avec Batch Replication.

Lorsque la tâche de réplication par lot est terminée, vous recevez un rapport de fin d'opérations. Pour plus d'informations sur l'utilisation du rapport pour examiner la tâche, consultez Suivi de l'état de la tâche et des rapports de fin de tâche.

Prérequis

Avant de créer votre tâche de réplication par lots, vous devez créer un rôle Batch Operations AWS Identity and Access Management (IAM) pour autoriser Amazon S3 à effectuer des actions en votre nom. Pour de plus amples informations, veuillez consulter Configuration d'un IAM rôle pour S3 Batch Replication.

  1. Connectez-vous à la console Amazon S3 AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/s3/.

  2. Dans le panneau de navigation de gauche, choisissez Batch Operations (Opérations par lot).

  3. Choisissez Créer une tâche.

  4. Vérifiez que la Région AWSsection indique la région dans laquelle vous souhaitez créer votre emploi.

  5. Dans la section Manifest, spécifiez le format du manifeste que vous souhaitez utiliser. Le manifeste est la liste de tous les objets sur lesquels vous souhaitez exécuter l'action spécifiée. Pour en savoir plus sur les manifestes des opérations par lot, consultez Spécification d'un manifeste.

    • Si vous avez préparé un manifeste, choisissez le rapport d'inventaire S3 (manifest.json) ou. CSV Si votre manifeste se trouve dans un compartiment versionné, vous pouvez spécifier l'ID de version du manifeste. Si vous ne spécifiez pas d'ID de version, Batch Operations utilise la version actuelle de votre manifeste. Pour plus d'informations sur la création d'un manifeste, consultezSpécification d'un manifeste.

      Note

      Si les objets de votre manifeste se trouvent dans un compartiment versionné, vous devez spécifier la version IDs des objets. Pour de plus amples informations, veuillez consulter Spécification d'un manifeste.

    • Pour créer un manifeste basé sur votre configuration de la réplication, choisissez Create manifest using S3 Replication configuration (Créer un manifeste à l'aide de la configuration de réplication S3). Choisissez ensuite le compartiment source de votre configuration de réplication.

  6. (Facultatif) Si vous avez choisi Créer un manifeste à l'aide de la configuration de réplication S3, vous pouvez inclure des filtres supplémentaires, tels que la date de création de l'objet et l'état de réplication. Pour des exemples de filtrage en fonction de l'état de réplication, consultezSpécification d'un manifeste pour une tâche de réplication par lot.

  7. (Facultatif) Si vous avez choisi Créer un manifeste à l'aide de la configuration de réplication S3, vous pouvez enregistrer le manifeste généré. Pour enregistrer ce manifeste, sélectionnez Enregistrer le manifeste des opérations par lots. Spécifiez ensuite le compartiment de destination pour le manifeste et choisissez de chiffrer ou non le manifeste.

    Note

    Le manifeste généré doit être stocké dans le même emplacement Région AWS que le compartiment source.

  8. Choisissez Suivant.

  9. Sur la page Opérations, choisissez Répliquer, puis Suivant.

  10. (Facultatif) Fournissez une description.

  11. Ajustez la Priority (priorité) de la tâche si nécessaire. Un nombre plus élevé est synonyme de priorité supérieure. Simple Storage Service (Amazon S3) tente d'exécuter des tâches à priorité supérieure avant les tâches à priorité inférieure. Pour plus d’informations sur la priorité des tâches, consultez Affectation d'une priorité de tâche.

  12. (Facultatif) Générez un rapport de fin de tâche. Pour générer ce rapport, sélectionnez Générer un rapport d'achèvement.

    Si vous choisissez de générer un rapport de fin de tâche, vous devez choisir de créer un rapport concernant Failed tasks only (uniquement les tâches ayant échoué) ou All tasks (toutes les tâches), et fournir un compartiment de destination pour le rapport.

  13. Dans la section Autorisations, assurez-vous de choisir un IAM rôle disposant des autorisations requises pour la réplication par lots. L'une des causes les plus fréquentes des échecs de réplication est le manque d'autorisations dans le IAM rôle fourni. Pour plus d'informations sur la création de ce rôle, consultez Configuration d'un IAM rôle pour S3 Batch Replication.

  14. (Facultatif) Ajoutez des identifications de tâche à la tâche de réplication par lot.

  15. Choisissez Suivant.

  16. Vérifiez la configuration de votre tâche, puis choisissez Create job.

L'exemple de create-job commande suivant crée une tâche de réplication par lots S3 en utilisant un manifeste généré par S3 pour le Compte AWS 111122223333. Cet exemple reproduit des objets existants et des objets qui n'avaient pas pu être répliqués auparavant. Pour plus d'informations sur le filtrage en fonction de l'état de réplication, consultezSpécification d'un manifeste pour une tâche de réplication par lot.

Pour utiliser cette commande, remplacez espaces réservés à la saisie par l'utilisateur avec vos propres informations. Remplacez le IAM rôle role/batch-Replication-IAM-policy par le IAM rôle que vous avez créé précédemment. Pour de plus amples informations, veuillez consulter Configuration d'un IAM rôle pour S3 Batch Replication.

aws s3control create-job --account-id 111122223333 \ 
--operation '{"S3ReplicateObject":{}}' \ 
--report '{"Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket",\ 
"Prefix":"batch-replication-report", \ 
"Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' \ 
--manifest-generator '{"S3JobManifestGenerator": {"ExpectedBucketOwner": "111122223333", \ 
"SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket", \ 
"EnableManifestOutput": false, "Filter": {"EligibleForReplication": true, \ 
"ObjectReplicationStatuses": ["NONE","FAILED"]}}}' \ 
--priority 1 \ 
--role-arn arn:aws:iam::111122223333:role/batch-Replication-IAM-policy \ 
--no-confirmation-required \ 
--region source-bucket-region
Note

Vous devez lancer la tâche à partir du même compartiment Région AWS que celui de la source de réplication.

Une fois que vous avez lancé avec succès une tâche de réplication par lot, vous recevez l'ID de la tâche en tant que réponse. Vous pouvez surveiller cette tâche à l'aide de la describe-job commande suivante. Pour utiliser cette commande, remplacez espaces réservés à la saisie par l'utilisateur avec vos propres informations. 

aws s3control describe-job --account-id 111122223333 --job-id job-id --region source-bucket-region

L'exemple suivant crée une tâche de réplication par lots S3 à l'aide d'un manifeste défini par l'utilisateur pour Compte AWS 111122223333. Si les objets de votre manifeste se trouvent dans un compartiment versionné, vous devez spécifier la version IDs des objets. Seul l'objet dont l'ID de version est spécifié dans l'attaque de l'homme du milieu (HDM) sera répliqué. Pour plus d'informations sur la création d'un manifeste, consultezSpécification d'un manifeste.

Pour utiliser cette commande, remplacez espaces réservés à la saisie par l'utilisateur avec vos propres informations. Remplacez le IAM rôle role/batch-Replication-IAM-policy par le IAM rôle que vous avez créé précédemment. Pour de plus amples informations, veuillez consulter Configuration d'un IAM rôle pour S3 Batch Replication.

aws s3control create-job --account-id 111122223333 \ 
--operation '{"S3ReplicateObject":{}}' \
--report '{"Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket",\
"Prefix":"batch-replication-report", \
"Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' \
--manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820",\
"Fields":["Bucket","Key","VersionId"]},\
"Location":{"ObjectArn":"arn:aws:s3:::amzn-s3-demo-manifest-bucket/manifest.csv",\
"ETag":"Manifest Etag"}}' \
--priority 1 \
--role-arn arn:aws:iam::111122223333:role/batch-Replication-IAM-policy \
--no-confirmation-required \
--region source-bucket-region
Note

Vous devez lancer la tâche à partir du même compartiment Région AWS que celui de la source de réplication.

Une fois que vous avez lancé avec succès une tâche de réplication par lot, vous recevez l'ID de la tâche en tant que réponse. Vous pouvez surveiller cette tâche à l'aide de la describe-job commande suivante.

aws s3control describe-job --account-id 111122223333 --job-id job-id --region source-bucket-region