Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Exécution d’opérations groupées sur des objets avec les opérations par lot
Vous pouvez utiliser les opérations par lot S3 pour effectuer des opérations par lot à grande échelle sur des objets Amazon S3. Les opérations par lot S3 peuvent effectuer une seule opération sur les listes d’objets Amazon S3 que vous spécifiez. Une seule tâche peut effectuer une opération spécifiée sur des milliards d’objets contenant des exaoctets de données. Amazon S3 suit la progression, envoie des notifications et stocke un rapport de fin d’opérations détaillé sur toutes les actions, offrant ainsi une expérience sans serveur entièrement gérée et contrôlable. Vous pouvez utiliser S3 Batch Operations via la console Amazon S3 ou AWS SDKs l'API REST Amazon S3. AWS CLI
Utilisez S3 Batch Operations pour copier des objets et définir des balises d'objets ou des listes de contrôle d'accès (ACLs). Vous pouvez également lancer des restaurations d’objets à partir de S3 Glacier Flexible Retrieval ou invoquer une fonction AWS Lambda pour effectuer des actions personnalisées à l’aide de vos objets. Vous pouvez effectuer ces opérations sur une liste d’objets personnalisée ou utiliser un rapport Amazon S3 Inventory pour faciliter la génération de listes d’objets. Les opérations par lots Amazon S3 utilisent les mêmes opérations d’API Amazon S3 que celles que vous utilisez déjà avec Amazon S3.
Note
Pour plus d’informations sur l’utilisation de la classe de stockage Amazon S3 Express One Zone avec des compartiments de répertoires, consultez S3 Express One Zone et Utilisation des compartiments de répertoires. Pour plus d’informations sur l’utilisation des opérations par lots avec S3 Express One Zone et les compartiments de répertoires, consultez Utilisation des opérations par lots avec les compartiments de répertoires.
Principes de base des opérations par lot S3
Vous pouvez utiliser les opérations par lot S3 pour effectuer des opérations par lot à grande échelle sur des objets Amazon S3. Les opérations par lot S3 peuvent exécuter une seule opération ou action sur des listes d’objets Amazon S3 que vous spécifiez.
Terminologie
Cette section utilise les termes manifeste, tâches, opérations et sous-tâches, dont la définition est la suivante :
- Manifeste
-
Un manifeste est un objet Amazon S3 qui contient les clés d’objet sur lesquelles Amazon S3 doit agir. Si vous souhaitez créer une tâche d’opérations par lot, vous devez fournir un manifeste. Votre manifeste généré par l’utilisateur doit contenir le nom du compartiment, la clé d’objet et, facultativement, la version de chaque objet. Si vous fournissez un manifeste généré par l’utilisateur, il doit se présenter sous la forme d’un rapport d’inventaire Amazon S3 ou d’un fichier CSV.
Vous pouvez aussi indiquer à Amazon S3 de générer automatiquement un manifeste en fonction des critères de filtre d’objet que vous spécifiez lors de la création de la tâche. Cette option est disponible pour les tâches de réplication par lots S3 que vous créez dans la console Amazon S3, ou pour tout type de tâche que vous créez à l'aide de l'API REST AWS Command Line Interface (AWS CLI) ou Amazon S3. AWS SDKs
- Tâche
-
Une tâche est l’unité de travail de base des opérations par lot S3. Une tâche contient toutes les informations nécessaires à l’exécution de l’opération spécifiée pour les objets répertoriés dans le manifeste. Une fois que vous avez fourni ces informations et que vous demandez le lancement de la tâche, celle-ci effectue l’opération pour chaque objet présent dans le manifeste.
- Opération
-
L’opération est le type d’action d’API, telle que la copie d’objets, que vous souhaitez faire exécuter par la tâche d’opérations par lot. Chaque tâche effectue un seul type d’opération sur tous les objets spécifiés dans le manifeste.
- Sous-tâche
-
Une sous-tâche est l’unité d’exécution d’une tâche. Une tâche représente un appel unique à une opération Amazon S3 ou AWS Lambda API pour effectuer l'opération de la tâche sur un seul objet. Pendant toute la durée de vie d’une tâche, les opérations par lot S3 créent une seule tâche pour chaque objet spécifié dans le manifeste.
Fonctionnement d’une tâche d’opérations par lot S3
Une tâche est l'unité de travail de base des opérations par lot S3. Une tâche contient toutes les informations nécessaires à l’exécution de l’opération spécifiée pour une liste d’objets. Pour créer une tâche, vous fournissez aux opérations par lot S3 une liste d’objets et vous spécifiez l’action à exécuter sur ces objets.
Pour plus d’informations sur les opérations prises en charge par les opérations par lot S3, consultez Opérations prises en charge par les opérations par lot S3.
Une tâche par lot exécute une opération spécifiée sur chaque objet inclus dans son manifeste. Un manifeste répertorie les objets que vous souhaitez traiter par le biais d’une tâche par lot et il est stocké sous forme d’objet dans un compartiment. Vous pouvez utiliser un rapport Catalogage et analyse de vos données avec l’inventaire S3 au format comma-separated values (CSV) comme manifeste, ce qui facilite la création de grandes listes d’objets situés dans un compartiment. Vous pouvez également spécifier un manifeste dans un format CSV simple qui vous permet d’effectuer des opérations par lots sur une liste personnalisée d’objets stockés dans un compartiment unique.
Une fois que vous avez créé une tâche, Amazon S3 traite la liste d’objets du manifeste et exécute l’opération spécifiée sur chaque objet. Pendant qu’une tâche est en cours, vous pouvez surveiller sa progression par programme ou via la console Amazon S3. Vous pouvez également configurer une tâche pour générer un rapport de fin lorsque celle-ci se termine. Le rapport de fin décrit les résultats de chaque sous-tâche. Pour plus d’informations sur la surveillance des tâches, consultez Gestion des tâches d’opérations par lot S3.
Tutoriel des opérations par lots S3
Le didacticiel suivant présente end-to-end des procédures complètes pour certaines tâches d'opérations par lots.
