Realización de operaciones de objetos de forma masiva con Operaciones por lotes
Puede utilizar Operaciones por lotes de S3 para realizar operaciones por lotes a gran escala en objetos de Amazon S3. Operaciones por lotes de S3 puede realizar una sola operación en las listas de objetos de Amazon S3 que especifique. Un solo trabajo puede realizar una operación especificada en miles de millones de objetos que contiene exabytes de datos. Amazon S3 realiza un seguimiento del avance, envía notificaciones y guarda un informe de finalización de todas las acciones, por lo que proporciona una experiencia sin servidor, auditable y completamente administrada. Puede utilizar Operaciones por lotes de S3 a través de la consola de Amazon S3, la AWS CLI, los AWS SDK o la API de REST de Amazon S3.
Utilice Operaciones por lotes de S3 para copiar objetos y establecer etiquetas de objetos o listas de control de acceso (ACL). También puede iniciar restauraciones de objetos desde S3 Glacier Flexible Retrieval o invocar una función de AWS Lambda que realice acciones personalizadas con los objetos. Puede realizar estas operaciones en una lista personalizada de objetos o puede utilizar un informe de Amazon S3 Inventory para generar listas de objetos fácilmente. Operaciones por lotes de Amazon S3 utiliza las mismas operaciones de la API de Amazon S3 que ya utiliza con Amazon S3.
nota
Para obtener más información sobre el uso de la clase de almacenamiento Amazon S3 Express One Zone con buckets de directorio, consulte Buckets de directorio y S3 Express One Zone y Descripción general de los buckets de directorio. Para obtener más información sobre el uso de Operaciones por lotes con S3 Express One Zone y buckets de directorio, consulte Uso de operaciones por lotes con S3 Express One Zone.
Conceptos básicos de Operaciones por lotes de S3
Puede utilizar Operaciones por lotes de S3 para realizar operaciones por lotes a gran escala en objetos de Amazon S3. Las operaciones por lotes de S3 pueden ejecutar una sola operación en las listas de objetos de Amazon S3 que especifique.
Terminología
En esta sección, se utilizan los términos manifiestos, trabajos, operaciones y tareas, cuyas definiciones son las siguientes:
- Manifiesto
-
Un manifiesto es un objeto de Amazon S3 que contiene las claves de objeto sobre las que desea que actúe Amazon S3. Si desea crear un trabajo de Operaciones por lotes, debe proporcionar un manifiesto. El manifiesto generado por el usuario debe contener el nombre del bucket, la clave del objeto y, de manera opcional, la versión del objeto. Si proporciona un manifiesto generado por el usuario, debe ser en forma de informe de inventario de Amazon S3 o un archivo CSV.
También puede hacer que Amazon S3 que genere un manifiesto automáticamente en función de los criterios de filtro de objetos que especifique al crear su trabajo. Esta opción está disponible para trabajos de replicación por lotes de S3 que cree en la consola de Amazon S3 o para cualquier tipo de trabajo que cree mediante la AWS Command Line Interface (AWS CLI), los AWS SDK o la API de REST de Amazon S3.
- Trabajo
-
Un trabajo es la unidad básica de trabajo para las operaciones por lotes de S3. Un trabajo contiene toda la información necesaria para ejecutar la operación especificada en los objetos enumerados en el manifiesto. Una vez que se proporciona esta información y se solicita que el trabajo comience, el trabajo realiza la operación en cada objeto del manifiesto.
- Operation
-
La operación es el tipo de acción de API, como copiar objetos, que desea que ejecute el trabajo de Operaciones por lotes. Cada trabajo realiza un único tipo de operación en todos los objetos especificados en el manifiesto.
- Tarea
-
Una tarea es la unidad de ejecución de un trabajo. Una tarea representa una llamada única a una operación de API de Amazon S3 o AWS Lambda para realizar la operación del trabajo en un único objeto. En el transcurso de la vida útil de un trabajo, Operaciones por lotes de S3 crea una tarea para cada objeto especificado en el manifiesto.
Cómo funciona un trabajo de operaciones por lotes de S3
Un trabajo es la unidad básica de trabajo para las operaciones por lotes de S3. Un trabajo contiene toda la información necesaria para ejecutar la operación especificada en una lista de objetos. Para crear un trabajo, debe proporcionar a las operaciones por lotes de S3 una lista de objetos y especificar la acción que se debe realizar con dichos objetos.
Para obtener información acerca de las operaciones que admiten las operaciones por lotes de S3, consulte Operaciones compatibles con las operaciones por lotes de S3.
Los trabajos por lotes realizan la operación especificada en cada uno de los objetos incluidos en su manifiesto. Un manifiesto enumera los objetos que desea que procese un trabajo por lotes y se almacena como un objeto en un bucket. Puede utilizar un informe de Catálogo y análisis de sus datos con Inventario de S3 con formato CSV (valores separados por comas) como manifiesto, lo que facilita la creación de grandes listas de objetos ubicados en un bucket. También puede especificar un manifiesto en un formato CSV sencillo que le permite realizar operaciones por lotes en una lista personalizada de objetos incluidos en un solo bucket.
Después de crear un trabajo, Amazon S3 procesa la lista de objetos del manifiesto y ejecuta la operación especificada en cada objeto. Mientras el trabajo se ejecuta, puede monitorear su avance desde un programa o a través de la consola de Amazon S3. También puede configurar un trabajo para generar un informe de finalización cuando haya terminado. En el informe de finalización, se describen los resultados de cada una de las tareas realizadas por el trabajo. Para obtener más información sobre el monitoreo de trabajos, consulte Administración de trabajos de operaciones por lotes de S3.
Tutorial operaciones por lotes de S3
En el siguiente tutorial se presentan procedimientos integrales completos para algunas tareas de operaciones por lotes.
