Creación de un trabajo de replicación por lotes para las reglas de replicación existentes - Amazon Simple Storage Service

Creación de un trabajo de replicación por lotes para las reglas de replicación existentes

En Amazon S3, la replicación en directo no replica ningún objeto que ya existiera en el bucket de origen antes de crear una configuración de replicación. La replicación en directo replica automáticamente solo los objetos nuevos y actualizados que se escriben en el bucket una vez creada la configuración de replicación. Para replicar objetos ya existentes, puede utilizar Replicación por lotes de S3 para replicar estos objetos a demanda.

Puede configurar la replicación por lotes de S3 para una configuración de replicación existente mediante los AWS SDK, la AWS Command Line Interface (AWS CLI) o la consola de Amazon S3. Para obtener información general sobre Replicación por lotes, consulte Replicación de objetos existentes con Replicación por lotes.

Cuando termina el trabajo de replicación por lotes, recibe un reporte de finalización. Para obtener más información sobre cómo utilizar el reporte para examinar el trabajo, consulte Seguimiento del estado del trabajo e informes de finalización.

Requisitos previos

Antes de crear el trabajo de Replicación por lotes, debe crear un rol de AWS Identity and Access Management (IAM) de Operaciones por lotes para conceder a Amazon S3 permisos para que realice acciones en su nombre. Para obtener más información, consulte Configuración de un rol de IAM para Replicación por lotes de S3.

  1. Inicie sesión en la AWS Management Console y abra la consola de Amazon S3 en https://console.aws.amazon.com/s3/.

  2. En el panel de navegación izquierdo, elija Batch Operations (Operaciones por lote).

  3. Seleccione Crear trabajo.

  4. Compruebe que en la sección Región de AWS se muestra la región en la que desea crear el trabajo.

  5. En la sección Manifiesto, especifique el formato de manifiesto que quiere usar. El manifiesto es una lista de todos los objetos en los que quiere que se ejecute la acción especificada. Para obtener más información sobre los manifiestos de operaciones por lotes, consulte Especificar un manifiesto.

    • Si tiene preparado un manifiesto, elija S3 inventory report (manifest.json) (Reporte de inventario de S3 [manifest.json]) o CSV. Si el manifiesto está en un bucket con control de versiones, puede especificar el ID de versión del manifiesto. Si no especifica ningún ID de versión, Operaciones por lotes utilizará la versión actual del manifiesto. Para obtener más información sobre la creación de un manifiesto, consulte Especificar un manifiesto.

      nota

      Si los objetos del manifiesto están en un bucket con control de versiones, debe especificar los ID de versión de los objetos. Para obtener más información, consulte Especificar un manifiesto.

    • Para crear un manifiesto basado en la configuración de replicación, elija Create manifest using S3 Replication configuration (Crear manifiesto mediante la configuración de replicación de S3). A continuación, elija el bucket de origen de la configuración de replicación.

  6. (Opcional) Si eligió Crear manifiesto con la configuración de replicación de S3, puede incluir filtros adicionales, como la fecha de creación de los objetos y el estado de replicación. Para obtener ejemplos sobre cómo filtrar por estado de replicación, consulte Especificación de un manifiesto para un trabajo de replicación por lotes.

  7. (Opcional) Si eligió Crear manifiesto con la configuración de replicación de S3, puede guardar el manifiesto generado. Para guardar un manifiesto, seleccione Guardar manifiesto de operaciones por lotes. A continuación, especifique el bucket de destino del manifiesto y elija si desea cifrarlo.

    nota

    El manifiesto generado debe almacenarse en la misma Región de AWS que el bucket de origen.

  8. Elija Siguiente.

  9. En la página Operaciones, elija Replicar y, a continuación, elija Siguiente.

  10. (Opcional) Proporcione una Description (Descripción).

  11. Ajuste la Priority (Prioridad) del trabajo si es necesario. Los números más elevados indican mayor prioridad. Amazon S3 intenta ejecutar los trabajos de mayor prioridad antes que los trabajos de menor prioridad. Para obtener más información acerca de la prioridad de un trabajo, consulte Asignar prioridad a los trabajos.

  12. (Opcional) Genere un reporte de finalización. Para generar este informe, seleccione Generar el informe de finalización.

    Si elige generar un reporte de finalización, debe elegir informar Failed tasks only (Solo tareas con errores) o All tasks (Todas las tareas) y proporcionar un bucket de destino para el reporte.

  13. En la sección Permisos, asegúrese de elegir un rol de IAM que tenga los permisos necesarios para Replicación por lotes. Una de las causas más comunes de los errores de replicación son los permisos insuficientes en el rol de IAM. Para obtener información acerca de la creación de esta función, consulte Configuración de un rol de IAM para Replicación por lotes de S3.

  14. (Opcional) Agregue etiquetas de trabajo al trabajo de replicación por lotes.

  15. Elija Next (Siguiente).

  16. Revise la configuración del trabajo y, a continuación, elija Crear trabajo.

En el siguiente ejemplo, el comando create-job crea un trabajo de Replicación por lotes de S3 mediante un manifiesto generado por S3 para la Cuenta de AWS 111122223333. En este ejemplo se replican objetos existentes y objetos que no se habían podido replicar anteriormente. Para obtener información sobre el filtrado por estado de replicación, consulte Especificación de un manifiesto para un trabajo de replicación por lotes.

Para usar este comando, sustituya user input placeholders por su información. Sustituya el rol de IAM role/batch-Replication-IAM-policy por el rol de IAM que ha creado antes. Para obtener más información, consulte Configuración de un rol de IAM para Replicación por lotes de S3.

aws s3control create-job --account-id 111122223333 \ 
--operation '{"S3ReplicateObject":{}}' \ 
--report '{"Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket",\ 
"Prefix":"batch-replication-report", \ 
"Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' \ 
--manifest-generator '{"S3JobManifestGenerator": {"ExpectedBucketOwner": "111122223333", \ 
"SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket", \ 
"EnableManifestOutput": false, "Filter": {"EligibleForReplication": true, \ 
"ObjectReplicationStatuses": ["NONE","FAILED"]}}}' \ 
--priority 1 \ 
--role-arn arn:aws:iam::111122223333:role/batch-Replication-IAM-policy \ 
--no-confirmation-required \ 
--region source-bucket-region
nota

Debe iniciar el trabajo desde la misma Región de AWS que el bucket de replicación de origen.

Después de iniciar correctamente un trabajo de replicación por lotes, recibirá el ID del trabajo como respuesta. Puede monitorizar este trabajo con el siguiente comando describe-job. Para usar este comando, sustituya user input placeholders por su información. 

aws s3control describe-job --account-id 111122223333 --job-id job-id --region source-bucket-region

En el siguiente ejemplo, se crea un trabajo de Replicación por lotes de S3 mediante un manifiesto definido por el usuario para la Cuenta de AWS 111122223333. Si los objetos del manifiesto están en un bucket con control de versiones, debe especificar los ID de versión de los objetos. Solo se replicará el objeto con el ID de versión especificado en el manifiesto. Para obtener más información sobre la creación de un manifiesto, consulte Especificar un manifiesto.

Para usar este comando, sustituya user input placeholders por su información. Sustituya el rol de IAM role/batch-Replication-IAM-policy por el rol de IAM que ha creado antes. Para obtener más información, consulte Configuración de un rol de IAM para Replicación por lotes de S3.

aws s3control create-job --account-id 111122223333 \ 
--operation '{"S3ReplicateObject":{}}' \
--report '{"Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket",\
"Prefix":"batch-replication-report", \
"Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' \
--manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820",\
"Fields":["Bucket","Key","VersionId"]},\
"Location":{"ObjectArn":"arn:aws:s3:::amzn-s3-demo-manifest-bucket/manifest.csv",\
"ETag":"Manifest Etag"}}' \
--priority 1 \
--role-arn arn:aws:iam::111122223333:role/batch-Replication-IAM-policy \
--no-confirmation-required \
--region source-bucket-region
nota

Debe iniciar el trabajo desde la misma Región de AWS que el bucket de replicación de origen.

Después de iniciar correctamente un trabajo de replicación por lotes, recibirá el ID del trabajo como respuesta. Puede monitorizar este trabajo con el siguiente comando describe-job.

aws s3control describe-job --account-id 111122223333 --job-id job-id --region source-bucket-region