Criar um trabalho de replicação em lote para regras de replicação existentes - Amazon Simple Storage Service

Criar um trabalho de replicação em lote para regras de replicação existentes

No Amazon S3, a replicação em tempo real não replica nenhum objeto que já existia no bucket de origem antes de você criar uma configuração de replicação. A replicação em tempo real replica automaticamente somente objetos novos e atualizados que são gravados no bucket após a criação da configuração de replicação. Para replicar objetos existentes, é possível usar o Replicação em Lote do S3 para replicá-los sob demanda.

Você pode configurar o S3 Batch Replication para uma configuração de replicação existente usando os AWS SDKs, a AWS Command Line Interface (AWS CLI) ou o console do Simple Storage Service (Amazon S3). Consulte uma visão geral sobre a replicação em lote em Replicar objetos existentes com o Replicação em Lote.

Quando o trabalho de replicação em lote termina, você recebe um relatório de conclusão. Para obter mais informações sobre como usar o relatório para examinar o trabalho, consulte Monitoramento de relatórios de status e conclusão.

Pré-requisitos

Antes de criar o trabalho de replicação em lote, você deve criar um perfil do AWS Identity and Access Management (IAM) de operações em lote para conceder permissões ao Amazon S3 para realizar ações em seu nome. Para ter mais informações, consulte Configurar um perfil do IAM para o Replicação em Lote do S3.

  1. Faça login no AWS Management Console e abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

  2. No painel de navegação esquerdo, escolha Batch Operations (Operações em lote).

  3. Escolha Criar trabalho.

  4. Verifique se a seção Região da AWS mostra a região onde você deseja criar o trabalho.

  5. Na seção Manifesto, especifique o formato de manifesto que você deseja usar. O manifesto é uma lista de todos os objetos em que você deseja que a ação especificada seja executada. Para saber mais sobre os manifestos de operações em lote, consulte Especificar um manifesto.

    • Se você tiver um manifesto preparado, escolha S3 inventory report (manifest.json) [Relatório de inventário do S3 (manifest.json)] ou CSV. Se o manifesto estiver em um bucket com versionamento, você poderá especificar o ID de versão do manifesto. Se você não especificar um ID de versão, o Operações em Lote usará a versão atual do manifesto. Consulte mais informações sobre como criar um manifesto em Especificar um manifesto.

      nota

      Se os objetos no manifesto estiverem em um bucket versionado, você deverá especificar os IDs de versão dos objetos. Para ter mais informações, consulte Especificar um manifesto.

    • Para criar um manifesto com base na configuração de replicação, escolha Create manifest using S3 Replication configuration (Criar manifesto usando a configuração do S3 Replication). Depois, escolha o bucket de origem da configuração de replicação.

  6. (Opcional) Se escolher Criar manifesto usando a configuração de replicação do S3, você poderá incluir filtros adicionais, como data de criação e status de replicação do objeto. Consulte exemplos de como filtrar por status de replicação em Especificando um manifesto para um trabalho de replicação em lote.

  7. (Opcional) Se escolher Criar manifesto usando a configuração de replicação do S3, você poderá salvar o manifesto gerado. Para salvar esse manifesto, selecione Salvar manifesto do Batch Operations. Depois, especifique o bucket de destino para o manifesto e escolha se deseja criptografar o manifesto.

    nota

    O manifesto gerado deve ser armazenado na mesma Região da AWS que o bucket de origem.

  8. Escolha Próximo.

  9. Na página Operações, escolha Replicar e Próximo.

  10. (Opcional) Forneça uma Description (Descrição).

  11. Ajuste a Priority (Prioridade) do trabalho, se necessário. Números mais altos indicam maior prioridade. O Simple Storage Service (Amazon S3) tenta executar trabalhos de prioridade mais alta antes dos trabalhos de prioridade mais baixa. Para obter mais informações sobre prioridade de trabalhos, consulte Atribuir prioridade aos trabalhos.

  12. (Opcional) Gere um relatório de conclusão. Para gerar esse relatório, selecione Gerar relatório de conclusão.

    Se escolher gerar um relatório de conclusão, você deverá escolher se o relatório informará Failed tasks only (Apenas as tarefas que falharam) ou All tasks (Todas as tarefas) e fornecer um bucket de destino para o relatório.

  13. Na seção Permissões, escolha um perfil do IAM que tenha as permissões necessárias para a replicação em lote. Uma das causas mais comuns de falhas de replicação são permissões insuficientes no perfil do IAM fornecido. Para obter informações sobre como criar essa função, consulte Configurar um perfil do IAM para o Replicação em Lote do S3.

  14. (Opcional) Adicione etiquetas de trabalho à tarefa de replicação em lote.

  15. Escolha Próximo.

  16. Analise a configuração do trabalho e selecione Criar trabalho.

O exemplo do comando create-job a seguir cria um trabalho do Replicação em Lote do S3 usando um manifesto gerado pelo S3 para a Conta da AWS 111122223333. Esse exemplo replica os objetos existentes e os objetos cuja replicação falhou anteriormente. Consulte informações sobre como filtrar por status de replicação em Especificando um manifesto para um trabalho de replicação em lote.

Para usar esse comando, substitua user input placeholders por suas informações. Substitua o perfil do IAM role/batch-Replication-IAM-policy pelo perfil do IAM que você criou anteriormente. Para ter mais informações, consulte Configurar um perfil do IAM para o Replicação em Lote do S3.

aws s3control create-job --account-id 111122223333 \ 
--operation '{"S3ReplicateObject":{}}' \ 
--report '{"Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket",\ 
"Prefix":"batch-replication-report", \ 
"Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' \ 
--manifest-generator '{"S3JobManifestGenerator": {"ExpectedBucketOwner": "111122223333", \ 
"SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket", \ 
"EnableManifestOutput": false, "Filter": {"EligibleForReplication": true, \ 
"ObjectReplicationStatuses": ["NONE","FAILED"]}}}' \ 
--priority 1 \ 
--role-arn arn:aws:iam::111122223333:role/batch-Replication-IAM-policy \ 
--no-confirmation-required \ 
--region source-bucket-region
nota

É necessário iniciar o trabalho na mesma Região da AWS do bucket de origem da replicação.

Após iniciar com êxito um trabalho de replicação em lote, você receberá o ID do trabalho como resposta. Você pode monitorar o trabalho usando o comando describe-job a seguir. Para usar esse comando, substitua user input placeholders por suas informações. 

aws s3control describe-job --account-id 111122223333 --job-id job-id --region source-bucket-region

O exemplo a seguir cria um trabalho de Replicação em Lote do S3 usando um manifesto definido pelo usuário para a Conta da AWS 111122223333. Se os objetos no manifesto estiverem em um bucket versionado, você deverá especificar os IDs de versão dos objetos. Somente o objeto com o ID de versão especificado no manifesto será replicado. Consulte mais informações sobre como criar um manifesto em Especificar um manifesto.

Para usar esse comando, substitua user input placeholders por suas informações. Substitua o perfil do IAM role/batch-Replication-IAM-policy pelo perfil do IAM que você criou anteriormente. Para ter mais informações, consulte Configurar um perfil do IAM para o Replicação em Lote do S3.

aws s3control create-job --account-id 111122223333 \ 
--operation '{"S3ReplicateObject":{}}' \
--report '{"Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket",\
"Prefix":"batch-replication-report", \
"Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' \
--manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820",\
"Fields":["Bucket","Key","VersionId"]},\
"Location":{"ObjectArn":"arn:aws:s3:::amzn-s3-demo-manifest-bucket/manifest.csv",\
"ETag":"Manifest Etag"}}' \
--priority 1 \
--role-arn arn:aws:iam::111122223333:role/batch-Replication-IAM-policy \
--no-confirmation-required \
--region source-bucket-region
nota

É necessário iniciar o trabalho na mesma Região da AWS do bucket de origem da replicação.

Após iniciar com êxito um trabalho de replicação em lote, você receberá o ID do trabalho como resposta. Você pode monitorar o trabalho usando o comando describe-job a seguir.

aws s3control describe-job --account-id 111122223333 --job-id job-id --region source-bucket-region