Executar operações de objetos em massa com o Operações em Lote
Você pode usar operações em lote do S3 para executar operações em lote de grande escala em objetos do Amazon S3. As operações em lote do S3 podem executar uma única operação em listas de objetos do Amazon S3 especificadas. Um único trabalho pode realizar uma operação especificada em bilhões de objetos contendo exabytes de dados. O Amazon S3 monitora o progresso, envia notificações e armazena um relatório de conclusão detalhado de todas as ações, fornecendo uma experiência totalmente gerenciada, auditável e sem servidor. É possível usar o recurso Operações em Lote do S3 por meio do console do Amazon S3, da AWS CLI, de SDKs da AWS ou da API REST do Amazon S3.
Use as operações em lote do S3 para copiar objetos e definir tags de objetos ou listas de controle de acesso (ACLs). Também é possível iniciar restaurações de objetos no S3 Glacier Flexible Retrieval ou invocar uma função do AWS Lambda para executar ações personalizadas usando seus objetos. É possível executar essas operações em uma lista personalizada de objetos ou usar um relatório do Amazon S3 Inventory para facilitar a geração de listas de objetos. O recurso Operações em Lote do Amazon S3 usa as mesmas operações da API do Amazon S3 que você já utiliza com o Amazon S3.
nota
Para obter mais informações sobre o uso da classe de armazenamento Amazon S3 Express One Zone com buckets de diretório, consulte Buckets de diretório e S3 Express One Zone e Visão geral dos buckets de diretório. Para obter mais informações sobre o uso da funcionalidade Operações em Lote com a classe S3 Express One Zone e buckets de diretório, consulte Usar a funcionalidade Operações em Lote com a classe S3 Express One Zone.
Conceitos básicos sobre operações em lote do S3
Você pode usar operações em lote do S3 para executar operações em lote de grande escala em objetos do Amazon S3. As operações em lote do S3 podem executar uma única operação ou ação em listas de objetos do Amazon S3 que você especificar.
Terminologia
Esta seção usa os termos manifestos, trabalhos, operações e tarefas. Confira suas definições abaixo:
- Manifesto
-
Um manifesto é um objeto do Amazon S3 que contém as chaves de objeto em que você deseja que o Amazon S3 atue. Se quiser criar um trabalho de operações em lote, você deverá fornecer um manifesto. O manifesto gerado pelo usuário deve conter o nome do bucket, a chave de objeto e, opcionalmente, a versão de cada objeto. Se você fornecer um manifesto gerado pelo usuário, ele deverá estar na forma de um relatório da funcionalidade Inventário Amazon S3 ou um arquivo CSV.
Você pode instruir o Amazon S3 a gerar um manifesto automaticamente com base nos critérios de filtro de objetos especificados ao criar um trabalho. Essa opção está disponível para trabalhos de Replicação em Lote do S3 criados no console do Amazon S3 ou para qualquer tipo de trabalho criado usando a AWS Command Line Interface (AWS CLI), SDKs da AWS ou a API REST do Amazon S3.
- Trabalho
-
Um trabalho é a unidade básica de trabalho para operações em lote do S3. Uma tarefa contém todas as informações necessárias para executar a operação especificada nos objetos listados no manifesto. Depois que você tiver fornecido essas informações e solicitado o início do trabalho, ele executará a operação para cada objeto no manifesto.
- Operação
-
A operação é o tipo de ação da API, como copiar objetos, que você deseja que o trabalho de operações em lote execute. Cada trabalho executa um único tipo de operação em todos os objetos especificados no manifesto.
- Tarefa
-
Uma tarefa é a unidade de execução para um trabalho. Uma tarefa representa uma única chamada para uma operação de API do AWS Lambda ou do Amazon S3 a fim de executar a operação do trabalho em um único objeto. Ao longo da vida útil de um trabalho, as operações em lote do S3 criam uma tarefa para cada objeto especificado no manifesto.
Como funciona um trabalho de operações em lote do S3
Um trabalho é a unidade básica de trabalho para operações em lote do S3. Uma tarefa contém todas as informações necessárias para executar a operação especificada em uma lista de objetos. Para criar um trabalho, dê uma lista de objetos às operações em lote do S3 e especifique a ação a ser realizada neles.
Para obter informações sobre as operações compatíveis com o S3 Batch Operations, consulte Operações suportadas pelo S3 Batch Operations.
Um trabalho em lote realiza a operação especificada em cada objeto incluído em seu manifesto. Um manifesto lista os objetos que você deseja que um trabalho em lote processe e ele é armazenado como um objeto em um bucket. Você pode usar um relatório de Catalogar e analisar seus dados com o Inventário S3 formatado em CSV como um manifesto, o que facilita a criação de grandes listas de objetos localizados em um bucket. Também é possível especificar um manifesto em um formato CSV simples que permite realizar operações em lotem em uma lista personalizada de objetos contidos em um único bucket.
Depois de criar um trabalho, o Amazon S3 processará a lista de objetos no manifesto e executará a operação especificada em cada objeto. Enquanto um trabalho está em execução, é possível monitorar o andamento de maneira programática ou por meio do console do Amazon S3. Também é possível configurar uma tarefa para gerar um relatório de conclusão quando ele termina. O relatório de conclusão descreve os resultados de cada tarefa executada pelo trabalho. Para obter mais informações sobre como monitorar trabalhos, consulte Gerenciar trabalhos de operações em lote do S3.
Tutorial Operações em lote do S3
Os tutoriais a seguir apresentam procedimentos completos para algumas tarefas de operações em lote.
