Fazer upload de arquivos grandes em partes (Multipart Upload) - Amazon S3 Glacier

Esta página é somente para clientes existentes do serviço S3 Glacier que usam o Vaults e o original de 2012. REST API

Se você estiver procurando por soluções de armazenamento de arquivamento, sugerimos usar as classes de armazenamento S3 Glacier no Amazon S3, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive. Para saber mais sobre essas opções de armazenamento, consulte Classes de armazenamento S3 Glacier e Armazenamento de dados de longo prazo usando classes de armazenamento S3 Glacier no Guia do usuário do Amazon S3. Essas classes de armazenamento usam o Amazon S3API, estão disponíveis em todas as regiões e podem ser gerenciadas no console do Amazon S3. Eles oferecem recursos como análise de custos de armazenamento, lente de armazenamento, recursos avançados de criptografia opcional e muito mais.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Fazer upload de arquivos grandes em partes (Multipart Upload)

Processo Multipart Upload

Conforme descrito em Carregando um arquivo no Amazon S3 Glacier, recomendamos que os clientes do Amazon S3 Glacier (S3 Glacier) usem upload multipartes para fazer upload de arquivos maiores que 100 MB.

  1. Iniciar multipart upload

    Quando você envia uma solicitação para iniciar um upload multipartes, o S3 Glacier retorna um ID de desse upload, que é um identificador exclusivo. Todas as operações de multipart upload subsequentes exigirão esse ID. Esse ID não vai expirar por pelo menos 24 horas depois que o S3 Glacier concluir o trabalho.

    Na solicitação para iniciar um multipart upload, especifique o tamanho da parte em número de bytes. Cada parte do upload, exceto a última, deve ser desse tamanho.

    nota

    Você não precisa saber o tamanho do arquivo geral ao usar o multipart upload. Isso significa que é possível usar uploads de várias partes nos casos em que, ao começar a carregar o arquivo, o tamanho do arquivo não é conhecido. É necessário decidir apenas o tamanho da parte ao iniciar o multipart upload.

    Na solicitação de multipart upload de iniciação, você também pode fornecer uma descrição de arquivo opcional.

  2. Partes de upload

    Para cada solicitação de upload da parte, você deve incluir o ID de multipart upload obtido na etapa 1. Na solicitação, você também deve especificar o intervalo de conteúdo, em bytes, identificando a posição da parte no arquivo final. O S3 Glacier usará as informações do intervalo de conteúdo para montar o arquivo na sequência apropriada. Como você fornece o intervalo de conteúdo para cada parte do upload, ele determina a posição da parte na montagem final do arquivo e, assim, pode fazer upload de partes em qualquer ordem. Você também pode fazer upload de partes em paralelo. Se você fizer upload de uma nova parte usando o mesmo intervalo de conteúdo como uma parte carregada anteriormente, a parte cujo upload foi feito anteriormente será substituída.

  3. Concluir (ou anular) o Upload Multipartes

    Depois de fazer upload de todas as partes do arquivo, você usará a operação completa. Mais uma vez, você deve especificar o ID de upload na solicitação. O S3 Glacier cria um arquivo concatenando partes em ordem crescente com base no intervalo de conteúdo fornecido por você. A resposta do S3 Glacier a uma solicitação para upload multipartes complete inclui um ID do arquivo recém-criado. Caso uma descrição de arquivo opcional tenha sido fornecida na solicitação Iniciar Upload Multipartes, o S3 Glacier a associará ao arquivo montado. Depois de concluir com êxito um multipart upload, você não poderá se referir ao ID de multipart upload. Isso significa você não pode acessar partes associadas ao ID de multipart upload.

    Se anular um upload multipartes, você não poderá fazer mais upload de partes usando esse ID de upload multipartes. Todo o armazenamento consumido por todas as partes associadas ao upload multipartes anulado é liberado. Se algum upload de parte estiver em andamento, ele ainda poderá ser bem-sucedido ou falhar mesmo depois da interrupção.

Operações de multipart upload adicionais

O Amazon S3 Glacier (S3 Glacier) fornece as seguintes chamadas adicionais de API de upload multipartes.

  • List Parts: Usando essa operação, você pode listar as partes de um upload multipartes. Isso retorna informações sobre as partes cujo upload você fez para um multipart upload. Para cada solicitação de partes da lista, o S3 Glacier retorna informações para até 1.000 partes. Se houver mais partes a serem listadas para o multipart upload, o resultado será paginado, e um marcador será retornado na resposta na qual a lista deve continuar. Você precisa enviar solicitações adicionais para recuperar partes subsequentes. Observe que a lista de partes retornada não inclui partes que não tiveram o upload concluído.

  • List Multipart Uploads: Usando essa operação, você pode obter uma lista de upload multipartes em andamento. Um multipart upload em andamento é um upload que você iniciou, mas que ainda não concluiu nem interrompeu. Para cada solicitação de upload multipartes da lista, o S3 Glacier retorna até 1.000 uploads multipartes. Se houver mais multipart uploads a serem listadas, o resultado será paginado, e um marcador será retornado na resposta na qual a lista deve continuar. Você precisa enviar solicitações adicionais para recuperar os multipart uploads restantes.

Fatos rápidos

A tabela a seguir fornece especificações básicas do multipart upload.

Item Especificação
Tamanho de arquivo máximo 10.000 x 4 gibibytes (GiB)
Número máximo de partes por upload 10.000
Tamanho da parte

De 1 MiB a 4 GiB, a última parte pode ser < 1 MiB. Você especifica o valor de tamanho em bytes.

O tamanho da peça deve ser um mebibyte (1024 kibibytes [KiB]) multiplicado por uma potência de 2. Por exemplo, 1048576 (1 MiB), 2097152 (2 MiB), 4194304 (4 MiB), 8388608 (8 MiB).

Número máximo de partes retornadas em uma solicitação de listagem de partes 1.000
Número máximo de multipart uploads retornados em uma solicitação de listagem de multipart uploads 1.000