Agrupar arquivos pequenos em lote - AWS Snowball Edge Guia do desenvolvedor

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Agrupar arquivos pequenos em lote

Cada operação de cópia tem certa sobrecarga por causa da criptografia. Para acelerar o processo de transferência de arquivos pequenos para o seu AWS Snowball Edge dispositivo, você pode agrupá-los em um único arquivo. Quando você agrupa os arquivos em lote, eles podem ser extraídos automaticamente quando são importados para o Amazon S3, se eles foram armazenados em lote em um dos formatos de arquivo compatíveis.

Normalmente, os arquivos de 1 MB ou menos devem ser incluídos em lotes. Não há limite rígido para o número de arquivos que é possível ter em um lote. Entretanto, recomendamos que você limite os lotes para 10.000 arquivos aproximadamente. Ter mais de 100.000 arquivos em um lote pode afetar a rapidez com que os arquivos são importados para o Amazon S3 depois que você devolver o dispositivo. Recomendamos que o tamanho total de cada lote não seja maior que 100 GB.

Agrupar os arquivos em lote é um processo manual que você gerencia. Depois de agrupar seus arquivos, transfira-os para um dispositivo Snowball Edge usando o AWS CLI cp comando com a --metadata snowball-auto-extract=true opção. A especificação snowball-auto-extract=true extrai automaticamente o conteúdo dos arquivos compactados quando os dados são importados para o Amazon S3, desde que o tamanho do arquivo em lote não seja maior que 100 GB.

nota

Todos os lotes com mais de 100 GB não são extraídos quando importados para o Amazon S3.

Para agrupar arquivos pequenos em lote

  1. Decida em qual formato você deseja agrupar seus arquivos pequenos em lote. O recurso de extração automática é compatível com os formatos TAR, ZIP e tar.gz.

  2. Identifique quais arquivos pequenos você deseja agrupar em lote, incluindo o tamanho e o número total de arquivos.

  3. Faça um lote de seus arquivos na linha de comando da seguinte forma.

    • Para Linux, é possível agrupar os arquivos em lote na mesma linha de comando usada para transferir os arquivos para o dispositivo. 

      tar -cf - /Logs/April | aws s3 cp - s3://mybucket/batch01.tar --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080
      nota

      Você também pode usar o utilitário de arquivamento de sua escolha para agrupar os arquivos em lote em um ou mais arquivos grandes. No entanto, essa abordagem exige mais armazenamento local para salvar os arquivos antes de transferi-los para o Snowball.

    • Para Windows, use o comando de exemplo a seguir para agrupar os arquivos em lote quando todos os arquivos estiverem no mesmo diretório a partir do qual o comando é executado:

      7z a -tzip -so "test" | aws s3 cp - s3://mybucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080

      Para agrupar arquivos em lote de um diretório diferente a partir do qual o comando é executado, use o seguinte comando de exemplo:

      7z a -tzip -so "test" "c:\temp" | aws s3 cp - s3://mybucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://10.x.x.x:8080
      nota

      Para o Microsoft Windows 2016, o tar não está disponível, mas você pode baixá-lo no site do Tar for Windows.

      Você pode baixar o 7 ZIP no site do 7ZIP.

  4. Repita até que você arquive todos os arquivos pequenos que deseja transferir para o Amazon S3 usando um Snowball Edge.

  5. Transfira os arquivos armazenados para o Snowball. Se você quiser que os dados sejam extraídos automaticamente e tiver usado um dos formatos de arquivamento suportados mencionados anteriormente na etapa 1, use o AWS CLI cp comando com a --metadata snowball-auto-extract=true opção.

    nota

    Se houver arquivos que não são de arquivamento, não use esse comando.

Ao criar os arquivos de arquivamento, a extração manterá a estrutura de dados atual. Isso significa que, se você criar um arquivo que contenha arquivos e pastas, o Snowball Edge o recriará durante o processo de ingestão no Amazon S3.

O arquivo será extraído no mesmo diretório em que está armazenado e as estruturas de pastas serão criadas de acordo. Lembre-se de que, ao copiar arquivos compactados, é importante definir o sinalizador --metadata snowball-auto-extract=true. Caso contrário, o Snowball Edge não extrairá os dados quando forem importados para o Amazon S3.

Usando o exemplo na etapa 3, se você tiver a estrutura de pastas /Logs/April/ que contém arquivos a.txt, b.txt e c.txt. Se esse arquivo de arquivamento fosse colocado na raiz de /mybucket/, os dados teriam a seguinte aparência após a extração:

/mybucket/Logs/April/a.txt
/mybucket/Logs/April/b.txt
/mybucket/Logs/April/c.txt

Se o arquivo de arquivamento fosse colocado em /mybucket/Test/, a extração teria a seguinte aparência:

/mybucket/Test/Logs/April/a.txt
/mybucket/Test/Logs/April/b.txt
/mybucket/Test/Logs/April/c.txt