Pré-carregamento de arquivos no sistema de arquivos - FSx para Lustre

Pré-carregamento de arquivos no sistema de arquivos

O Amazon FSx copia dados do repositório de dados do Amazon S3 quando um arquivo é acessado pela primeira vez. Por causa dessa abordagem, a leitura ou gravação inicial em um arquivo incorre em uma pequena quantidade de latência. Se a aplicação for sensível a essa latência e você souber quais arquivos ou diretórios a aplicação precisa acessar, poderá pré-carregar o conteúdo de arquivos ou diretórios individuais. Faça isso usando o comando hsm_restore da seguinte maneira.

Você pode usar o comando hsm_action (emitido com o utilitário lfs do usuário) para verificar se o conteúdo do arquivo terminou de ser carregado no sistema de arquivos. Um valor de retorno NOOP indica que o arquivo foi carregado com êxito. Execute os comandos a seguir em uma instância de computação com o sistema de arquivos montado. Substitua path/to/file pelo caminho do arquivo que você está pré-carregando em seu sistema de arquivos.

sudo lfs hsm_restore path/to/file sudo lfs hsm_action path/to/file

Você pode pré-carregar todo o sistema de arquivos ou um diretório inteiro dentro do sistema de arquivos usando os comandos a seguir. (O e comercial final faz com que um comando seja executado como um processo em segundo plano.) Se você solicitar o pré-carregamento de vários arquivos simultaneamente, o Amazon FSx carregará os arquivos do repositório de dados do Amazon S3 em paralelo. Se um arquivo já tiver sido carregado no sistema de arquivos, o comando hsm_restore não vai recarregá-lo.

nohup find local/directory -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
nota

Se o bucket do S3 vinculado for maior que o sistema de arquivos, você poderá importar todos os metadados de arquivos para seu sistema de arquivos. No entanto, você só pode carregar a quantidade real de dados de arquivo que caiba no espaço de armazenamento restante do sistema de arquivos. Você receberá uma mensagem de erro se tentar acessar os dados do arquivo quando não houver mais espaço de armazenamento no sistema de arquivos. Se isso ocorrer, será possível aumentar a capacidade de armazenamento conforme necessário. Para obter mais informações, consulte Como gerenciar a capacidade de armazenamento.