Tarefas de repositório de dados

Ao usar as tarefas de importação e de exportação do repositório de dados, é possível gerenciar a transferência de dados e de metadados entre o sistema de arquivos do FSx para Lustre e qualquer um dos repositórios de dados duráveis ​​no Amazon S3.

As tarefas de repositório de dados otimizam as transferências de dados e de metadados entre o sistema de arquivos do FSx para Lustre e um repositório de dados no S3. Uma maneira pela qual as tarefas fazem isso é ao rastrear as alterações entre o sistema de arquivos do Amazon FSx e o repositório de dados vinculado. Elas também fazem isso ao usar técnicas de transferência paralela para transferir dados em velocidades de até centenas de GB/s. Você cria e visualiza as tarefas de repositório de dados usando o console do Amazon FSx, a AWS CLI e a API do Amazon FSx.

As tarefas de repositório de dados mantêm os metadados do Portable Operating System Interface (POSIX) do sistema de arquivos, incluindo as propriedades, as permissões e os carimbos de data/hora. Como as tarefas mantêm esses metadados, é possível implementar e manter controles de acesso entre o sistema de arquivos do FSx para Lustre e os repositórios de dados vinculados.

Você pode usar uma tarefa de repositório de dados de liberação para liberar espaço no sistema de arquivos para novos arquivos ao liberar arquivos exportados para o Amazon S3. O conteúdo dos arquivos liberados é removido, mas os metadados dos arquivos liberados permanecem no sistema de arquivos. Os usuários e as aplicações ainda podem acessar um arquivo liberado ao realizar novamente a leitura do arquivo. Quando o usuário ou a aplicação realiza a leitura do arquivo liberado, o FSx para Lustre recupera de forma transparente o conteúdo do arquivo do Amazon S3.

Tipos de tarefas de repositório de dados

Existem três tipos de tarefas de repositório de dados:

Para obter mais informações, consulte Como criar uma tarefa de repositório de dados.