Visão geral dos repositórios de dados
Ao usar o Amazon FSx para Lustre com repositórios de dados, você pode ingerir e processar grandes volumes de dados de arquivos em um sistema de arquivos de alta performance usando tarefas automáticas de importação e importação de repositórios de dados. Ao mesmo tempo, você pode gravar resultados em seus repositórios de dados usando tarefas automáticas de exportação ou exportação do repositório de dados. Com esses recursos, você pode reiniciar sua workload a qualquer momento usando os dados mais recentes armazenados em seu repositório de dados.
nota
Associações de repositório de dados, exportação automática e suporte para vários repositórios de dados não estão disponíveis nos sistemas de arquivos do FSx para Lustre 2.10 ou nos sistemas de arquivos Scratch 1.
O FSx para Lustre está profundamente integrado ao Amazon S3. Essa integração significa que você pode acessar facilmente os objetos armazenados nos buckets do Amazon S3 das aplicações que montam o sistema de arquivos do FSx para Lustre Você também pode executar suas workloads com uso intensivo de computação nas instâncias do Amazon EC2 na Nuvem AWS e exportar os resultados para o seu repositório de dados após a conclusão da workload.
Para acessar objetos no repositório de dados do Amazon S3 como arquivos e diretórios no sistema de arquivos, os metadados de arquivos e diretórios devem ser carregados no sistema de arquivos. Você pode carregar metadados de um repositório de dados vinculado ao criar uma associação de repositório de dados.
Além disso, você pode importar metadados de arquivos e diretórios de seus repositórios de dados vinculados para o sistema de arquivos usando a importação automática ou usando uma tarefa de importação de repositório de dados. Quando você ativa a importação automática para uma associação de repositório de dados, seu sistema de arquivos importa automaticamente os metadados do arquivo à medida que os arquivos são criados, modificados e excluídos no repositório de dados do S3. Como alternativa, você poderá importar metadados de arquivos e diretórios novos ou alterados usando uma tarefa de importação de repositório de dados.
nota
As tarefas de importação automática e de importação do repositório de dados podem ser usadas simultaneamente em um sistema de arquivos.
Você também pode exportar arquivos e seus metadados associados no sistema de arquivos para o repositório de dados usando a exportação automática ou usando uma tarefa de exportação do repositório de dados. Quando você ativa a exportação automática em uma associação de repositório de dados, seu sistema de arquivos exporta automaticamente os dados e metadados do arquivo à medida que os arquivos são criados, modificados ou excluídos. Como alternativa, você pode exportar arquivos ou diretórios usando uma tarefa de exportação do repositório de dados. Quando você usa uma tarefa de exportação do repositório de dados, os dados e metadados do arquivo que foram criados ou modificados desde a última tarefa desse tipo são exportados.
nota
As tarefas de exportação automática e de exportação do repositório de dados não podem ser usadas simultaneamente em um sistema de arquivos.
As associações de repositório de dados só exportam arquivos comuns, links simbólicos e diretórios. Isso significa que todos os outros tipos de arquivos (especial FIFO, especial em bloco, especial de caracteres e soquete) não serão exportados como parte dos processos de exportação, como tarefas de exportação automática e de exportação do repositório de dados.
O FSx para Lustre também oferece suporte a workloads de expansão na nuvem com sistemas de arquivos on-premises, permitindo que você copie dados de clientes on-premises usando AWS Direct Connect ou VPN.
Importante
Se você tiver vinculado um ou mais sistemas de arquivos do FSx para Lustre a um repositório de dados no Amazon S3, não exclua o bucket do Amazon S3 até que tenha excluído ou desvinculado todos os sistemas de arquivos vinculados.
Suporte regional e de conta para buckets do S3 vinculados
Ao criar links para buckets do S3, lembre-se das seguintes limitações de suporte à região e à conta:
-
A exportação automática oferece suporte a configurações entre regiões. O sistema de arquivos do Amazon FSx e o bucket do S3 vinculado podem estar localizados na mesma Região da AWS ou em Regiões da AWS diferentes.
-
A importação automática não oferece suporte a configurações entre regiões. O sistema de arquivos do Amazon FSx e o bucket do S3 vinculado devem estar localizados na mesma Região da AWS.
-
A exportação e a importação automáticas oferecem suporte a configurações entre contas. O sistema de arquivos do Amazon FSx e o bucket do S3 vinculado podem pertencer à mesma Conta da AWS ou a Contas da AWS diferentes.
