Vinculando seu sistema de arquivos a um bucket do Amazon S3 - FSxpara Lustre

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Vinculando seu sistema de arquivos a um bucket do Amazon S3

Você pode vincular seu sistema de arquivos Amazon FSx for Lustre a repositórios de dados no Amazon S3. Você pode criar o link ao criar o sistema de arquivos ou a qualquer momento após a criação do sistema de arquivos.

Um link entre um diretório no sistema de arquivos e um bucket ou prefixo do S3 é chamado de associação de repositório de dados (). DRA Você pode configurar no máximo 8 associações de repositório de dados em um sistema de arquivos FSx for Lustre. No máximo 8 DRA solicitações podem ser enfileiradas, mas somente uma solicitação pode ser processada por vez para o sistema de arquivos. Cada um DRA deve ter um diretório exclusivo FSx do sistema de arquivos Lustre e um bucket ou prefixo S3 exclusivo associado a ele.

nota

Associações de repositórios de dados, exportação automática e suporte para vários repositórios de dados não estão disponíveis nos sistemas de arquivos ou sistemas FSx de arquivos Lustre 2.10. Scratch 1

Para acessar objetos no repositório de dados do S3 como arquivos e diretórios no sistema de arquivos, os metadados de arquivos e diretórios devem ser carregados no sistema de arquivos. Você pode carregar metadados de um repositório de dados vinculado ao criar DRA ou carregar metadados para lotes de arquivos e diretórios que deseja acessar usando o sistema de arquivos FSx for Lustre posteriormente usando uma tarefa de importação de repositório de dados, ou usar a exportação automática para carregar metadados automaticamente quando objetos forem adicionados, alterados ou excluídos do repositório de dados.

Você pode configurar uma somente DRA para importação automática, somente para exportação automática ou para ambas. Uma associação de repositório de dados configurada com importação e exportação automáticas propaga os dados em ambas as direções entre o sistema de arquivos e o bucket do S3 vinculado. Conforme você faz alterações nos dados no seu repositório de dados do S3, o FSx for Lustre detecta as alterações e, em seguida, importa automaticamente as alterações para o seu sistema de arquivos. Conforme você cria, modifica ou exclui arquivos, o For Lustre exporta automaticamente as alterações FSx para o Amazon S3 de forma assíncrona quando seu aplicativo termina de modificar o arquivo.

Importante

  • Se você modificar o mesmo arquivo no sistema de arquivos e no bucket do S3, certifique-se da coordenação no nível da aplicação para evitar conflitos. FSxfor Lustre não evita gravações conflitantes em vários locais.

  • Para arquivos marcados com um atributo imutável, o FSx for Lustre não consegue sincronizar as alterações entre seu sistema de arquivos FSx for Lustre e um bucket do S3 vinculado ao sistema de arquivos. Definir uma bandeira imutável por um longo período de tempo pode prejudicar o desempenho da movimentação de dados entre a Amazon FSx e o S3.

Ao criar uma associação de repositório de dados, você pode configurar as seguintes propriedades:

  • Caminho do sistema de arquivos — insira um caminho local no sistema de arquivos que aponte para um diretório (como/ns1/) ou subdiretório (como/ns1/subdir/) que será mapeado one-to-one com o caminho do repositório de dados especificado abaixo. A barra inicial no nome é obrigatória. Duas associações de repositórios de dados não podem ter caminhos de sistema de arquivos sobrepostos. Por exemplo, se um repositório de dados estiver associado ao caminho do sistema de arquivos /ns1, você não poderá vincular outro repositório de dados ao caminho do sistema de arquivos /ns1/ns2.

    nota

    Se você especificar somente uma barra (/) como o caminho do sistema de arquivos, poderá vincular somente um repositório de dados ao sistema de arquivos. Só é possível especificar “/” como o caminho do sistema de arquivos para o primeiro repositório de dados associado a um sistema de arquivos.

  • Caminho do repositório de dados: insira um caminho no repositório de dados do S3. O caminho pode ser um bucket ou prefixo do S3 no formato s3://bucket-name/prefix/. Essa propriedade especifica de onde os arquivos do repositório de dados do S3 serão importados ou para onde serão exportados. FSxfor Lustre anexará um “/” final ao caminho do seu repositório de dados, caso você não forneça um. Por exemplo, se você fornecer um caminho de repositório de dados des3://amzn-s3-demo-bucket/my-prefix, FSx for Lustre o interpretará como. s3://amzn-s3-demo-bucket/my-prefix/

    Duas associações de repositório de dados não podem ter caminhos de repositório de dados sobrepostos. Por exemplo, se um repositório de dados com o caminho s3://amzn-s3-demo-bucket/my-prefix/ estiver vinculado ao sistema de arquivos, você não poderá criar outra associação de repositório de dados com o caminho s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix do repositório de dados.

  • Importar metadados do repositório: você pode selecionar essa opção para importar metadados de todo o repositório de dados imediatamente após criar a associação de repositório de dados. Se preferir, você poderá executar uma tarefa de importação do repositório de dados para carregar todos ou um subconjunto dos metadados do repositório de dados vinculado no sistema de arquivos a qualquer momento após a criação da associação de repositório de dados.

  • Configurações de importação: escolha uma política de importação que especifique o tipo de objetos atualizados (qualquer combinação de novos, alterados e excluídos) que serão importados automaticamente do bucket do S3 vinculado para o sistema de arquivos. A importação automática (nova, alterada, excluída) é ativada por padrão quando você adiciona um repositório de dados do console, mas é desativada por padrão ao usar o AWS CLI ou a Amazon FSxAPI.

  • Configurações de importação: escolha uma política de importação que especifique o tipo de objetos atualizados (qualquer combinação de novos, alterados e excluídos) que serão exportados automaticamente para o bucket do S3. A exportação automática (nova, alterada, excluída) é ativada por padrão quando você adiciona um repositório de dados do console, mas é desativada por padrão ao usar o AWS CLI ou a Amazon FSxAPI.

As configurações do caminho do sistema de arquivos e do caminho do repositório de dados fornecem um mapeamento 1:1 entre os caminhos na Amazon FSx e as chaves de objeto no S3.

Tópicos