Como trabalhar com tipos de implantação mais antigos
Esta seção se aplica aos sistemas de arquivos com tipo de implantação Scratch 1 e também aos sistemas de arquivos com tipos de implantação Scratch 2 ou Persistent 1 que não usam associações de repositório de dados.
Tópicos
Vinculação do sistema de arquivos a um bucket do Amazon S3
Ao criar um sistema de arquivos do Amazon FSx para Lustre, é possível vinculá-lo a um repositório de dados durável no Amazon S3. Antes de criar o sistema de arquivos, certifique-se de já ter criado o bucket do Amazon S3 ao qual ele está sendo vinculando. No assistente Criar sistema de arquivos, você define as propriedades de configuração do repositório de dados apresentadas a seguir no painel opcional Importação e exportação de repositórios de dados.
-
Escolha como o Amazon FSx mantém a listagem de arquivos e de diretórios atualizada à medida que você adiciona ou modifica objetos no bucket do S3 após a criação do sistema de arquivos. Para obter mais informações, consulte Importação automática de atualizações do bucket do S3.
-
Bucket de importação: insira o nome do bucket do S3 que você está usando para o repositório vinculado.
-
Prefixo de importação: insira um prefixo de importação opcional se desejar importar somente algumas listagens de dados de arquivos e de diretórios no bucket do S3 para o sistema de arquivos. O prefixo de importação define de que local os dados no bucket do S3 serão importados.
-
Prefixo de exportação: define o local para o qual o Amazon FSx exporta o conteúdo do sistema de arquivos para o bucket do S3 vinculado.
É possível ter um mapeamento de um para um em que o Amazon FSx exporta dados do sistema de arquivos do FSx para Lustre de volta para os mesmos diretórios no bucket do S3 dos quais eles foram importados. Para ter um mapeamento de um para um, especifique um caminho de exportação para o bucket do S3 sem prefixos ao criar o sistema de arquivos.
-
Ao criar um sistema de arquivos usando o console, escolha a opção Prefixo de exportação > Um prefixo especificado por você e mantenha o campo de prefixo em branco.
-
Ao criar um sistema de arquivos usando a AWS CLI ou a API, especifique o caminho de exportação como o nome do bucket do S3 sem prefixos adicionais, por exemplo,
ExportPath=s3://amzn-s3-demo-bucket/.
Usando esse método, é possível incluir um prefixo de importação ao especificar o caminho de importação, e isso não afeta um mapeamento individual para as exportações.
Como criar sistemas de arquivos vinculados a um bucket do S3
Os procedimentos apresentados a seguir orientam você no processo de criação de um sistema de arquivos do Amazon FSx vinculado a um bucket do S3 usando o Console de Gerenciamento da AWS e a AWS Command Line Interface (AWS CLI).
Visualização do caminho de exportação de um sistema de arquivos
É possível visualizar o caminho de exportação de um sistema de arquivos usando o console do FSx para Lustre, a AWS CLI e a API.
Estado do ciclo de vida do repositório de dados
O estado do ciclo de vida do repositório de dados fornece informações de status sobre o repositório de dados vinculado do sistema de arquivos. Um repositório de dados pode ter os estados de ciclo de vida apresentados a seguir.
-
Criando: o Amazon FSx está criando a configuração do repositório de dados entre o sistema de arquivos e o repositório de dados vinculado. O repositório de dados está indisponível.
-
Disponível: o repositório de dados está disponível para uso.
-
Atualizando: a configuração do repositório de dados está passando por uma atualização iniciada pelo cliente que pode afetar sua disponibilidade.
-
Configuração incorreta: o Amazon FSx não pode importar automaticamente as atualizações do bucket do S3 até que a configuração do repositório de dados seja corrigida. Para obter mais informações, consulte Solução de problemas de um bucket do S3 vinculado configurado incorretamente.
É possível visualizar o estado do ciclo de vida do repositório de dados vinculado de um sistema de arquivos usando o console do Amazon FSx, a AWS Command Line Interface e a API do Amazon FSx. No console do Amazon FSx, você pode acessar o Estado do ciclo de vida do repositório de dados no painel Integração do repositório de dados da guia Repositório de dados do sistema de arquivos. A propriedade Lifecycle está localizada no objeto DataRepositoryConfiguration na resposta de um comando describe-file-systems da CLI (a ação de API equivalente é DescribeFileSystems).
Importação automática de atualizações do bucket do S3
Por padrão, quando você cria um novo sistema de arquivos, o Amazon FSx importa os metadados do arquivo (por exemplo, o nome, a propriedade, o carimbo de data/hora e as permissões) de objetos no bucket do S3 vinculado durante a criação do sistema de arquivos. É possível configurar o sistema de arquivos do FSx para Lustre para importar automaticamente metadados de objetos que são adicionados, alterados ou excluídos do bucket do S3 após a criação do sistema de arquivos. O FSx para Lustre atualiza a listagem de arquivos e de diretórios de um objeto alterado após a criação, da mesma maneira que importa os metadados dos arquivos durante a criação do sistema de arquivos. Quando o Amazon FSx atualiza a listagem de arquivos e de diretórios de um objeto alterado, se o objeto alterado no bucket do S3 não contiver mais os metadados, o Amazon FSx manterá os valores atuais de metadados do arquivo, em vez de usar as permissões padrão.
nota
As configurações de importação estão disponíveis em sistemas de arquivos do FSx para Lustre criados após às 17h BRT de 23 de julho de 2020.
Você pode definir preferências de importação ao criar um novo sistema de arquivos, e pode atualizar a configuração em sistemas de arquivos existentes usando o console de gerenciamento do FSx, a AWS CLI e a API da AWS. Quando você cria o sistema de arquivos, seus objetos existentes no S3 aparecem como listagens de arquivos e diretórios. Após criar o sistema de arquivos, como você deseja atualizá-lo à medida que o conteúdo do bucket do S3 é atualizado? Um sistema de arquivos pode ter uma das seguintes preferências de importação:
nota
O sistema de arquivos do FSx para Lustre e o bucket do S3 vinculado devem estar localizados na mesma região da AWS para importar atualizações automaticamente.
-
Atualizar minha listagem de arquivos e de diretórios à medida que os objetos são adicionados ao meu bucket do S3: (padrão) o Amazon FSx atualiza automaticamente as listagens de arquivos e de diretórios para quaisquer novos objetos adicionados ao bucket do S3 vinculado, os quais não existam no sistema de arquivos do FSx. O Amazon FSx não atualiza listagens para objetos que foram alterados no bucket do S3. O Amazon FSx não exclui listagens de objetos que são excluídos no bucket do S3.
nota
A configuração padrão de preferências de importação para importar dados de um bucket do S3 vinculado usando a CLI e a API é
NONE. A configuração padrão de preferências de importação ao usar o console é atualizar o Lustre conforme novos objetos são adicionados ao bucket do S3. -
Atualizar minha listagem de arquivos e de diretórios à medida que os objetos são adicionados ou alterados em meu bucket do S3: o Amazon FSx atualiza automaticamente as listagens de arquivos e de diretórios para quaisquer novos objetos adicionados ao bucket do S3 e para quaisquer objetos existentes que são alterados no bucket do S3 depois que você escolher essa opção. O Amazon FSx não exclui listagens de objetos que são excluídos no bucket do S3.
-
Atualizar minha listagem de arquivos e de diretórios à medida que os objetos são adicionados, alterados ou excluídos do meu bucket do S3: o Amazon FSx atualiza automaticamente as listagens de arquivos e de diretórios para quaisquer novos objetos adicionados ao bucket do S3, para quaisquer objetos existentes que são alterados no bucket do S3 e para quaisquer objetos existentes que são excluídos do bucket do S3 depois que você escolher essa opção.
-
Não atualizar meu arquivo e listar diretamente quando objetos são adicionados, alterados ou excluídos do meu bucket do S3: o Amazon FSx atualiza somente as listagens de arquivos e de diretórios do bucket do S3 vinculado quando o sistema de arquivos é criado. O FSx não atualiza as listagens de arquivos e de diretórios para objetos novos, alterados ou excluídos após a escolha dessa opção.
Quando você define as preferências de importação para atualizar as listagens de arquivos e de diretórios do sistema de arquivos com base nas alterações no bucket do S3 vinculado, o Amazon FSx cria uma configuração de notificação de eventos no bucket do S3 vinculado que é chamada FSx. Não modifique ou exclua a configuração de notificação de eventos FSx no bucket do S3. Isso evita a importação automática de listagens de arquivos e de diretórios novos ou alterados para seu sistema de arquivos.
Quando o Amazon FSx atualiza uma listagem de arquivos que foi alterada no bucket do S3 vinculado, ele substitui o arquivo local pela versão atualizada, mesmo que o arquivo esteja bloqueado para gravação. De forma semelhante, quando o Amazon FSx atualiza uma listagem de arquivos no caso de o objeto correspondente ter sido excluído no bucket do S3 vinculado, ele exclui o arquivo local, mesmo que o arquivo esteja bloqueado para gravação.
O Amazon FSx se esforça ao máximo para atualizar o sistema de arquivos. O Amazon FSx não pode atualizar o sistema de arquivos com alterações nas seguintes situações:
-
Quando o Amazon FSx não tem permissão para abrir o objeto do S3 novo ou alterado.
-
Quando a configuração de notificação de eventos
FSxno bucket do S3 vinculado é excluída ou alterada.
Qualquer uma dessas condições faz com que o estado do ciclo de vida do repositório de dados se torne o estado de Configuração incorreta. Para obter mais informações, consulte Estado do ciclo de vida do repositório de dados.
Pré-requisitos
As seguintes condições são obrigatórias para que o Amazon FSx importe automaticamente arquivos novos, alterados ou excluídos do bucket do S3 vinculado:
-
O sistema de arquivos e o bucket do S3 vinculado devem estar localizados na mesma região da AWS.
-
O bucket do S3 não tem um estado de ciclo de vida de Configuração incorreta. Para obter mais informações, consulte Estado do ciclo de vida do repositório de dados.
-
Sua conta deve ter as permissões obrigatórias para configurar e receber notificações de eventos no bucket do S3 vinculado.
Tipos de alterações de arquivo com suporte
O Amazon FSx oferece suporte à importação das seguintes alterações em arquivos e em pastas que ocorrem no bucket do S3 vinculado:
-
Alterações no conteúdo do arquivo
-
Alterações nos metadados de arquivos ou de pastas
-
Alterações no destino do link simbólico ou nos metadados
Atualização das preferências de importação
É possível definir as preferências de importação de um sistema de arquivos ao criar um novo sistema de arquivos. Para obter mais informações, consulte Vincular o sistema de arquivos a um bucket do Amazon S3.
Você também pode atualizar as preferências de importação de um sistema de arquivos após a criação usando o Console de Gerenciamento da AWS, a AWS CLI e a API do Amazon FSx, conforme mostrado no procedimento a seguir.
