Como usar tarefas do repositório de dados para lançar arquivos - FSx para Lustre

Como usar tarefas do repositório de dados para lançar arquivos

Use os procedimentos a seguir para criar tarefas que liberam arquivos do sistema de arquivos usando o console e a CLI do Amazon FSx. A liberação de um arquivo retém a listagem e os metadados do arquivo, mas remove a cópia local do conteúdo desse arquivo.

  1. Abra o console do Amazon FSx em https://console.aws.amazon.com/fsx/.

  2. No painel de navegação esquerdo, escolha Sistemas de arquivos e escolha o sistema de arquivos do Lustre.

  3. Escolha a guia Repositório de dados.

  4. No painel Associações de repositórios de dados, escolha a associação de repositório de dados para a qual você deseja criar a tarefa de liberação.

  5. Em Ações, escolha Criar tarefa de liberação. Essa opção só estará disponível se o sistema de arquivos estiver vinculado a um repositório de dados no S3. A caixa de diálogo Criar tarefa de liberação do repositório de dados é exibida.

  6. Em Caminhos do sistema de arquivos para liberação, especifique até 32 diretórios ou arquivos a serem liberados do seu sistema de arquivos do Amazon FSx fornecendo os caminhos para esses diretórios ou arquivos. Os caminhos fornecidos precisam ser relativos ao ponto de montagem do sistema de arquivos. Por exemplo, se o ponto de montagem for /mnt/fsx e /mnt/fsx/path1 for um arquivo no sistema de arquivos que você deseja liberar, o caminho a ser fornecido será path1. Para liberar todos os arquivos no sistema de arquivos, especifique uma barra (/) como caminho.

    nota

    Se um caminho fornecido não for válido, a tarefa falhará.

  7. Em Duração mínima desde o último acesso, especifique a duração, em dias, para que qualquer arquivo não acessado nessa duração seja liberado. O horário do último acesso é calculado usando o valor máximo atime, mtime e ctime. Arquivos com um período de duração do último acesso maior que a duração mínima desde o último acesso (em relação ao horário de criação da tarefa) serão liberados. Arquivos com um período de duração do último acesso menor que esse número de dias não serão liberados, mesmo que estejam no campo Caminhos do sistema de arquivos para liberação. Forneça uma duração de 0 dias para liberar arquivos, independentemente da duração desde o último acesso.

  8. (Opcional) Em Relatório de conclusão, escolha Habilitar para gerar um relatório de conclusão de tarefa que forneça detalhes sobre os arquivos que atendem ao escopo fornecido em Escopo do relatório. Para especificar um local para o Amazon FSx entregar o relatório, em Caminho do relatório, insira um caminho relativo no repositório de dados do S3 vinculado do sistema de arquivos.

  9. Escolha Criar tarefa de repositório de dados.

    Uma notificação na parte superior da página Sistemas de arquivos mostra a tarefa que você acabou de criar em andamento.

Para ver o status e os detalhes da tarefa, na guia Repositório de dados, role para baixo até Tarefas do repositório de dados. A ordem de classificação padrão mostra a tarefa mais recente no topo da lista.

Para ver um resumo da tarefa nessa página, escolha ID da tarefa referente à tarefa que você acabou de criar.

  • Use o comando create-data-repository-task da CLI para criar uma tarefa que libere arquivos em seu sistema de arquivos do FSx para Lustre. A operação de API correspondente é CreateDataRepositoryTask.

    Defina os seguintes parâmetros:

    • Defina --file-system-id como ID do sistema de arquivos do qual você está lançando arquivos.

    • Defina --paths como caminhos no sistema de arquivos do qual os dados serão liberados. Se um diretório for especificado, os arquivos dentro do diretório serão liberados. Se um caminho de arquivo for especificado, somente esse arquivo será liberado. Para liberar todos os arquivos no sistema de arquivos que foram exportados para um bucket do S3 vinculado, especifique uma barra (/) no caminho.

    • Defina --type como RELEASE_DATA_FROM_FILESYSTEM.

    • Defina as opções --release-configuration DurationSinceLastAccess desta forma:

      • Unit: defina como DAYS.

      • Value: especifique um número inteiro que represente a duração, em dias, para que qualquer arquivo não acessado nessa duração seja liberado. Arquivos que foram acessados durante um período menor que esse número de dias não serão liberados, mesmo que estejam no parâmetro --paths. Forneça uma duração de 0 dias para liberar arquivos, independentemente da duração desde o último acesso.

    Esse exemplo de comando especifica que os arquivos que foram exportados para um bucket do S3 vinculado e atendem aos critérios --release-configuration serão liberados dos diretórios nos caminhos especificados.

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type RELEASE_DATA_FROM_FILESYSTEM \
    --paths path1,path2/file1 \
    --release-configuration '{"DurationSinceLastAccess":{"Unit":"DAYS","Value":10}}' \
    --report Enabled=false

    Depois de criar com êxito a tarefa do repositório de dados, o Amazon FSx retorna a descrição da tarefa como JSON.

Depois de criar a tarefa para liberar arquivos, você pode verificar o status da tarefa. Para obter mais informações sobre como visualizar tarefas do repositório de dados, consulte Acesso a tarefas do repositório de dados.