Como usar tarefas do repositório de dados para importar alterações - FSx para Lustre

Como usar tarefas do repositório de dados para importar alterações

A tarefa de importação do repositório de dados importa metadados de objetos novos ou alterados no repositório de dados do S3, criando uma nova lista de arquivos ou diretórios para qualquer novo objeto no repositório de dados do S3. Para qualquer objeto que tenha sido alterado no repositório de dados, a listagem de arquivos ou diretórios correspondente é atualizada com os novos metadados. Nenhuma ação é executada para objetos que foram excluídos do repositório de dados.

Use os procedimentos a seguir para importar alterações de metadados usando o console e a CLI do Amazon FSx. Observe que você pode usar uma tarefa de repositório de dados para vários DRAs.

  1. Abra o console do Amazon FSx em https://console.aws.amazon.com/fsx/.

  2. No painel de navegação, escolha Sistemas de arquivos e, em seguida, escolha seu sistema de arquivos do Lustre.

  3. Escolha a guia Repositório de dados.

  4. No painel Associações de repositório de dados, escolha as associações de repositório de dados cuja tarefa de importação você deseja criar.

  5. No menu Ações, escolha Tarefa de importação. Essa opção não estará disponível se o sistema de arquivos não estiver vinculado a um repositório de dados. A página Criar tarefa de importação do repositório de dados é exibida.

  6. (Opcional) Especifique até 32 diretórios ou arquivos a serem importados dos buckets do S3 vinculados, fornecendo os caminhos para esses diretórios ou arquivos em Caminhos de repositórios de dados a serem importados.

    nota

    Se um caminho fornecido não for válido, a tarefa falhará.

  7. (Opcional) Escolha Habilitar em Relatório de conclusão para gerar um relatório de conclusão da tarefa depois que a tarefa for concluída. Um relatório de conclusão da tarefa fornece detalhes sobre os arquivos processados pela tarefa que atendem ao escopo fornecido em Escopo do relatório. Para especificar o local para o Amazon FSx entregar o relatório, em Caminho do relatório, insira um caminho relativo em um repositório de dados do S3 vinculado.

  8. Escolha Criar.

    Uma notificação na parte superior da página Sistemas de arquivos mostra a tarefa que você acabou de criar em andamento.

Para ver o status e os detalhes da tarefa, role para baixo até o painel Tarefas do repositório de dados na guia Repositório de dados do sistema de arquivos. A ordem de classificação padrão mostra a tarefa mais recente no topo da lista.

Para ver um resumo da tarefa nessa página, escolha ID da tarefa referente à tarefa que você acabou de criar. A página Resumo da tarefa é exibida.

  • Use o comando create-data-repository-task da CLI para importar alterações de metadados em seu sistema de arquivos do FSx para Lustre. A operação de API correspondente é CreateDataRepositoryTask.

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type IMPORT_METADATA_FROM_REPOSITORY \
    --paths s3://bucketname1/dir1/path1 \
    --report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY

    Depois de criar com êxito a tarefa do repositório de dados, o Amazon FSx retorna a descrição da tarefa como JSON.

Depois de criar a tarefa para importar metadados do repositório de dados vinculado, você pode verificar o status da tarefa de importação do repositório de dados. Para obter mais informações sobre como visualizar tarefas do repositório de dados, consulte Acesso a tarefas do repositório de dados.