Como usar tarefas do repositório de dados para exportar alterações - FSx para Lustre

Como usar tarefas do repositório de dados para exportar alterações

A tarefa de exportação do repositório de dados exporta arquivos novos ou alterados em seu sistema de arquivos. Ela cria um novo objeto no S3 para qualquer novo arquivo no sistema de arquivos. Para qualquer arquivo que tenha sido modificado no sistema de arquivos ou cujos metadados tenham sido modificados, o objeto correspondente no S3 é substituído por um novo objeto com os novos dados e metadados. Nenhuma ação é executada para arquivos que foram excluídos do sistema de arquivos.

nota

Tenha o seguinte em mente ao usar tarefas de exportação de repositório de dados:

  • Não há suporte para o uso de curingas ao incluir ou excluir arquivos para exportação.

  • Ao executar operações mv, o arquivo de destino após ser movido será exportado para o S3, mesmo que não haja alteração de UID, GID, permissão ou conteúdo.

Use os procedimentos a seguir para exportar alterações de dados e metadados no sistema de arquivos para buckets do S3 vinculados, usando o console e a CLI do Amazon FSx. Observe que você pode usar uma tarefa de repositório de dados para vários DRAs.

  1. Abra o console do Amazon FSx em https://console.aws.amazon.com/fsx/.

  2. No painel de navegação, escolha Sistemas de arquivos e, em seguida, escolha seu sistema de arquivos do Lustre.

  3. Escolha a guia Repositório de dados.

  4. No painel Associações de repositórios de dados, escolha a associação de repositório de dados para a qual você deseja criar a tarefa de exportação.

  5. Em Ações, escolha Tarefa de exportação. Essa opção não estará disponível se o sistema de arquivos não estiver vinculado a um repositório de dados no S3. A caixa de diálogo Criar tarefa de exportação do repositório de dados é exibida.

  6. (Opcional) Especifique até 32 diretórios ou arquivos a serem exportados do seu sistema de arquivos do Amazon FSx fornecendo os caminhos para esses diretórios ou arquivos em Caminhos do sistema de arquivos para exportação. Os caminhos fornecidos precisam ser relativos ao ponto de montagem do sistema de arquivos. Se o ponto de montagem for /mnt/fsx e /mnt/fsx/path1 for um diretório ou arquivo no sistema de arquivos que você deseja exportar, o caminho a ser fornecido será path1.

    nota

    Se um caminho fornecido não for válido, a tarefa falhará.

  7. (Opcional) Escolha Habilitar em Relatório de conclusão para gerar um relatório de conclusão da tarefa depois que a tarefa for concluída. Um relatório de conclusão da tarefa fornece detalhes sobre os arquivos processados pela tarefa que atendem ao escopo fornecido em Escopo do relatório. Para especificar o local para o Amazon FSx entregar o relatório, em Caminho do relatório, insira um caminho relativo no repositório de dados do S3 vinculado do sistema de arquivos.

  8. Escolha Criar.

    Uma notificação na parte superior da página Sistemas de arquivos mostra a tarefa que você acabou de criar em andamento.

Para ver o status e os detalhes da tarefa, role para baixo até o painel Tarefas do repositório de dados na guia Repositório de dados do sistema de arquivos. A ordem de classificação padrão mostra a tarefa mais recente no topo da lista.

Para ver um resumo da tarefa nessa página, escolha ID da tarefa referente à tarefa que você acabou de criar. A página Resumo da tarefa é exibida.

  • Use o comando create-data-repository-task da CLI para exportar alterações de dados e metadados em seu sistema de arquivos do FSx para Lustre. A operação de API correspondente é CreateDataRepositoryTask.

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type EXPORT_TO_REPOSITORY \
    --paths path1,path2/file1 \
    --report Enabled=true

    Após a criação com êxito da tarefa do repositório de dados, o Amazon FSx retorna a descrição da tarefa como JSON, conforme mostrado no exemplo a seguir.

    {
    "Task": {
        "TaskId": "task-123f8cd8e330c1321",
        "Type": "EXPORT_TO_REPOSITORY",
        "Lifecycle": "PENDING",
        "FileSystemId": "fs-0123456789abcdef0",
        "Paths": ["path1", "path2/file1"],
        "Report": {
            "Path":"s3://dataset-01/reports",
            "Format":"REPORT_CSV_20191124",
            "Enabled":true,
            "Scope":"FAILED_FILES_ONLY"
        },
        "CreationTime": "1545070680.120",
        "ClientRequestToken": "10192019-drt-12",
        "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
    }
}

Depois de criar a tarefa para exportar dados para o repositório de dados vinculado, você pode verificar o status da tarefa de exportação do repositório de dados. Para obter mais informações sobre como visualizar tarefas do repositório de dados, consulte Acesso a tarefas do repositório de dados.