Como usar tarefas do repositório de dados para exportar alterações - FSxpara Lustre

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como usar tarefas do repositório de dados para exportar alterações

A tarefa de exportação do repositório de dados exporta arquivos novos ou alterados em seu sistema de arquivos. Ela cria um novo objeto no S3 para qualquer novo arquivo no sistema de arquivos. Para qualquer arquivo que tenha sido modificado no sistema de arquivos ou cujos metadados tenham sido modificados, o objeto correspondente no S3 é substituído por um novo objeto com os novos dados e metadados. Nenhuma ação é executada para arquivos que foram excluídos do sistema de arquivos.

nota

Tenha o seguinte em mente ao usar tarefas de exportação de repositório de dados:

  • Não há suporte para o uso de curingas ao incluir ou excluir arquivos para exportação.

  • Ao realizar mv operações, o arquivo de destino após ser movido será exportado para o S3 UIDGID, mesmo que não haja nenhuma alteração de permissão ou conteúdo.

Use os procedimentos a seguir para exportar alterações de dados e metadados no sistema de arquivos para buckets S3 vinculados usando o console da Amazon e. FSx CLI Observe que você pode usar uma tarefa de repositório de dados para váriasDRAs.

  1. Abra o FSx console da Amazon em https://console.aws.amazon.com/fsx/.

  2. No painel de navegação, escolha Sistemas de arquivos e, em seguida, escolha seu sistema de arquivos Lustre.

  3. Escolha a guia Repositório de dados.

  4. No painel Associações de repositórios de dados, escolha a associação de repositório de dados para a qual você deseja criar a tarefa de exportação.

  5. Em Ações, escolha Tarefa de exportação. Essa opção não estará disponível se o sistema de arquivos não estiver vinculado a um repositório de dados no S3. A caixa de diálogo Criar tarefa de exportação do repositório de dados é exibida.

  6. (Opcional) Especifique até 32 diretórios ou arquivos para exportar do seu sistema de FSx arquivos da Amazon fornecendo os caminhos para esses diretórios ou arquivos em Caminhos do sistema de arquivos a serem exportados. Os caminhos fornecidos precisam ser relativos ao ponto de montagem do sistema de arquivos. Se o ponto de montagem for /mnt/fsx e /mnt/fsx/path1 for um diretório ou arquivo no sistema de arquivos que você deseja exportar, o caminho a ser fornecido será path1.

    nota

    Se um caminho fornecido não for válido, a tarefa falhará.

  7. (Opcional) Escolha Habilitar em Relatório de conclusão para gerar um relatório de conclusão da tarefa depois que a tarefa for concluída. Um relatório de conclusão da tarefa fornece detalhes sobre os arquivos processados pela tarefa que atendem ao escopo fornecido em Escopo do relatório. Para especificar o local para a Amazon FSx entregar o relatório, insira um caminho relativo no repositório de dados S3 vinculado ao sistema de arquivos para Caminho do relatório.

  8. Escolha Criar.

    Uma notificação na parte superior da página Sistemas de arquivos mostra a tarefa que você acabou de criar em andamento.

Para ver o status e os detalhes da tarefa, role para baixo até o painel Tarefas do repositório de dados na guia Repositório de dados do sistema de arquivos. A ordem de classificação padrão mostra a tarefa mais recente no topo da lista.

Para ver um resumo da tarefa nessa página, escolha ID da tarefa referente à tarefa que você acabou de criar. A página Resumo da tarefa é exibida.

  • Use o create-data-repository-taskCLIcomando para exportar alterações de dados e metadados em seu sistema de arquivos FSx for Lustre. A API operação correspondente é CreateDataRepositoryTask.

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type EXPORT_TO_REPOSITORY \
    --paths path1,path2/file1 \
    --report Enabled=true

    Depois de criar com sucesso a tarefa do repositório de dados, a Amazon FSx retorna a descrição da tarefa conforme mostrado no exemplo a seguir. JSON

    {
    "Task": {
        "TaskId": "task-123f8cd8e330c1321",
        "Type": "EXPORT_TO_REPOSITORY",
        "Lifecycle": "PENDING",
        "FileSystemId": "fs-0123456789abcdef0",
        "Paths": ["path1", "path2/file1"],
        "Report": {
            "Path":"s3://dataset-01/reports",
            "Format":"REPORT_CSV_20191124",
            "Enabled":true,
            "Scope":"FAILED_FILES_ONLY"
        },
        "CreationTime": "1545070680.120",
        "ClientRequestToken": "10192019-drt-12",
        "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
    }
}

Depois de criar a tarefa para exportar dados para o repositório de dados vinculado, você pode verificar o status da tarefa de exportação do repositório de dados. Para obter mais informações sobre como visualizar tarefas do repositório de dados, consulte Acesso a tarefas do repositório de dados.