Monitorando suas transferências de dados com relatórios de tarefas - AWS DataSync

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitorando suas transferências de dados com relatórios de tarefas

Os relatórios de tarefas fornecem informações detalhadas sobre quais AWS DataSync tentativas transferir, ignorar, verificar e excluir durante a execução de uma tarefa. Para obter mais informações, consulte Como DataSync transfere arquivos, objetos e diretórios.

Os relatórios de tarefa são gerados em formato JSON. Você pode personalizar o nível de detalhes dos relatórios:

  • Os relatórios de tarefas somente resumidos fornecem os detalhes necessários sobre a execução da tarefa, como quantos arquivos foram transferidos e se DataSync foi possível verificar a integridade dos dados desses arquivos.

  • Os relatórios de tarefas padrão incluem um resumo e relatórios detalhados que listam cada arquivo, objeto ou pasta que DataSync tenta transferir, ignorar, verificar e excluir. Com um relatório de tarefa padrão, você também pode especificar o nível do relatório para mostrar somente os erros da execução da tarefa ou seus sucessos e erros.

Casos de uso

Aqui estão algumas situações em que relatórios de tarefa podem ajudar você a monitorar e auditar as transferências de dados:

  • Ao migrar milhões de arquivos, identifique rapidamente os arquivos DataSync com problemas de transferência.

  • Verifique chain-of-custody os processos dos seus arquivos.

Relatórios de tarefas somente resumidos

Um relatório que é apenas um resumo da execução de uma tarefa inclui os seguintes detalhes:

  • O Conta da AWS que executou a execução da tarefa

  • Os locais de origem e de destino

  • O número total de arquivos, objetos e pastas que foram ignorados, transferidos, verificados e excluídos

  • O total de bytes (lógicos e físicos) que foram transferidos

  • Se a execução da tarefa foi concluída, cancelada ou encontrou algum erro

  • Os horários de início e término (incluindo o tempo total da transferência)

  • As configurações da tarefa (como limites de largura de banda, verificação da integridade dos dados e outras opções para sua DataSync transferência)

Relatórios de tarefas padrão

Um relatório de tarefas padrão inclui um resumo da execução da tarefa, além de relatórios detalhados sobre quais DataSync tentativas transferir, ignorar, verificar e excluir.

Nível do relatório

Com os relatórios de tarefas padrão, você pode escolher um dos seguintes níveis de relatório:

  • Somente erros

  • Sucessos e erros (essencialmente uma lista de tudo o que aconteceu durante a execução da tarefa)

Por exemplo, talvez você queira ver quais arquivos DataSync foram ignorados com sucesso durante a transferência e quais não foram. Os arquivos que DataSync foram ignorados com sucesso podem ser aqueles que você deseja DataSync excluir propositalmente porque eles já existem no seu local de destino. No entanto, um erro ignorado, por exemplo, pode indicar que DataSync ele não tem as permissões corretas para ler um arquivo.

Relatórios de transferidos

Uma lista de arquivos, objetos e diretórios que DataSync tentaram ser transferidos durante a execução da tarefa. Um relatório de transferidos inclui os seguintes detalhes:

  • Os caminhos para os dados transferidos

  • O que foi transferido (conteúdo, metadados ou ambos)

  • Os metadados, que incluem o tipo de dados, o tamanho do conteúdo (somente objetos e arquivos) e muito mais

  • A hora em que um item foi transferido

  • A versão do objeto (se o destino for um bucket do Amazon S3 com versionamento habilitado)

  • Se algo foi sobrescrito no destino

  • Se um item foi transferido com sucesso

nota

Ao mover dados entre buckets do S3, o prefixo que você especifica no seu local de origem pode aparecer no seu relatório (ou nos CloudWatch registros da Amazon), mesmo que esse prefixo não exista como um objeto no seu local de destino. (No DataSync console, você também pode notar que esse prefixo aparece como dados ignorados ou verificados.)

Relatórios de ignorados

Uma lista de arquivos, objetos e diretórios DataSync encontrados no local de origem, mas que não tentaram transferir. Os motivos pelos quais DataSync os dados são ignorados podem depender de vários fatores, como a forma como você configura suas tarefas e as permissões do sistema de armazenamento. Veja alguns exemplos:

  • Existe um arquivo nos locais de origem e de destino. O arquivo na origem não foi modificado desde a execução anterior da tarefa. Como você está transferindo apenas dados que foram alterados, DataSync não transfere esse arquivo na próxima vez que executar sua tarefa.

  • Um objeto que existe em ambas as suas localizações muda em sua fonte. Ao executar sua tarefa, DataSync ignora esse objeto em seu destino porque sua tarefa não sobrescreve os dados no destino.

  • DataSync ignora um objeto em sua fonte que está usando uma classe de armazenamento de arquivamento e não é restaurado. Você deve restaurar um objeto arquivado DataSync para poder lê-lo.

  • DataSync ignora um arquivo, objeto ou diretório em seu local de origem porque não consegue lê-lo. Se isso acontecer e não for esperado, verifique as permissões de acesso do seu armazenamento e certifique-se de que ele DataSync possa ler o que foi ignorado.

Um relatório de ignorados inclui os seguintes detalhes:

  • Os caminhos para dados ignorados

  • A hora em que um item foi ignorado

  • O motivo pelo qual foi ignorado

  • Se um item foi ignorado com sucesso

nota

Os relatórios de ignorados podem ser grandes quando incluem sucessos e erros, você configura a tarefa para transferir apenas os dados que foram alterados e os dados de origem já existem no destino.

Relatórios verificados

Uma lista de arquivos, objetos e diretórios que DataSync tentaram verificar a integridade durante a execução da tarefa. Um de verificados inclui os seguintes detalhes:

  • Os caminhos para dados verificados

  • A hora em que um item foi verificado

  • O motivo da falha na verificação (se for o caso)

  • As SHA256 somas de verificação de origem e destino (somente arquivos)

  • Se um item foi verificado com sucesso

Observe o seguinte sobre os relatórios verificados:

  • Quando você configura sua tarefa para verificar somente os dados transferidos, DataSync não verifica diretórios em algumas situações nem arquivos ou objetos que falham na transferência. Em ambos os casos, DataSync não inclui dados não verificados neste relatório.

  • Se você estiver usando o modo Avançado, a verificação poderá demorar mais do que o normal se você estiver transferindo objetos grandes.

Relatório de excluídos

Uma lista de arquivos, diretórios e objetos que foram excluídos durante a execução da tarefa. DataSync gera esse relatório somente se você configurar sua tarefa para excluir dados no local de destino que não esteja na origem. Um relatório de dados excluídos inclui os seguintes detalhes:

  • Os caminhos para dados excluídos

  • Se um item foi excluído com sucesso

  • A hora em que um item foi excluído

Exemplos de relatórios de tarefa

Você define o nível de detalhe em seu relatório de tarefas. Aqui estão alguns exemplos de relatórios de dados transferidos com a seguinte configuração:

  • Tipo de relatório: padrão

  • Nível do relatório: sucessos e erros

nota

Os relatórios usam o padrão ISO-8601 para o formato de carimbo de data/hora. Os horários estão em UTC e medidos em nanossegundos. Esse comportamento difere de como algumas outras métricas do relatório de tarefas são medidas. Por exemplo, detalhes da execução da tarefa, como TransferDuration e VerifyDuration, são medidos em milissegundos.

Os relatórios de tarefas do modo aprimorado usam um esquema um pouco diferente dos relatórios de tarefas do modo Básico. Os exemplos a seguir podem ajudá-lo a saber o que esperar dos seus relatórios, dependendo do modo de tarefa usado.

Exemplo de relatórios de dados transferidos com status de sucesso

Os relatórios a seguir mostram transferências bem-sucedidas para um objeto chamadoobject1.txt.

Enhanced mode
{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "object1.txt", "SourceMetadata": { "Type": "Object", "ContentSize": 6, "LastModified": "2024-10-04T14:40:55Z", "SystemMetadata": { "ContentType": "binary/octet-stream", "ETag": "\"9b2d7e1f8054c3a2041905d0378e6f14\"", "ServerSideEncryption": "AES256" }, "UserMetadata": {}, "Tags": [] }, "Overwrite": "False", "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP", "TransferTimestamp": "2024-10-04T14:48:39.748862183Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "SUCCESS" }] }
Basic mode
{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "/object1.txt", "SrcMetadata": { "Type": "Regular", "ContentSize": 6, "Mtime": "2022-01-07T16:59:26.136114671Z", "Atime": "2022-01-07T16:59:26.136114671Z", "Uid": 0, "Gid": 0, "Mode": "0644" }, "Overwrite": "False", "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP", "TransferTimestamp": "2022-01-07T16:59:45.747270957Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "SUCCESS" }] }
Exemplo de relatórios de dados transferidos com status de erro

Os relatórios a seguir fornecem exemplos de quando não é DataSync possível transferir um objeto chamadoobject1.txt.

Enhanced mode

Esse relatório mostra que não DataSync consigo acessar um objeto chamado object1.txt devido a um problema de AWS KMS permissões. (Se receber um erro como esse, consulte Acessar buckets do S3 usando criptografia no lado do servidor.)

{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "object1.txt", "SourceMetadata": { "Type": "Object", "ContentSize": 6, "LastModified": "2022-10-07T20:48:32Z", "SystemMetadata": { "ContentType": "binary/octet-stream", "ETag": "\"3a7c0b2f1d9e5c4a6f8b2e0d1c9f7a3b2\"", "ServerSideEncryption": "AES256" }, "UserMetadata": {}, "Tags": [] }, "Overwrite": "False", "TransferTimestamp": "2022-10-09T16:05:11.134040717Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "FAILED", "ErrorCode": "AccessDenied", "ErrorDetail": "User: arn:aws:sts::111222333444:assumed-role/AWSDataSyncS3Bucket/AwsSync-loc-0b3017fc4ba4a2d8d is not authorized to perform: kms:GenerateDataKey on resource: arn:aws:kms:us-east-1:111222333444:key/1111aaaa-22bb-33cc-44d-5555eeee6666 because no identity-based policy allows the kms:GenerateDataKey action" }] }
Basic mode

Esse relatório mostra que um objeto denominado object1.txt não foi transferido devido a um problema de permissões do bucket do S3. (Se receber um erro como esse, consulte Fornecendo DataSync acesso aos buckets do S3.)

{ "TaskExecutionId": "exec-abcdefgh12345678", "Transferred": [{ "RelativePath": "/object1.txt", "SrcMetadata": { "Type": "Regular", "ContentSize": 6, "Mtime": "2022-01-07T16:59:26.136114671Z", "Atime": "2022-01-07T16:59:26.136114671Z", "Uid": 0, "Gid": 0, "Mode": "0644" }, "Overwrite": "False", "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP", "TransferTimestamp": "2022-01-07T16:59:45.747270957Z", "TransferType": "CONTENT_AND_METADATA", "TransferStatus": "FAILED", "FailureReason": "S3 Get Object Failed", "FailureCode": 40974 }] }

Limitações

  • Os relatórios de tarefas individuais não podem exceder 5 MB. Se você estiver copiando um grande número de arquivos, seu relatório de tarefas poderá ser dividido em vários relatórios.

  • Há situações em que criar relatórios de tarefa pode afetar a performance da transferência de dados. Por exemplo, isso pode ser percebido quando a conexão de rede tem alta latência e os arquivos sendo transferidos são pequenos ou você só está copiando alterações de metadados.