As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Executando uma grande migração de dados com AWS DataSync
As migrações de dados em grande escala podem envolver a transferência de volumes significativos de dados que abrangem milhões de arquivos ou objetos em vários formatos. AWS DataSync simplifica essas transferências complexas gerenciando o agendamento, o monitoramento, a criptografia e a verificação de dados.
## O que é uma migração de dados de grande porte?
Uma migração de dados de grande porte geralmente envolve a transferência de terabytes ou mais de dados espalhados por várias fontes para um novo ambiente de armazenamento de destino (nesse caso, a AWS). Essas migrações exigem planejamento e coordenação cuidadosos em sua organização para mover os dados com sucesso e, ao mesmo tempo, minimizar a interrupção dos negócios.
DataSync podem simplificar essas migrações, que geralmente são de natureza complexa. Alguns benefícios do uso DataSync para sua migração incluem:
+ Gerenciamento automatizado dos processos de transferência de dados e a infraestrutura exigida para uma transferência de dados segura e de alto desempenho.
+ End-to-end segurança, incluindo criptografia e validação da integridade dos dados, para ajudar a garantir que seus dados cheguem com segurança, intactos e prontos para uso.
+ Um protocolo de rede específico e uma arquitetura paralela de vários processos para acelerar as migrações.
## Primeiros estágios de uma migração de dados de grande porte
Em geral, é possível dividir uma migração de grande porte nos seguintes estágios:
+ **(Etapa 1) Planejar a migração de dados**: nesse estágio, você tenta entender por que está migrando e com que tipo de dados está trabalhando. As atividades de planejamento incluem:
+ Entender por que você deseja migrar
+ Reunir uma equipe para ajudar em todos os aspectos da migração.
+ Identificar locais de dados, formatos e padrões de uso
+ Avaliar os recursos de hardware disponíveis e os requisitos de rede (se você estiver migrando de um data center on-premises)
+ Executando testes de prova de conceito (POC) DataSync para estimar cronogramas de migração, planejar janelas de transição e ter uma ideia de como você precisa configurar DataSync
+ **(Etapa 2) Implementar a migração de dados de grande porte**: nesse momento, você valida o plano e inicia a migração. As atividades de implementação incluem:
+ Validar o plano de migração
+ Executar substituições em fases que incluem monitoramento e verificação das transferências de dados conforme o esperado
+ Otimizar e ajustar conforme necessário entre cada substituição
+ Limpar os recursos não usados quando você terminar
## Recursos adicionais do
AWS A orientação prescritiva tem os seguintes recursos que podem ajudá-lo a planejar e implementar uma grande migração. Use este guia para entender como DataSync pode funcionar no contexto de processos e atividades comuns de migração.
+ [Grandes migrações para a nuvem AWS](https://aws.amazon.com/prescriptive-guidance/large-migrations/?large-migration-strategies.sort-by=item.additionalFields.sortText&large-migration-strategies.sort-order=desc&large-migration-playbooks.sort-by=item.additionalFields.sortText&large-migration-playbooks.sort-order=desc&large-migration-patterns.sort-by=item.additionalFields.sortText&large-migration-patterns.sort-order=desc)
+ [Estratégia e melhores práticas para AWS grandes migrações](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-large-scale-migrations/welcome.html)
+ [Migre sistemas de arquivos compartilhados em uma AWS grande migração](https://docs.aws.amazon.com/prescriptive-guidance/latest/patterns/migrate-shared-file-systems-in-an-aws-large-migration.html) — Esse recurso inclui uma pasta de trabalho do **SFS-Discovery-Workbook** que você pode baixar e usar para planejar uma migração no nível do compartilhamento de arquivos.
# Etapa 1: Planejar a migração de dados de grande porte
O planejamento é essencial ao migrar um grande conjunto de dados. Você deve entender os dados que está migrando, suas motivações para a migração e como você AWS DataSync pode ajudá-lo a colocar seus dados onde quiser.
**Topics**
+ [Coletar requisitos para a migração](gathering-migration-requirements.md)
+ [Executando uma DataSync prova de conceito](datasync-large-migration-poc.md)
+ [Como estimar as linhas do tempo da migração](datasync-large-migration-timelines.md)
# Coletar requisitos para a migração
A primeira etapa de uma migração de dados de grande porte requer a coleta de uma variedade de informações em toda a organização.
Essas informações ajudam você a criar um [processo](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-large-scale-migrations/process.html) de migração que, para migrações de grande porte, pode incluir várias transferências e procedimentos para cortar as operações (feitas em [ondas](https://docs.aws.amazon.com/prescriptive-guidance/latest/application-portfolio-assessment-guide/wave-planning.html)) do armazenamento de origem até o destino.
## Entender por que você deseja migrar
Antes de começar a migrar para AWS, você precisa entender claramente por que está migrando seus dados. Isso ajuda a enfrentar desafios comuns de migração, como cumprir prazos, gerenciar recursos e coordenar as equipes.
Se precisar de ajuda para determinar as motivações para a migração, responda a estas perguntas:
+ Você quer liberar espaço de armazenamento on-premises?
+ Você quer cumprir os prazos dos contratos de suporte de hardware?
+ Isso se destina à desativação de um data center?
+ Qual é a linha do tempo da migração?
+ Você quer transferir dados de outro armazenamento em nuvem?
+ Você quer migrar conjuntos de dados parciais ou completos?
+ Isso se destina ao arquivamento de dados?
+ As aplicações ou usuários precisam de acesso regular a esses dados?
## Como entender a logística
Aborde algumas logísticas básicas sobre o ambiente de armazenamento, a migração e a organização:
1. Obtenha uma compreensão básica da infraestrutura atual de armazenamento de dados.
1. Verifique se você precisa de um [DataSync agente](do-i-need-datasync-agent.md). Por exemplo, você precisará de um atendente se você estiver transferindo do armazenamento on-premises.
1. Se você precisar de um atendente, certifique-se de entender os [requisitos do atendente](agent-requirements.md):
+ Um atendente pode executar como uma máquina virtual (VM) no VMware ESXi, em uma máquina virtual baseada em kernel (KVM) do Linux ou em hipervisor Microsoft Hyper-V. Você também pode implantar um atendente como uma instância do Amazon EC2 dentro da AWS.
+ As migrações de grande porte costumam consumir muita memória. Certifique-se de que o atendente tenha RAM suficiente.
1. Identifique as principais partes interessadas dos departamentos de liderança, rede, armazenamento e TI que precisam estar envolvidas na migração. Elas podem incluir:
+ Encontre um(a) [líder que se](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-large-scale-migrations/people.html) dedique ao projeto e aos resultados.
+ Identifique quem é responsável pela propriedade e classificação dos dados que você está migrando.
+ Identifique quem gerencia sua fonte e quem eventualmente gerenciará o serviço AWS de armazenamento para o qual você está migrando.
+ Descubra quem criará e gerenciará quaisquer outros processos para seus dados depois que eles entrarem AWS.
1. Estabeleça canais de comunicação entre departamentos.
1. Crie um plano de reversão para contingências.
1. Documente o processo completo de migração, incluindo ondas, validação e procedimentos de substituição. Use isso como um runbook para toda a migração. Você atualizará esse processo ao planejar e implementar a migração.
## Como analisar os dados que você está migrando
Trabalhe com as equipes de armazenamento e aplicações para analisar as características dos dados que você está migrando. Essas informações ajudam a determinar uma estratégia de migração com a qual você pode executar DataSync.
**Contents**
+ [Como definir os padrões de uso de dados](#review-migration-data-usage)
+ [Como identificar a estrutura e o layout dos dados](#review-migration-data-structure)
+ [Como documentar compartilhamentos e pastas](#review-migration-data-document-shares)
+ [Como analisar os tamanhos dos arquivos](#review-migration-data-file-sizes)
### Como definir os padrões de uso de dados
+ Em relação a dados usados ativamente com modificações frequentes, planeje várias ondas de transferências incrementais para evitar a interrupção das operações comerciais.
+ Para dados somente para leitura que podem ser considerados arquivados, talvez você não precise planejar ondas.
+ Se você tiver uma combinação de padrões de uso de dados, planeje ondas que migrem esses diferentes conjuntos de dados separadamente. Por exemplo, você pode ter uma onda para arquivar dados, com as ondas restantes dedicadas à migração de dados ativos.
### Como identificar a estrutura e o layout dos dados
+ Determine se os dados estão organizados por períodos (ano, mês, dia) ou outros padrões.
+ Use essa estrutura organizacional para planejar as ondas de migração. Por exemplo, você pode migrar o equivalente a um ano de dados arquivados durante uma onda.
### Como documentar compartilhamentos e pastas
+ Crie um inventário de compartilhamentos e pastas (incluindo contagens de arquivos ou objetos para cada um).
+ Identifique compartilhamentos e pastas com conjuntos de dados ativos. Isso pode exigir transferências incrementais durante a migração.
+ Revise as [DataSync cotas](datasync-limits.md). Isso pode ajudar você a planejar como particionar seu conjunto de dados durante a configuração DataSync.
### Como analisar os tamanhos dos arquivos
+ Espere um throughput de dados maior para transferências com arquivos maiores (MB ou GB) em comparação com arquivos menores (KB).
+ Se você estiver trabalhando com muitos arquivos menores, espere mais operações de metadados em seu sistema de armazenamento e menor taxa de transferência de dados. DataSyncexecuta essas operações ao comparar e verificar seus locais de origem e destino.
## Como identificar os requisitos de armazenamento
Para escolher um serviço AWS de armazenamento compatível para migrar seus dados, você precisa avaliar as características e o desempenho do sistema de armazenamento de origem.
Essas informações também podem ajudar a [programar as transferências](task-scheduling.md) para minimizar o impacto nas operações comerciais durante a migração.
**Contents**
+ [Como determinar o suporte ao armazenamento de origem](#determine-storage-requirements-protocols)
+ [Como analisar os requisitos de preservação de metadados](#determine-storage-requirements-metadata)
+ [Como coletar métricas de desempenho do armazenamento de origem](#determine-storage-requirements-performance)
+ [Escolhendo um serviço AWS de armazenamento de destino](#determine-storage-requirements-destination)
### Como determinar o suporte ao armazenamento de origem
DataSync pode trabalhar com uma variedade de sistemas de armazenamento que permitem acesso por meio de clientes de armazenamento de objetos compatíveis com NFS, SMB, HDFS e S3.
Se você estiver migrando de outro armazenamento em nuvem, verifique se ele DataSync funciona com esse provedor. Para ver uma lista dos locais de fonte suportados, consulte [Para onde posso transferir meus dados AWS DataSync?](working-with-locations.md).
### Como analisar os requisitos de preservação de metadados
DataSync pode preservar seus metadados de arquivo ou objeto durante uma transferência. A forma como os metadados são preservados depende dos locais de transferência e se esses locais usam tipos semelhantes de metadados.
DataSync em alguns casos, precisa de permissões adicionais para preservar os metadados do arquivo, como listas de acesso discricionário do NTFS (). DACLs
Para obter mais informações, consulte [Entendendo como DataSync manipula metadados de arquivos e objetos](metadata-copied.md).
### Como coletar métricas de desempenho do armazenamento de origem
Meça o IOPS básico e o throughput do disco durante workloads médias e de pico para o armazenamento de origem. A transferência de dados adiciona I/O sobrecarga aos sistemas de armazenamento de origem e de destino.
Compare esses dados de desempenho com as especificações do sistema de armazenamento para determinar os recursos de desempenho disponíveis.
### Escolhendo um serviço AWS de armazenamento de destino
Nesse ponto, você pode ter uma ideia de qual serviço AWS de armazenamento faz sentido para seus dados. Caso contrário, os padrões de uso de dados e o desempenho do armazenamento são algumas áreas a serem consideradas ao decidir. Por exemplo, você pode considerar o Amazon S3 se tiver dados de arquivamento e o Amazon ou o FSx Amazon EFS para dados ativos.
Para ajudá-lo a decidir o armazenamento baseado em objetos ou arquivos certo para seus dados, consulte [Escolha de um serviço AWS de armazenamento](https://docs.aws.amazon.com/decision-guides/latest/storage-on-aws-how-to-choose/choosing-aws-storage-service.html).
## Como determinar os requisitos de rede
Para migrar seus dados com DataSync, você deve estabelecer conexões de rede entre o armazenamento de origem, o agente e. AWS Você também precisa planejar a largura de banda e a infraestrutura de rede suficientes.
Trabalhe com engenheiros de rede e administradores de armazenamento para reunir os seguintes requisitos de rede.
**Contents**
+ [Como avaliar a largura de banda da rede disponível](#datasync-migration-network-bandwidth)
+ [Considerando as opções para conectar sua rede a AWS](#datasync-migration-network-connection-options)
+ [Como escolher um endpoint de serviço para a comunicação do atendente](#datasync-migration-network-service-endpoint)
+ [Como planejar uma infraestrutura de rede suficiente](#datasync-migration-network-interfaces)
### Como avaliar a largura de banda da rede disponível
A largura de banda da rede disponível influencia as velocidades de transferência e o tempo geral de migração. Se você estiver transferindo de um sistema de armazenamento on-premises, faça o seguinte:
+ Trabalhe com a equipe de rede para determinar a utilização média e máxima da largura de banda.
+ Identifique as janelas em que você pode transferir dados e evite interromper as operações diárias. Isso informará quando as ondas de migração e substituições acontecem.
Você pode controlar a quantidade de largura de banda DataSync usada. Para obter mais informações, consulte [Definindo limites de largura de banda para sua tarefa AWS DataSync](configure-bandwidth.md).
Como as transferências de outro armazenamento em nuvem geralmente acontecem pela Internet pública, geralmente há menos restrições e considerações de largura de banda com essas transferências.
### Considerando as opções para conectar sua rede a AWS
Considere as seguintes opções para estabelecer a conectividade de rede para sua DataSync transferência:
+ **Direct Connect**- Analise os [exemplos de arquitetura e roteamento](direct-connect-architecture.md) para usar o Direct Connect with DataSync. Você pode monitorar a atividade do Direct Connect usando a [Amazon CloudWatch](https://docs.aws.amazon.com/directconnect/latest/UserGuide/monitoring-cloudwatch.html).
+ **VPN**: [AWS Site-to-Site VPN](https://docs.aws.amazon.com/vpn/latest/s2svpn/VPC_VPN.html) oferece throughput de até 1,25 Gbps por túnel.
+ **Internet pública**: entre em contato com o provedor de serviços de Internet para obter os dados de uso da rede.
### Como escolher um endpoint de serviço para a comunicação do atendente
DataSync os agentes usam [endpoints de serviço](choose-service-endpoint.md) para se comunicarem com o DataSync serviço. O tipo de endpoint que você usa depende de como você se conectá à rede da AWS.
### Como planejar uma infraestrutura de rede suficiente
Para cada tarefa de transferência que você cria, gera e gerencia DataSync automaticamente a infraestrutura de rede para suas transferências de dados. Essa infraestrutura é conhecida como interfaces de *rede ou interfaces* de *rede elásticas*, que são componentes lógicos de rede em uma nuvem privada virtual (VPC) da Amazon que representam placas de rede virtuais. Para obter mais informações, consulte o [https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-eni.html](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-eni.html).
Cada interface de rede usa um único endereço IP na sub-rede VPC de destino. Para garantir que você tenha infraestrutura de rede suficiente para a migração, faça o seguinte:
+ Observe o número de [interfaces de rede](required-network-interfaces.md) que DataSync serão criadas para seu local de DataSync destino.
+ Certifique-se de que sua sub-rede tenha endereços IP suficientes para suas DataSync tarefas. Por exemplo, uma tarefa que usa um atendente requer quatro endereços IP. Se você criar quatro tarefas para a migração, isso significa que você precisa de 16 endereços IP disponíveis na sub-rede.
# Executando uma DataSync prova de conceito
Executar uma prova de conceito (POC) AWS DataSync ajuda você a validar os seguintes aspectos do seu planejamento de migração de dados:
+ Verifique a conectividade de rede entre os locais de origem e de destino.
+ Valide sua configuração inicial de DataSync tarefas.
+ Meça o desempenho da transferência de dados.
+ Estime as linhas do tempo da migração.
+ Defina critérios de sucesso com as principais partes interessadas que trabalham na migração.
## Como começar com a prova de conceito
1. Crie seu DataSync agente:
1. [Implante o atendente](deploy-agents.md).
1. [Escolha um endpoint de serviço](choose-service-endpoint.md) para o atendente.
1. [Ative o agente](activate-agent.md).
1. [Verifique as conexões de rede do atendente](test-agent-connections.md).
1. Selecione um pequeno subconjunto de dados que represente os dados que você está migrando.
Por exemplo, se o armazenamento de origem tiver uma mistura de arquivos grandes e pequenos, o subconjunto de dados que você transfere na POC deve refletir isso. Isso fornece uma compreensão preliminar do desempenho dos sistemas de armazenamento, de sua rede DataSync e.
1. Crie um local DataSync de origem para seu sistema de armazenamento [local](transferring-on-premises-storage.md) ou [outro sistema de armazenamento em nuvem](transferring-other-cloud-storage.md).
1. Crie um local de DataSync destino para seu [serviço AWS de armazenamento](transferring-aws-storage.md).
1. [Crie uma tarefa DataSync de transferência](create-task-how-to.md) com um [filtro](filtering.md) que transfere somente seu subconjunto de dados.
1. [Comece sua DataSync tarefa](run-task.md).
1. Colete métricas de desempenho de transferência monitorando o seguinte:
+ O throughput de dados e arquivos da execução da tarefa. Você pode fazer isso por meio do DataSync console ou da [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html)operação. Se você usar `DescribeTaskExecution`, veja como calcular essas métricas:
+ **Throughput de dados**: divida `BytesWritten` por `TransferDuration`
+ **Throughput de arquivo**: divida `FilesTransferred` por `TransferDuration`
+ Utilização do armazenamento de origem e destino. Trabalhe em estreita colaboração com administradores de armazenamento para obter essas informações.
+ Uso da rede.
1. Verifique os dados transferidos no local de destino:
+ Analise seus CloudWatch registros em busca de erros de execução de tarefas.
+ Verifique se as permissões e os metadados estão preservados no local de destino.
+ Confirme se as aplicações e usuários podem acessar os dados de destino conforme o esperado.
+ Resolva todos os problemas que você encontrar. Para obter mais informações, consulte [Solução de AWS DataSync problemas](troubleshooting-datasync.md).
1. Execute sua tarefa mais algumas vezes para ter uma ideia de quanto tempo é necessário DataSync para preparar, transferir e verificar seus dados. (Para ter mais informações, consulte [Status de execução de tarefa](run-task.md#understand-task-execution-statuses).)
Se você executar uma tarefa mais de uma vez, DataSync por padrão, executa uma transferência incremental e copia somente os dados que foram alterados em relação à execução anterior da tarefa.
Embora o tempo de transferência provavelmente seja menor para transferências incrementais, sempre DataSync preparará sua transferência da mesma forma, examinando e comparando seus locais para identificar o que transferir. Você pode usar esses tempos de preparação para [estimar as linhas do tempo de substituição](datasync-large-migration-timelines.md#datasync-large-migration-cutover-timelines) para a migração.
1. Se necessário, atualize o plano de migração com base no que você aprendeu durante o POC.
# Como estimar as linhas do tempo da migração
Usando as informações coletadas até agora, você pode estimar quanto tempo a migração levará usando o AWS DataSync.
## Como estimar as linhas do tempo de transferência de dados
Você pode estimar quanto tempo leva DataSync para transferir seus dados com base nas seguintes informações coletadas durante a coleta dos requisitos de migração e na sua DataSync prova de conceito (POC):
+ A largura de banda da rede [disponível](gathering-migration-requirements.md#datasync-migration-network-bandwidth)
+ Métricas de utilização de armazenamento de origem e destino
+ Métricas de desempenho do seu [DataSync POC](datasync-large-migration-poc.md)
**Para estimar uma linha do tempo de transferência de dados**
1. Compare o throughput de dados e arquivos do POC com a largura de banda da rede disponível.
1. Se sua taxa de transferência for menor que a largura de banda disponível (como 300 MiB/s para taxa de transferência com 10 Gbps de largura de banda de rede), considere particionar seu conjunto de dados em várias tarefas para maximizar o uso da largura de banda.
DataSync tem algumas opções para particionar seu conjunto de dados. Para obter mais informações, consulte [Como acelerar a migração com o particionamento de dados](datasync-large-migration-data-partitioning.md).
1. Calcule quantos dias uma transferência leva, usando a seguinte fórmula que fornece um tempo mínimo teórico de transferência:
```
(DATA_SIZE * 8 bits per byte)/(CIRCUIT * NETWORK_UTILIZATION percentage * 3600 seconds per hour * AVAILABLE_HOURS) = Number of days
```
Ao usar essa fórmula, substitua o seguinte pelos próprios valores:
+ `DATA_SIZE`: a quantidade de dados que você está migrando (expressa em bytes).
+ `CIRCUIT`: a largura de banda da rede disponível (expressa em bits por segundo).
+ `NETWORK_UTILIZATION`: qual porcentagem da sua rede está sendo usada.
+ `AVAILABLE_HOURS`: o número de horas operacionais disponíveis em cada dia.
Por exemplo, você calcularia uma migração com 100 TB de dados, conexão de internet de 1 Gbps, 80% de utilização da rede e disponibilidade de 24 horas por dia da seguinte forma:
`(100,000,000,000,000 bytes * 8) / (1,000,000,000 bps * 0.80 * 3600 * 24) = 11.57 days`
Nesse caso, a migração levaria quase 12 dias, antes de considerar as condições reais de operação.
1. Ajuste a duração calculada da transferência de acordo com as condições reais de operação:
+ Flutuações no desempenho da rede
+ Variações de desempenho do armazenamento
+ Tempo de inatividade entre as ondas de migração
## Como estimar as linhas do tempo de substituição
Se você estiver migrando conjuntos de dados ativos, provavelmente precisará de substituições para não interromper as operações comerciais.
Não subestime quanto tempo as substituições demoram. Nas migrações de grande porte, não é incomum que as atividades de substituição ocupem até 30% do tempo total de migração.
1. Avalie se você precisa realizar substituições em ondas para reduzir a quantidade de dados verificados em busca de alterações incrementais.
Uma estratégia para fazer isso é substituir os conjuntos de dados que você particiona com base em compartilhamentos, pastas ou sistemas de armazenamento.
1. Analise quanto tempo geralmente é necessário DataSync para preparar, transferir e verificar seus dados durante o POC.
Observe, em particular, as durações da preparação das execuções das tarefas. Para encontrar essas informações, execute a [DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html)operação e verifique o valor do tempo [PrepareDuration](https://docs.aws.amazon.com/datasync/latest/userguide/API_TaskExecutionResultDetail.html#DataSync-Type-TaskExecutionResultDetail-PrepareDuration)de duração (em milissegundos).
1. Estime quanto tempo uma substituição pode levar medindo o delta de tempo em tarefas paralelas.
Para obter mais informações sobre tarefas paralelas, consulte [Como acelerar a migração com o particionamento de dados](datasync-large-migration-data-partitioning.md).
1. Use a estimativa de substituição para programar substituições. Basicamente, essas são janelas de manutenção em que os dados de origem não podem ser modificados.
## Próximas etapas
Depois de estimar as linhas do tempo, está tudo pronto para começar a implementar a migração.
# Etapa 2: implementar a migração de dados de grande porte
Com as informações coletadas durante o planejamento, você pode começar a usar AWS DataSync para migrar para seu novo sistema de armazenamento. Se você ainda não o fez, recomendamos revisar os [AWS recursos da Orientação prescritiva para migrações de grande porte](datasync-large-migration.md#review-migration-data-resources).
**Topics**
+ [Como acelerar a migração com o particionamento de dados](datasync-large-migration-data-partitioning.md)
+ [Executando suas tarefas DataSync de transferência](datasync-large-migration-running-tasks.md)
+ [Como monitorar as transferências](datasync-large-migration-monitoring.md)
# Como acelerar a migração com o particionamento de dados
Com uma grande migração, recomendamos particionar seu conjunto de dados com várias tarefas. DataSync Particionar os dados de origem em várias tarefas (e possivelmente em atendentes) permite paralelizar as transferências e reduzir a linha do tempo da migração.
O particionamento também ajuda você a permanecer dentro das DataSync [cotas](datasync-limits.md) e simplifica o monitoramento e a depuração de suas tarefas.
O diagrama a seguir mostra como você pode usar várias DataSync tarefas e agentes para transferir dados do mesmo local de armazenamento de origem. Nesse cenário, cada tarefa se concentra em uma pasta específica no local de origem. Para obter mais informações e exemplos sobre essas abordagens, consulte [Como acelerar suas transferências de dados com arquiteturas de AWS DataSync expansão](https://aws.amazon.com/blogs/storage/how-to-accelerate-your-data-transfers-with-aws-datasync-scale-out-architectures/) horizontal.
![\[Um diagrama que mostra uma abordagem DataSync para particionar seus dados de origem para ajudar a acelerar uma grande migração.\]](http://docs.aws.amazon.com/pt_br/datasync/latest/userguide/images/datasync-partition-by-folder.png)
## Como particionar o conjunto de dados por pasta ou prefixo
Ao criar seu local de DataSync origem, você pode especificar uma pasta, diretório ou prefixo que seja DataSync lido. Por exemplo, se você estiver migrando um compartilhamento de arquivos com diretórios de nível superior, poderá criar vários locais que especificam um caminho de diretório diferente. Em seguida, você pode usar esses locais para executar várias DataSync tarefas durante a migração.
## Como particionar o conjunto de dados com filtros
Você pode aplicar [filtros](filtering.md) para incluir ou excluir dados do local de origem em uma transferência No contexto de uma migração de grande porte, os filtros podem ajudar você a definir o escopo das tarefas para partes específicas do conjunto de dados.
Por exemplo, se você estiver migrando dados de arquivamento organizados por ano, poderá criar um filtro de inclusão que corresponda a um ano específico ou a vários anos. Você também pode modificar o filtro sempre que executar a tarefa para corresponder a um ano diferente.
## Como particionar o conjunto de dados com manifestos
Um [manifesto](transferring-with-manifest.md) é uma lista de arquivos ou objetos que você DataSync deseja transferir. Com um manifesto, DataSync não é necessário ler tudo em um local de origem para determinar o que transferir.
Você pode criar manifestos a partir de inventários de seu armazenamento de origem ou por meio de abordagens orientadas por eventos (por exemplo, consulte [Implementação AWS DataSync com centenas de milhões de objetos](https://aws.amazon.com/blogs/storage/implementing-aws-datasync-with-hundreds-of-millions-of-objects/)). Você também pode usar um manifesto diferente cada vez que iniciar uma tarefa, permitindo transferir diferentes conjuntos de dados com a mesma tarefa.
# Executando suas tarefas DataSync de transferência
Durante cada uma das ondas de migração, a transferência de dados geralmente segue o mesmo processo geral:
1. Execute uma transferência inicial completa dos dados.
1. Verifique os dados no destino.
1. Execute transferências incrementais para quaisquer dados que possam ter sido alterados desde a transferência inicial.
1. Substitua as operações para o local de destino.
1. Analise os resultados da substituição.
## Como executar as tarefas
Provavelmente, você precisará executar suas tarefas de DataSync transferência durante o horário comercial para minimizar o tempo geral de migração. É comum nessas situações executar uma transferência inicial completa seguida por transferências incrementais que contabilizam as alterações feitas por usuários e aplicações no local de origem.
Para evitar problemas relacionados à rede durante o horário comercial, você pode limitar a quantidade de largura de banda que as tarefas utilizam. Para obter mais informações, consulte [Definindo limites de largura de banda para sua tarefa AWS DataSync](configure-bandwidth.md).
1. Execute uma transferência inicial completa:
1. [Inicie sua DataSync tarefa](run-task.md) (ou tarefas se você estiver executando tarefas em paralelo).
1. Monitore o progresso e o desempenho das execuções de tarefas.
1. Verifique se os dados foram transferidos da maneira esperada (por exemplo, os metadados do arquivo foram preservados).
1. Execute transferências incrementais
1. [Programe as tarefas](task-scheduling.md) para serem executadas periodicamente.
1. Monitore as execuções de tarefas e corrija erros, se encontrados.
## Como executar uma substituição
Após as transferências iniciais e incrementais, você pode iniciar o processo de transferir as operações para o local de destino.
1. Inicie a janela de manutenção programada.
1. Atualize o sistema de armazenamento de origem para que seja lido somente por aplicações e usuários.
1. Execute transferências incrementais finais para copiar os deltas restantes entre os locais de origem e de destino.
1. Conduza uma validação completa dos dados (por exemplo, revisando CloudWatch registros e [relatórios de tarefas](task-reports.md)).
1. Mude as aplicações e usuários para o novo ambiente do local de destino.
1. Teste a funcionalidade da aplicação e certifique-se de que os usuários possam acessar os dados no local de destino.
1. Agende uma reunião retrospectiva para analisar a transferência com as equipes de migração. Faça as seguintes perguntas de sondagem, por exemplo:
+ A substituição foi bem-sucedida? Se não, qual foi o problema?
+ Usamos toda a largura de banda disponível?
+ O armazenamento de origem e de destino foi totalmente utilizado?
+ Podemos obter mais throughput de dados com tarefas adicionais?
+ Precisamos planejar uma janela de manutenção mais longa?
1. Se necessário, atualize o plano de migração antes de iniciar a próxima onda.
# Como monitorar as transferências
AWS DataSync fornece várias opções de monitoramento para ajudá-lo a validar e depurar sua transferência.
## Monitorando suas transferências com CloudWatch métricas
Você pode criar CloudWatch painéis personalizados com métricas de suas execuções de DataSync tarefas. Para obter mais informações, consulte [Como monitorar transferências de dados com métricas do Amazon CloudWatch](monitor-datasync.md).
## Monitorando suas transferências com relatórios de tarefa
Se você estiver transferindo milhões de arquivos ou objetos, considere usar relatórios de tarefas. Os relatórios de tarefas fornecem informações detalhadas sobre quais DataSync tentativas transferir, ignorar, verificar e excluir durante a execução de uma tarefa. Para obter mais informações, consulte [Como monitorar as transferências de dados com relatórios de tarefas](task-reports.md).
Você também pode visualizar seus relatórios de tarefas usando AWS serviços como AWS Glue Amazon Athena e Amazon Quick. Para obter mais informações, consulte o [Blog de armazenamento da AWS](https://aws.amazon.com/blogs/storage/derive-insights-from-aws-datasync-task-reports-using-aws-glue-amazon-athena-and-amazon-quicksight/).
## Monitorando suas transferências com o CloudWatch Logs
No mínimo, recomendamos que você configure a tarefa para registrar informações básicas e erros de transferência. Para obter mais informações, consulte [Monitoramento de transferências de dados com o Amazon CloudWatch Logs](configure-logging.md).