Grande migração de dados com AWS Snow Family devices - AWS Snowball Edge Guia do desenvolvedor

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Grande migração de dados com AWS Snow Family devices

A migração de grandes volumes de dados de locais on-premises exige planejamento, orquestração e execução cuidadosos para garantir que os dados sejam migrados com sucesso para a AWS.

Recomendamos que você tenha uma estratégia de migração de dados em vigor antes de iniciar a migração para evitar a possibilidade de perda de prazos, excesso de orçamentos e falhas na migração. AWS Os serviços da Snow ajudam você a colocar, solicitar e rastrear seus grandes projetos de migração de dados por meio do recurso Snow Family Large Data Migration Manager (LDMM) no Console de Gerenciamento da família AWS Snow.

Os tópicos Planejando sua grande transferência com dispositivos Snow Family e Calibrando uma grande transferência com dispositivos da família Snow descrevem um processo manual de migração de dados. Você pode simplificar as etapas manuais usando o plano de LDMM migração da Snow Family.

Planejando sua grande transferência com dispositivos Snow Family

Recomendamos que você planeje e calibre transferências de grandes volumes dados entre os dispositivos AWS Snowball Edge existentes no local e os servidores usando as diretrizes nas seções a seguir.

Etapa 1: Entender o que você está migrando para a nuvem

Antes de criar seu primeiro trabalho usando o Console de Gerenciamento da família AWS Snow, certifique-se de avaliar o volume de dados que você precisa transferir, onde eles estão armazenados atualmente e o destino para o qual você deseja transferi-los. Em caso de transferências de dados que tenham um petabyte de escala ou mais, fazer essa organização administrativa torna o processo muito mais fácil quando os dispositivos da Família Snow são recebidos.

Se você estiver migrando dados Nuvem AWS para o pela primeira vez, recomendamos que você crie um modelo de migração para a nuvem. A migração para a nuvem não acontece da noite para o dia. Ela requer um processo de planejamento cuidadoso a fim de garantir que todos os sistemas funcionem conforme o esperado.

Ao terminar essa etapa, você saberá a quantidade total de dados que moverá para a nuvem.

Etapa 2: Calcular a taxa de transferência de destino

É importante estimar a rapidez com que os dados podem ser transferidos para os dispositivos da Família Snow conectados a cada servidor. Essa velocidade estimada em MB/s determina a rapidez com que é possível transferir os dados da fonte para os dispositivos Snowball Edge usando a infraestrutura de rede local.

nota

Para transferências de grandes volumes de dados, recomendamos usar o método de transferência de dados do Amazon S3. É necessário selecionar essa opção ao solicitar dispositivos no Console de Gerenciamento da família AWS Snow.

Para determinar uma taxa de transferência básica, transfira um pequeno subconjunto de dados para o dispositivo Snowball Edge ou transfira um arquivo de amostra de 10 GB e observe o throughput.

Ao determinar a velocidade de transferência de destino, lembre-se de que é possível melhorar o throughput. Para isso, ajuste o ambiente, incluindo a configuração da rede, altere a velocidade da rede, o tamanho dos arquivos que serão transferidos e a velocidade com que os dados podem ser lidos nos servidores locais. O adaptador do Amazon S3 copia dados em dispositivos da Família Snow com a rapidez pertinente às condições.

Etapa 3: Determinar quantos dispositivos da Família Snow são necessários

Usando a quantidade total de dados que você planeja mover para a nuvem, a velocidade de transferência estimada e o número de dias para os quais você deseja permitir a movimentação dos dados AWS, determine quantos dispositivos da família Snow você precisa para sua migração de dados em grande escala. Dependendo do tipo de dispositivo, os dispositivos Snowball Edge têm aproximadamente 39,5 TB ou 210 TB de espaço de armazenamento utilizável. Por exemplo, se você quiser mover 300 TB de dados para AWS mais de 10 dias e tiver uma velocidade de transferência de 250 MB/s, precisará de 2 dispositivos Snowball Edge com 210 TB de armazenamento.

nota

AWS Snow Family devices LDMMFornece um assistente para estimar o número AWS Snow Family devices que pode ser suportado simultaneamente. Para obter mais informações, consulte Criação de um grande plano de migração de dados com dispositivos da família Snow.

Etapa 4: Criar os trabalhos

Depois de saber quantos dispositivos da Família Snow são necessários, você precisa criar um trabalho de importação para cada dispositivo. A criação de vários empregos é simplificada pela família SnowLDMM. Para obter mais informações, consulte Implementar a próxima ordem de trabalho.

nota

É possível implementar a próxima ordem de trabalho e adicioná-la automaticamente ao plano diretamente pela Programação recomendada de ordenação de trabalhos. Para obter mais informações, consulte Programação recomendada de ordenação de trabalhos.

Etapa 5: Separar os dados em segmentos de transferência

Como prática recomendada para transferências de grandes volumes de dados que envolvam vários trabalhos, recomendamos separar os dados em vários conjuntos menores e mais gerenciáveis. Isso permite transferir cada partição por vez ou várias partições em paralelo. Ao planejar as partições, assegure-se de que os dados das partições combinadas correspondam à capacidade dos dispositivos da Família Snow para o trabalho. Por exemplo, é possível separar a transferência em partições de qualquer uma das seguintes formas:

  • Você pode criar 10 partições de 20 TB cada para usar com um dispositivo Snowball Edge com 210 TB de armazenamento, por exemplo.

  • Para arquivos grandes, cada um pode ser uma partição individual de até 5 TB de tamanho para objetos no Amazon S3.

  • Cada partição pode ter um tamanho diferente e o mesmo tipo de dados, por exemplo, arquivos pequenos em uma, arquivos compactados em outra, arquivos grandes em outra partição etc. Essa abordagem ajuda você a determinar a taxa de transferência média para diferentes tipos de arquivos.

nota

Operações de metadados são realizadas para cada arquivo transferido. Essa sobrecarga permanece a mesma, independentemente do tamanho de um arquivo. Portanto, é possível obter uma performance mais rápida compactando pequenos arquivos em um pacote maior, colocando os arquivos em lote ou transferindo grandes arquivos individuais.

A criação de segmentos de transferência de dados ajuda a resolver rapidamente qualquer problema na transferência, pois pode ser complexo tentar solucionar problemas em uma transferência heterogênea de grandes volumes após um dia ou mais de andamento.

Ao terminar de planejar a transferência de dados em escala de petabytes, recomendamos transferir alguns segmentos do servidor para o dispositivo da Família Snow com o objetivo de calibrar a velocidade e o tempo total de transferência.