Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Migrazione di dati di grandi dimensioni con AWS Snow Family devices
La migrazione di grandi quantità di dati da sedi locali richiede un'attenta pianificazione, orchestrazione ed esecuzione per garantire che la migrazione dei dati venga eseguita correttamente verso. AWS
Ti consigliamo di adottare una strategia di migrazione dei dati prima di iniziare la migrazione per evitare il rischio di mancato rispetto delle scadenze, superamento del budget e errori di migrazione. AWS I servizi Snow ti aiutano a posizionare, ordinare e tenere traccia dei tuoi grandi progetti di migrazione dei dati tramite la funzione Snow Family Large Data Migration Manager (LDMM) di. Console di gestione della famiglia di servizi AWS Snow
Gli argomenti Calibrazione di un trasferimento di grandi dimensioni descrivono Pianificazione di un trasferimento di grandi dimensioni e descrivono un processo di migrazione manuale dei dati. È possibile semplificare i passaggi manuali utilizzando il piano di migrazione LDMM Snow Family.
Argomenti
Pianificazione di un trasferimento di grandi dimensioni
Ti consigliamo di pianificare e calibrare trasferimenti di dati di grandi dimensioni tra i AWS Snowball Edge dispositivi presenti in loco e i server utilizzando le linee guida riportate nelle sezioni seguenti.
Argomenti
Fase 1: Comprendi cosa stai trasferendo sul cloud
Prima di creare il primo lavoro utilizzando il Console di gestione della famiglia di servizi AWS Snow, assicurati di valutare il volume di dati che devi trasferire, dove sono attualmente archiviati e la destinazione verso cui desideri trasferirli. Per i trasferimenti di dati di dimensioni pari o superiori a un petabyte, questa gestione amministrativa semplifica notevolmente l'arrivo dei dispositivi Snow Family.
Se stai migrando i dati in the Cloud AWS per la prima volta, ti consigliamo di progettare un modello di migrazione cloud. La migrazione al cloud non avviene dall'oggi al domani. Richiede un attento processo di pianificazione per garantire che tutti i sistemi funzionino come previsto.
Al termine di questa fase, conoscerai la quantità totale di dati che vengono spostati nel cloud.
Fase 2: Calcola la velocità di trasferimento desiderata
È importante stimare la velocità con cui è possibile trasferire i dati ai dispositivi della famiglia Snow collegati a ciascuno dei server. Questa velocità stimata in MB/sec determina la velocità con cui è possibile trasferire i dati dalla sorgente dati ai dispositivi Snowball Edge utilizzando l'infrastruttura di rete locale.
Nota
Per trasferimenti di dati di grandi dimensioni, consigliamo di utilizzare il metodo di trasferimento dati Amazon S3. È necessario selezionare questa opzione quando si ordinano dispositivi in. Console di gestione della famiglia di servizi AWS Snow
Per determinare una velocità di trasferimento di base, trasferisci un piccolo sottoinsieme di dati sul dispositivo Snowball Edge oppure trasferisci un file di esempio da 10 GB e osserva la velocità effettiva.
Nel determinare la velocità di trasferimento desiderata, tenete presente che potete migliorare la velocità di trasmissione ottimizzando l'ambiente, inclusa la configurazione di rete, modificando la velocità di rete, la dimensione dei file trasferiti e la velocità di lettura dei dati dai server locali. L'adattatore Amazon S3 copia i dati sui dispositivi Snow Family non appena le condizioni lo consentono.
Fase 3: Stabilisci di quanti dispositivi Snow Family hai bisogno
Utilizzando la quantità totale di dati che intendi trasferire nel cloud, la velocità di trasferimento stimata e il numero di giorni in cui desideri consentire lo spostamento dei dati AWS, determina il numero di dispositivi Snow Family necessari per la migrazione dei dati su larga scala. A seconda del tipo di dispositivo, i dispositivi Snowball Edge dispongono di circa 39,5 TB, 80 TB o 210 TB di spazio di archiviazione utilizzabile. Ad esempio, se desideri trasferire 300 TB di dati in AWS più di 10 giorni e hai una velocità di trasferimento di 250 MB/s, hai bisogno di 4 dispositivi Snowball Edge. Con meno di 40 TB di dati rimanenti da trasferire, saranno AWS Snowcone consigliati dispositivi (con 14 TB di spazio utilizzabile).
Nota
Il AWS Snow Family devices LDMM fornisce una procedura guidata per stimare il numero di file AWS Snow Family devices che possono essere supportati contemporaneamente. Per ulteriori informazioni, consulta Creazione di un piano di migrazione dei dati di grandi dimensioni.
Fase 4: Crea i tuoi lavori
Dopo aver saputo di quanti dispositivi Snow Family hai bisogno, devi creare un processo di importazione per ogni dispositivo. La creazione di più posti di lavoro è semplificata dallo Snow Family LDMM. Per ulteriori informazioni, consulta Effettuare il tuo prossimo ordine di lavoro.
Nota
Puoi effettuare il tuo prossimo ordine di lavoro e aggiungerlo automaticamente al tuo piano direttamente dalla pianificazione degli ordini di lavoro consigliata. Per ulteriori informazioni, consulta Pianificazione degli ordini di lavoro consigliata.
Passaggio 5: Separa i dati in segmenti di trasferimento
Come best practice per trasferimenti di dati di grandi dimensioni che coinvolgono più processi, consigliamo di suddividere logicamente i dati in una serie di set di dati più piccoli e più gestibili. Ciò consente di trasferire ogni partizione alla volta o più partizioni in parallelo. Quando pianificate le vostre partizioni, assicuratevi che i dati delle partizioni combinate siano compatibili con i dispositivi Snow Family adatti al lavoro. Ad esempio, potete separare il trasferimento in partizioni in uno dei seguenti modi:
-
Puoi creare 10 partizioni da 8 TB ciascuna per Snowball Edge.
-
Per file di grandi dimensioni, ogni file può essere una singola partizione fino al limite di dimensione di 5 TB per gli oggetti in Amazon S3.
-
Ogni partizione può avere dimensioni diverse e ogni singola partizione può essere composta dallo stesso tipo di dati, ad esempio file di piccole dimensioni in una partizione, archivi compressi in un'altra, file di grandi dimensioni in un'altra partizione e così via. Questo approccio può aiutarvi a determinare la velocità di trasferimento media per diversi tipi di file.
Nota
Le operazioni sui metadati vengono eseguite per ogni file trasferito. Indipendentemente dalle dimensioni di un file, questo overhead rimane invariato. Pertanto, è possibile ottenere prestazioni più elevate comprimendo file di piccole dimensioni in un pacchetto più grande, raggruppando i file in batch o trasferendo singoli file più grandi.
La creazione di segmenti per il trasferimento dei dati può semplificare la risoluzione rapida dei problemi di trasferimento, poiché cercare di risolvere un trasferimento di grandi dimensioni ed eterogeneo dopo un giorno o più può essere complesso.
Quando hai finito di pianificare il trasferimento di dati su scala petabyte, ti consigliamo di trasferire alcuni segmenti dal server sul dispositivo Snow Family per calibrare la velocità e il tempo totale di trasferimento.
