Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Effectuer une migration de données volumineuse avec AWS DataSync
Les migrations de données à grande échelle peuvent impliquer le transfert de volumes importants de données comprenant des millions de fichiers ou d'objets de différents formats. AWS DataSync simplifie ces transferts complexes en gérant la planification, la surveillance, le chiffrement et la vérification des données.
## Qu'est-ce qu'une migration de données volumineuse ?
Une migration de données de grande envergure implique généralement le transfert de téraoctets ou plus de données réparties entre différentes sources vers un nouvel environnement de stockage de destination (dans ce cas, AWS). Ces migrations nécessitent une planification et une coordination minutieuses au sein de votre organisation afin de transférer les données avec succès tout en minimisant les interruptions d'activité.
DataSync peut simplifier ces migrations, qui sont généralement de nature complexe. Parmi les avantages de l'utilisation DataSync pour votre migration, citons :
+ Gestion automatisée des processus de transfert de données et de l'infrastructure requise pour des transferts de données performants et sécurisés.
+ End-to-end sécurité, y compris le chiffrement et la validation de l'intégrité des données, pour garantir que vos données arrivent en toute sécurité, intactes et prêtes à être utilisées.
+ Un protocole réseau spécialement conçu et une architecture parallèle et multithread pour accélérer les migrations.
## Les étapes clés d'une migration de données volumineuses
Vous pouvez généralement décomposer une migration de grande envergure selon les étapes suivantes :
+ **(Étape 1) Planification de la migration des données** - À ce stade, vous essayez de comprendre pourquoi vous effectuez la migration et sur quel type de données vous travaillez. Les activités de planification incluent :
+ Comprendre pourquoi vous souhaitez effectuer une migration
+ Constituer une équipe pour vous aider dans tous les aspects de la migration.
+ Identification des emplacements, des formats et des modèles d'utilisation des données
+ Évaluation des ressources matérielles disponibles et des exigences réseau (si vous migrez depuis un centre de données sur site)
+ Exécution de tests de preuve de concept (POC) DataSync pour estimer les délais de migration, planifier les fenêtres de transition et avoir une idée de la manière dont vous devez configurer DataSync
+ **(Étape 2) Mise en œuvre de votre migration de données volumineuses** - À ce stade, vous validez votre plan et commencez la migration. Les activités de mise en œuvre incluent :
+ Validation du plan de migration
+ Exécution de découpes progressives qui incluent la surveillance et la vérification de vos transferts de données comme prévu
+ Optimisation et ajustement selon les besoins entre chaque découpage
+ Nettoyer les ressources inutilisées une fois que vous avez terminé
## Ressources supplémentaires
AWS Prescriptive Guidance propose les ressources suivantes qui peuvent vous aider à planifier et à mettre en œuvre une migration de grande envergure. Utilisez ce guide pour comprendre comment cela DataSync peut fonctionner dans le contexte de processus et d'activités de migration courants.
+ [Migrations importantes vers le AWS cloud](https://aws.amazon.com/prescriptive-guidance/large-migrations/?large-migration-strategies.sort-by=item.additionalFields.sortText&large-migration-strategies.sort-order=desc&large-migration-playbooks.sort-by=item.additionalFields.sortText&large-migration-playbooks.sort-order=desc&large-migration-patterns.sort-by=item.additionalFields.sortText&large-migration-patterns.sort-order=desc)
+ [Stratégie et meilleures pratiques pour les AWS grandes migrations](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-large-scale-migrations/welcome.html)
+ [Migrer des systèmes de fichiers partagés dans le cadre d'une migration de AWS grande envergure](https://docs.aws.amazon.com/prescriptive-guidance/latest/patterns/migrate-shared-file-systems-in-an-aws-large-migration.html) — Cette ressource inclut un classeur **SFS-Discovery-Workbook** que vous pouvez télécharger et utiliser pour planifier une migration au niveau du partage de fichiers.
# Étape 1 : Planification de la migration de vos données volumineuses
La planification est essentielle lors de la migration d'un ensemble de données volumineux. Vous devez comprendre les données que vous migrez, les motivations qui ont motivé la migration et comment vous AWS DataSync pouvez les acheminer là où vous le souhaitez.
**Topics**
+ [Collecte des exigences relatives à votre migration](gathering-migration-requirements.md)
+ [Exécution d'une DataSync preuve de concept](datasync-large-migration-poc.md)
+ [Estimation des délais de migration](datasync-large-migration-timelines.md)
# Collecte des exigences relatives à votre migration
La première étape d'une migration de données à grande échelle nécessite la collecte de diverses informations au sein de votre organisation.
Ces informations vous aident à créer un [processus](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-large-scale-migrations/process.html) de migration qui, pour les migrations de grande envergure, peut inclure plusieurs transferts et des procédures de découpage des opérations (effectuées par [vagues](https://docs.aws.amazon.com/prescriptive-guidance/latest/application-portfolio-assessment-guide/wave-planning.html)) de votre stockage source vers votre stockage de destination.
## Comprendre pourquoi vous souhaitez effectuer une migration
Avant de commencer à migrer vers AWS, vous devez clairement comprendre pourquoi vous migrez vos données. Cela permet de relever les défis courants liés à la migration, tels que le respect des délais, la gestion des ressources et la coordination entre les équipes.
Si vous avez besoin d'aide pour déterminer les motivations de votre migration, répondez aux questions suivantes :
+ Libérez-vous de l'espace de stockage sur site ?
+ Respectez-vous les délais des contrats de support matériel ?
+ Est-ce pour une sortie de centre de données ?
+ Quel est votre calendrier de migration ?
+ Transférez-vous des données depuis un autre espace de stockage dans le cloud ?
+ Vous migrez des ensembles de données partiels ou complets ?
+ Est-ce pour l'archivage des données ?
+ Les applications ou les utilisateurs ont-ils besoin d'un accès régulier à ces données ?
## Comprendre la logistique
Répondez à certaines questions de logistique de base concernant votre environnement de stockage, la migration et votre organisation :
1. Obtenez une compréhension de base de votre infrastructure de stockage de données actuelle.
1. Vérifiez si vous avez besoin d'un [DataSync agent](do-i-need-datasync-agent.md). Par exemple, vous avez besoin d'un agent si vous effectuez un transfert depuis un stockage sur site.
1. Si vous avez besoin d'un agent, assurez-vous de bien comprendre les [exigences de l'agent](agent-requirements.md) :
+ Un agent peut s'exécuter en tant que machine virtuelle (VM) sur VMware ESXi, sur une machine virtuelle basée sur le noyau Linux (KVM) et sur les hyperviseurs Microsoft Hyper-V. Vous pouvez également déployer un agent en tant qu'instance Amazon EC2 au sein de. AWS
+ Les migrations de grande envergure nécessitent généralement beaucoup de mémoire. Assurez-vous que votre agent dispose de suffisamment de RAM.
1. Identifiez les principales parties prenantes, issues de vos services de direction, de réseau, de stockage et informatiques, qui doivent participer à la migration. Cela peut inclure :
+ Trouvez un [leader à fil unique](https://docs.aws.amazon.com/prescriptive-guidance/latest/strategy-large-scale-migrations/people.html) qui se consacre au projet et à ses résultats.
+ Déterminez qui est responsable de la propriété et de la classification des données que vous migrez.
+ Identifiez qui gère votre source et qui, à terme, gérera le service AWS de stockage vers lequel vous migrez.
+ Découvrez qui créera et gérera tout autre processus pour vos données une fois qu'elles seront enregistrées AWS.
1. Établissez des canaux de communication interservices.
1. Créez un plan d'annulation pour les imprévus.
1. Documentez l'ensemble du processus de migration, y compris les procédures relatives aux vagues, à la validation et au transfert. Utilisez-le comme runbook pour l'ensemble de la migration. Vous mettrez à jour ce processus au fur et à mesure de la planification et de la mise en œuvre de la migration.
## Révision des données que vous êtes en train de migrer
Collaborez avec vos équipes chargées du stockage et des applications pour analyser les caractéristiques des données que vous souhaitez migrer. Ces informations vous aident à déterminer une stratégie de migration que vous pouvez exécuter DataSync.
**Contents**
+ [Déterminer les modèles d'utilisation des données](#review-migration-data-usage)
+ [Identifier la structure et la mise en page des données](#review-migration-data-structure)
+ [Documenter les partages et les dossiers](#review-migration-data-document-shares)
+ [Analyse de la taille des fichiers](#review-migration-data-file-sizes)
### Déterminer les modèles d'utilisation des données
+ Pour les données utilisées activement et fréquemment modifiées, planifiez plusieurs vagues de transferts incrémentiels afin de ne pas perturber les opérations commerciales.
+ Pour les données en lecture seule qui peuvent être considérées comme archivistiques, vous n'avez peut-être pas besoin de planifier les vagues.
+ Si vous avez plusieurs modèles d'utilisation des données, planifiez des vagues qui migrent ces différents ensembles de données séparément. Par exemple, vous pouvez avoir une vague pour les données d'archive, le reste étant dédié à la migration des données actives.
### Identifier la structure et la mise en page des données
+ Déterminez si les données sont organisées par périodes (année, mois, jour) ou par d'autres modèles.
+ Utilisez cette structure organisationnelle pour planifier vos vagues de migration. Par exemple, vous pouvez migrer l'équivalent d'un an de données d'archives au cours d'une seule vague.
### Documenter les partages et les dossiers
+ Créez un inventaire des partages et des dossiers (y compris le nombre de fichiers ou d'objets pour chacun).
+ Identifiez les partages et les dossiers contenant des ensembles de données actifs. Cela peut nécessiter des transferts progressifs lors de la migration.
+ Passez en revue les [DataSync quotas](datasync-limits.md). Cela peut vous aider à planifier la manière de partitionner votre ensemble de données lors de la configuration DataSync.
### Analyse de la taille des fichiers
+ Attendez-vous à un débit de données plus élevé pour les transferts de fichiers volumineux (Mo ou Go) par rapport à des fichiers plus petits (Ko).
+ Si vous travaillez avec de nombreux fichiers de petite taille, attendez-vous à davantage d'opérations de métadonnées sur votre système de stockage et à une baisse du débit de données. DataSynceffectue ces opérations lors de la comparaison et de la vérification de vos emplacements source et de destination.
## Identification des besoins de stockage
Pour choisir un service AWS de stockage compatible pour migrer vos données, vous devez évaluer les caractéristiques et les performances de votre système de stockage source.
Ces informations peuvent également vous aider à [planifier vos transferts](task-scheduling.md) afin de minimiser l'impact sur les opérations commerciales pendant la migration.
**Contents**
+ [Détermination de la prise en charge du stockage source](#determine-storage-requirements-protocols)
+ [Révision des exigences de conservation des métadonnées](#determine-storage-requirements-metadata)
+ [Collecte de mesures de performance à partir du stockage source](#determine-storage-requirements-performance)
+ [Choix d'un service AWS de stockage de destination](#determine-storage-requirements-destination)
### Détermination de la prise en charge du stockage source
DataSync peut fonctionner avec divers systèmes de stockage qui autorisent l'accès via des clients de stockage d'objets compatibles NFS, SMB, HDFS et S3.
Si vous migrez depuis un autre espace de stockage dans le cloud, vérifiez que DataSync celui-ci peut fonctionner avec ce fournisseur. Pour obtenir la liste des emplacements sources pris en charge, voir [Où puis-je transférer mes données AWS DataSync ?](working-with-locations.md)
### Révision des exigences de conservation des métadonnées
DataSync peut conserver les métadonnées de votre fichier ou de votre objet lors d'un transfert. La façon dont vos métadonnées sont préservées dépend des lieux de transfert et de l'utilisation de types de métadonnées similaires par ces emplacements.
DataSync nécessite dans certains cas des autorisations supplémentaires pour préserver les métadonnées des fichiers, telles que les listes d'accès discrétionnaires NTFS ()DACLs.
Pour de plus amples informations, veuillez consulter [Comprendre le mode de DataSync gestion des métadonnées des fichiers et des objets](metadata-copied.md).
### Collecte de mesures de performance à partir du stockage source
Mesurez les IOPS de référence et le débit du disque pendant les charges de travail moyennes et maximales de votre stockage source. Le transfert de données I/O alourdit vos systèmes de stockage source et de destination.
Comparez ces données de performances aux spécifications de votre système de stockage afin de déterminer les ressources de performance disponibles.
### Choix d'un service AWS de stockage de destination
À ce stade, vous avez peut-être une idée du service AWS de stockage le plus adapté à vos données. Si ce n'est pas le cas, les modèles d'utilisation des données et les performances de stockage sont deux aspects à prendre en compte au moment de prendre une décision. Par exemple, vous pouvez envisager Amazon S3 si vous avez des données d'archives et Amazon FSx ou Amazon EFS pour les données actives.
Pour vous aider à choisir le stockage basé sur des objets ou des fichiers adapté à vos données, consultez la section [Choix d'un service AWS de stockage](https://docs.aws.amazon.com/decision-guides/latest/storage-on-aws-how-to-choose/choosing-aws-storage-service.html).
## Déterminer les exigences du réseau
Pour migrer vos données avec DataSync, vous devez établir des connexions réseau entre votre stockage source, votre agent et AWS. Vous devez également prévoir une bande passante et une infrastructure réseau suffisantes.
Collaborez avec vos ingénieurs réseau et vos administrateurs de stockage pour déterminer les exigences réseau suivantes.
**Contents**
+ [Évaluation de la bande passante réseau disponible](#datasync-migration-network-bandwidth)
+ [Examen des options pour connecter votre réseau à AWS](#datasync-migration-network-connection-options)
+ [Choix d'un point de terminaison de service pour la communication entre agents](#datasync-migration-network-service-endpoint)
+ [Planification d'une infrastructure réseau suffisante](#datasync-migration-network-interfaces)
### Évaluation de la bande passante réseau disponible
La bande passante réseau disponible influe sur les vitesses de transfert et le temps de migration global. Si vous effectuez un transfert depuis un système de stockage sur site, procédez comme suit :
+ Collaborez avec votre équipe réseau pour déterminer l'utilisation moyenne et maximale de la bande passante.
+ Identifiez les fenêtres dans lesquelles vous pouvez transférer des données et évitez de perturber les opérations quotidiennes. Cela vous indiquera quand vos vagues de migration et vos ruptures se produiront.
Vous pouvez contrôler la quantité de bande passante DataSync utilisée. Pour de plus amples informations, veuillez consulter [Définition des limites de bande passante pour votre AWS DataSync tâche](configure-bandwidth.md).
Étant donné que les transferts depuis d'autres systèmes de stockage dans le cloud se font généralement via l'Internet public, ces transferts sont généralement moins soumis à des restrictions de bande passante et à des considérations moins importantes.
### Examen des options pour connecter votre réseau à AWS
Envisagez les options suivantes pour établir une connectivité réseau pour votre DataSync transfert :
+ **Direct Connect**- Passez en revue l'[architecture et les exemples de routage](direct-connect-architecture.md) relatifs à l'utilisation de Direct Connect avec DataSync. Vous pouvez surveiller l'activité de Direct Connect à l'aide d'[Amazon CloudWatch](https://docs.aws.amazon.com/directconnect/latest/UserGuide/monitoring-cloudwatch.html).
+ **VPN** : [AWS Site-to-Site VPN](https://docs.aws.amazon.com/vpn/latest/s2svpn/VPC_VPN.html)offre un débit allant jusqu'à 1,25 Gbit/s par tunnel.
+ **Internet public** : contactez votre fournisseur de services Internet pour obtenir des données sur l'utilisation du réseau.
### Choix d'un point de terminaison de service pour la communication entre agents
DataSync les agents utilisent des [points de terminaison de service](choose-service-endpoint.md) pour communiquer avec le DataSync service. Le type de point de terminaison que vous utilisez dépend de la manière dont vous vous connectez à votre réseau AWS.
### Planification d'une infrastructure réseau suffisante
Pour chaque tâche de transfert que vous créez, génère et gère DataSync automatiquement l'infrastructure réseau pour vos transferts de données. Cette infrastructure est connue sous le nom d'*interfaces réseau* ou *interfaces réseau élastiques*, qui sont des composants réseau logiques dans un cloud privé virtuel (VPC) Amazon qui représentent des cartes réseau virtuelles. Pour plus d'informations, consultez le guide de l'[https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-eni.html](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-eni.html).
Chaque interface réseau utilise une adresse IP unique dans votre sous-réseau VPC de destination. Pour vous assurer que vous disposez d'une infrastructure réseau suffisante pour effectuer votre migration, procédez comme suit :
+ Notez le nombre d'[interfaces réseau](required-network-interfaces.md) qui DataSync seront créées pour votre position de DataSync destination.
+ Assurez-vous que votre sous-réseau possède suffisamment d'adresses IP pour vos DataSync tâches. Par exemple, une tâche qui utilise un agent nécessite quatre adresses IP. Si vous créez quatre tâches pour votre migration, cela signifie que vous avez besoin de 16 adresses IP disponibles dans votre sous-réseau.
# Exécution d'une DataSync preuve de concept
L'exécution d'une preuve de concept (POC) vous AWS DataSync aide à valider les aspects suivants de la planification de votre migration de données :
+ Vérifiez la connectivité réseau entre les emplacements source et de destination.
+ Validez la configuration initiale de vos DataSync tâches.
+ Mesurez les performances de transfert de données.
+ Estimez les délais de migration.
+ Définissez les critères de réussite avec les principales parties prenantes travaillant sur la migration.
## Commencer avec votre preuve de concept
1. Créez votre DataSync agent :
1. [Déployez votre agent](deploy-agents.md).
1. [Choisissez un point de terminaison de service](choose-service-endpoint.md) pour votre agent.
1. [Activez votre agent](activate-agent.md).
1. [Vérifiez les connexions réseau de votre agent](test-agent-connections.md).
1. Sélectionnez un petit sous-ensemble de données représentant les données que vous êtes en train de migrer.
Par exemple, si votre stockage source contient à la fois de gros et de petits fichiers, le sous-ensemble de données que vous transférez dans votre POC doit en tenir compte. Cela vous donne une idée préliminaire des performances des systèmes de stockage, de votre réseau et DataSync.
1. Créez un emplacement DataSync source pour votre système de stockage [sur site](transferring-on-premises-storage.md) [ou dans le cloud](transferring-other-cloud-storage.md).
1. Créez un emplacement de DataSync destination pour votre [service AWS de stockage](transferring-aws-storage.md).
1. [Créez une tâche DataSync de transfert](create-task-how-to.md) avec un [filtre](filtering.md) qui transfère uniquement votre sous-ensemble de données.
1. [Commencez votre DataSync tâche](run-task.md).
1. Collectez les indicateurs de performance des transferts en surveillant les éléments suivants :
+ Débit de données et de fichiers liés à l'exécution de vos tâches. Vous pouvez le faire par le biais de la DataSync console ou de l'[DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html)opération. Si vous utilisez`DescribeTaskExecution`, voici comment vous calculez ces mesures :
+ **Débit de données** : Diviser `BytesWritten` par `TransferDuration`
+ **Débit de fichiers** : Diviser `FilesTransferred` par `TransferDuration`
+ Utilisation du stockage à la source et à la destination. Travaillez en étroite collaboration avec vos administrateurs de stockage pour obtenir ces informations.
+ Utilisation du réseau
1. Vérifiez les données transférées sur votre lieu de destination :
+ Consultez vos CloudWatch journaux pour détecter les erreurs d'exécution des tâches.
+ Vérifiez que les autorisations et les métadonnées sont préservées à l'emplacement de destination.
+ Vérifiez que les applications et les utilisateurs peuvent accéder aux données de destination comme prévu.
+ Résolvez tous les problèmes que vous rencontrez. Pour de plus amples informations, veuillez consulter [AWS DataSync Problèmes de résolution des problèmes](troubleshooting-datasync.md).
1. Exécutez votre tâche plusieurs fois pour avoir une idée du temps nécessaire à la préparation, DataSync au transfert et à la vérification de vos données. (Pour plus d’informations, consultez [Statuts d'exécution des tâches](run-task.md#understand-task-execution-statuses).)
Si vous exécutez une tâche plusieurs fois, effectue DataSync par défaut un transfert incrémentiel et copie uniquement les données modifiées par rapport à l'exécution de la tâche précédente.
Bien que le temps de transfert soit probablement plus court pour les transferts progressifs, DataSync nous préparerons toujours votre transfert de la même manière en scannant et en comparant vos emplacements pour identifier les éléments à transférer. Vous pouvez utiliser ces temps de préparation pour [estimer les délais de transition](datasync-large-migration-timelines.md#datasync-large-migration-cutover-timelines) de votre migration.
1. Si nécessaire, mettez à jour votre plan de migration en fonction de ce que vous avez appris au cours du POC.
# Estimation des délais de migration
À l'aide des informations que vous avez collectées jusqu'à présent, vous pouvez estimer la durée de la migration AWS DataSync.
## Estimation des délais de transfert de données
Vous pouvez estimer le temps nécessaire DataSync au transfert de vos données sur la base des informations suivantes que vous avez collectées lors de la collecte des exigences de migration et de votre DataSync preuve de concept (POC) :
+ Votre [bande passante réseau disponible](gathering-migration-requirements.md#datasync-migration-network-bandwidth)
+ Mesures d'utilisation du stockage source et de destination
+ Indicateurs de performance issus de votre [DataSync POC](datasync-large-migration-poc.md)
**Pour estimer un calendrier de transfert de données**
1. Comparez le débit de données et de fichiers de votre POC avec la bande passante réseau disponible.
1. Si votre débit est inférieur à la bande passante disponible (par exemple 300 MiB/s pour un débit avec 10 Gbit/s de bande passante réseau), envisagez de partitionner votre ensemble de données en plusieurs tâches afin de maximiser l'utilisation de la bande passante.
DataSync propose quelques options pour partitionner votre ensemble de données. Pour de plus amples informations, veuillez consulter [Accélérer votre migration grâce au partitionnement des données](datasync-large-migration-data-partitioning.md).
1. Calculez le nombre de jours nécessaires à un transfert à l'aide de la formule suivante, qui fournit une durée de transfert minimale théorique :
```
(DATA_SIZE * 8 bits per byte)/(CIRCUIT * NETWORK_UTILIZATION percentage * 3600 seconds per hour * AVAILABLE_HOURS) = Number of days
```
Lorsque vous utilisez cette formule, remplacez les valeurs suivantes par vos propres valeurs :
+ `DATA_SIZE`: quantité de données que vous êtes en train de migrer (exprimée en octets).
+ `CIRCUIT`: votre bande passante réseau disponible (exprimée en bits par seconde).
+ `NETWORK_UTILIZATION`: quel est le pourcentage de votre réseau utilisé ?
+ `AVAILABLE_HOURS`: Le nombre d'heures opérationnelles disponibles par jour.
Par exemple, vous pouvez calculer une migration avec 100 To de données, une connexion Internet de 1 Gbit/s, 80 % d'utilisation du réseau et une disponibilité 24 heures sur 24 comme suit :
`(100,000,000,000,000 bytes * 8) / (1,000,000,000 bps * 0.80 * 3600 * 24) = 11.57 days`
Dans ce cas, la migration prendrait près de 12 jours avant de prendre en compte les conditions réelles.
1. Ajustez la durée de transfert calculée pour tenir compte des conditions réelles :
+ Fluctuations des performances du réseau
+ Variations des performances de stockage
+ Temps d'arrêt entre les vagues de migration
## Estimation des délais de transition
Si vous migrez des ensembles de données actifs, vous aurez probablement besoin de transferts afin de ne pas perturber les opérations commerciales.
Ne sous-estimez pas le temps que prennent les transferts. Dans le cas de migrations de grande envergure, il n'est pas rare que les activités de transition prennent jusqu'à 30 % du temps total de migration.
1. Déterminez si vous devez effectuer des découpes par vagues afin de réduire la quantité de données numérisées pour des modifications incrémentielles.
Pour ce faire, l'une des stratégies consiste à supprimer les ensembles de données que vous partitionnez en fonction de partages, de dossiers ou de systèmes de stockage.
1. Vérifiez le temps généralement nécessaire DataSync à la préparation, au transfert et à la vérification de vos données pendant le POC.
Notez en particulier les durées de préparation des exécutions de vos tâches. Pour obtenir ces informations, exécutez l'[DescribeTaskExecution](https://docs.aws.amazon.com/datasync/latest/userguide/API_DescribeTaskExecution.html)opération, puis vérifiez la valeur de [PrepareDuration](https://docs.aws.amazon.com/datasync/latest/userguide/API_TaskExecutionResultDetail.html#DataSync-Type-TaskExecutionResultDetail-PrepareDuration)pendant la durée (en millisecondes).
1. Estimez le temps que peut prendre une transition en mesurant le delta temporel entre les tâches parallèles.
Pour plus d'informations sur les tâches parallèles, consultez[Accélérer votre migration grâce au partitionnement des données](datasync-large-migration-data-partitioning.md).
1. Utilisez votre estimation des ruptures pour planifier vos ruptures. Il s'agit essentiellement de fenêtres de maintenance pendant lesquelles vos données sources ne peuvent pas être modifiées.
## Étapes suivantes
Après avoir estimé vos délais, vous êtes prêt à commencer à mettre en œuvre votre migration.
# Étape 2 : Implémentation de votre migration de données volumineuses
Grâce aux informations que vous avez recueillies lors de la planification, vous pouvez commencer à les utiliser AWS DataSync pour effectuer la migration vers votre nouveau système de stockage. Si ce n'est pas déjà fait, nous vous recommandons de consulter les [ressources d'orientation AWS prescriptive pour les migrations de grande envergure](datasync-large-migration.md#review-migration-data-resources).
**Topics**
+ [Accélérer votre migration grâce au partitionnement des données](datasync-large-migration-data-partitioning.md)
+ [Exécution de vos tâches DataSync de transfert](datasync-large-migration-running-tasks.md)
+ [Surveillance de vos transferts](datasync-large-migration-monitoring.md)
# Accélérer votre migration grâce au partitionnement des données
Dans le cas d'une migration importante, nous vous recommandons de partitionner votre ensemble de données en plusieurs DataSync tâches. Le partitionnement de vos données sources entre plusieurs tâches (et éventuellement des agents) vous permet de paralléliser vos transferts et de réduire le calendrier de migration.
Le partitionnement vous aide également à respecter les DataSync [quotas](datasync-limits.md) et simplifie la surveillance et le débogage de vos tâches.
Le schéma suivant montre comment vous pouvez utiliser plusieurs DataSync tâches et agents pour transférer des données depuis le même emplacement de stockage source. Dans ce scénario, chaque tâche se concentre sur un dossier spécifique dans l'emplacement source. Pour plus d'informations et des exemples sur ces approches, consultez [Comment accélérer vos transferts de données grâce à des architectures AWS DataSync évolutives](https://aws.amazon.com/blogs/storage/how-to-accelerate-your-data-transfers-with-aws-datasync-scale-out-architectures/).
![\[Schéma illustrant une approche DataSync permettant de partitionner vos données sources afin d'accélérer une migration de grande envergure.\]](http://docs.aws.amazon.com/fr_fr/datasync/latest/userguide/images/datasync-partition-by-folder.png)
## Partitionnement de votre jeu de données par dossier ou par préfixe
Lorsque vous créez votre emplacement DataSync source, vous pouvez spécifier un dossier, un répertoire ou un préfixe dont la DataSync lecture est extraite. Par exemple, si vous migrez un partage de fichiers contenant des répertoires de premier niveau, vous pouvez créer plusieurs emplacements qui spécifient un chemin de répertoire différent. Vous pouvez ensuite utiliser ces emplacements pour exécuter plusieurs DataSync tâches au cours de votre migration.
## Partitionnement de votre jeu de données à l'aide de filtres
Vous pouvez appliquer des [filtres](filtering.md) pour inclure ou exclure des données de votre emplacement source lors d'un transfert. Dans le contexte d'une migration de grande envergure, les filtres peuvent vous aider à étendre les tâches à des parties spécifiques de votre ensemble de données.
Par exemple, si vous migrez des données d'archives organisées par année, vous pouvez créer un filtre d'inclusion correspondant à une année spécifique ou à plusieurs années. Vous pouvez également modifier le filtre chaque fois que vous exécutez la tâche pour qu'il corresponde à une année différente.
## Partitionnement de votre jeu de données avec des manifestes
Un [manifeste](transferring-with-manifest.md) est une liste de fichiers ou d'objets que vous DataSync souhaitez transférer. Avec un manifeste, DataSync il n'est pas nécessaire de tout lire dans un emplacement source pour déterminer ce qu'il faut transférer.
Vous pouvez créer des manifestes à partir des inventaires de votre stockage source ou à l'aide d'approches axées sur les événements (par exemple, voir [Implémentation AWS DataSync avec des centaines de millions d'objets](https://aws.amazon.com/blogs/storage/implementing-aws-datasync-with-hundreds-of-millions-of-objects/)). Vous pouvez également utiliser un manifeste différent chaque fois que vous démarrez une tâche, ce qui vous permet de transférer différents ensembles de données avec la même tâche.
# Exécution de vos tâches DataSync de transfert
Au cours de chacune de vos vagues de migration, le transfert de données suit généralement le même processus général :
1. Effectuez un premier transfert complet de vos données.
1. Vérifiez les données dans la destination.
1. Exécutez des transferts incrémentiels pour toutes les données susceptibles d'avoir changé depuis le transfert initial.
1. Réduisez les opérations jusqu'à votre destination.
1. Passez en revue les résultats de la transition.
## Exécution de vos tâches
Vous devrez probablement exécuter vos tâches de DataSync transfert pendant les heures ouvrables afin de minimiser le temps total de migration. Dans ces situations, il est courant d'exécuter un transfert complet initial suivi de transferts incrémentiels qui tiennent compte des modifications apportées à votre emplacement source par les utilisateurs et les applications.
Pour éviter les problèmes liés au réseau pendant les heures de bureau, vous pouvez limiter la quantité de bande passante utilisée par vos tâches. Pour de plus amples informations, veuillez consulter [Définition des limites de bande passante pour votre AWS DataSync tâche](configure-bandwidth.md).
1. Exécutez un transfert complet initial :
1. [Démarrez votre DataSync tâche](run-task.md) (ou vos tâches si vous les exécutez en parallèle).
1. Surveillez la progression et les performances de l'exécution de vos tâches.
1. Vérifiez que vos données ont été transférées comme prévu (par exemple, les métadonnées des fichiers sont préservées).
1. Exécutez des transferts incrémentiels :
1. [Planifiez vos tâches](task-scheduling.md) pour qu'elles s'exécutent régulièrement.
1. Surveillez l'exécution de vos tâches et corrigez les erreurs éventuelles.
## Exécution d'un cutover
Après vos transferts initiaux et progressifs, vous pouvez commencer le processus de transfert des opérations vers votre destination.
1. Démarrez la fenêtre de maintenance planifiée.
1. Mettez à jour votre système de stockage source pour qu'il soit en lecture seule pour les applications et les utilisateurs.
1. Exécutez les derniers transferts incrémentiels pour copier les deltas restants entre vos emplacements source et de destination.
1. Procédez à une validation approfondie des données (par exemple, en examinant CloudWatch les journaux et les [rapports de tâches](task-reports.md)).
1. Basculez vos applications et vos utilisateurs vers le nouvel environnement de votre lieu de destination.
1. Testez les fonctionnalités de l'application et assurez-vous que les utilisateurs peuvent accéder aux données sur votre lieu de destination.
1. Planifiez une réunion rétrospective pour examiner le transfert avec les équipes de migration. Posez les exemples de questions exploratoires suivants :
+ La transition a-t-elle été un succès ? Si ce n'est pas le cas, quel était le problème ?
+ Avons-nous utilisé toute la bande passante disponible ?
+ Le stockage source et de destination a-t-il été pleinement utilisé ?
+ Pouvons-nous augmenter le débit de données grâce à des tâches supplémentaires ?
+ Devons-nous prévoir une période de maintenance plus longue ?
1. Si nécessaire, mettez à jour votre plan de migration avant de passer à la vague suivante.
# Surveillance de vos transferts
AWS DataSync propose plusieurs options de surveillance pour vous aider à valider et à débuguer votre transfert.
## Surveillance de vos transferts à l'aide de CloudWatch métriques
Vous pouvez créer des CloudWatch tableaux de bord personnalisés avec des indicateurs issus de l'exécution de vos DataSync tâches. Pour de plus amples informations, veuillez consulter [Surveillance des transferts de données avec Amazon CloudWatch Metrics](monitor-datasync.md).
## Surveillance de vos transferts à l'aide de rapports de tâches
Si vous transférez des millions de fichiers ou d'objets, envisagez d'utiliser des rapports de tâches. Les rapports de tâches fournissent des informations détaillées sur les DataSync tentatives de transfert, d'omission, de vérification et de suppression au cours de l'exécution d'une tâche. Pour de plus amples informations, veuillez consulter [Surveillance de vos transferts de données à l'aide de rapports de tâches](task-reports.md).
Vous pouvez également visualiser vos rapports de tâches à l'aide de AWS services tels qu' AWS Glue Amazon Athena et Amazon Quick. Pour plus d'informations, consultez le [blog sur le AWS stockage](https://aws.amazon.com/blogs/storage/derive-insights-from-aws-datasync-task-reports-using-aws-glue-amazon-athena-and-amazon-quicksight/).
## Surveillance de vos transferts avec CloudWatch Logs
Nous vous recommandons au minimum de configurer votre tâche de manière à consigner les informations de base et les erreurs de transfert. Pour plus d'informations, consultez [Surveillance des transferts de données avec Amazon CloudWatch Logs](configure-logging.md).