Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Création d'une tâche pour le transfert de vos données
Une tâche décrit où et comment les données sont AWS DataSync transférées. Une tâche comprend les éléments suivants :
-
Emplacement de la source : système ou service de stockage à partir duquel DataSync les données sont transférées.
-
Lieu de destination : système ou service de stockage DataSync vers lequel les données sont transférées.
-
Options des tâches : paramètres tels que les fichiers à transférer, le mode de vérification des données, le moment d'exécution de la tâche, etc.
-
Exécutions de tâches : lorsque vous exécutez une tâche, cela s'appelle une exécution de tâche.
Création de votre tâche
Lorsque vous créez une DataSync tâche, vous spécifiez vos emplacements source et de destination. Vous pouvez également personnaliser votre tâche en choisissant les fichiers à transférer, la manière dont les métadonnées sont traitées, en établissant un calendrier, etc.
Avant de créer votre tâche, assurez-vous de comprendre le fonctionnement des DataSync transferts et vérifiez les quotas de tâches.
Important
Si vous prévoyez de transférer des données depuis ou vers un site Amazon S3, examinez comment cela DataSync peut affecter les frais de votre demande S3 et la page de DataSync tarification
Ouvrez la AWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/
. -
Assurez-vous que vous vous trouvez dans l'un des Régions AWS endroits où vous prévoyez de transférer des données.
Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Tâches, puis choisissez Créer une tâche.
-
Sur la page Configurer l'emplacement de la source, créez ou choisissez un emplacement source, puis choisissez Suivant.
-
Sur la page Configurer l'emplacement de destination, créez ou choisissez un emplacement de destination, puis choisissez Suivant.
-
(Recommandé) Sur la page Configurer les paramètres, attribuez à votre tâche un nom dont vous vous souviendrez.
-
Tout en restant sur la page Configurer les paramètres, choisissez les options de vos tâches ou utilisez les paramètres par défaut.
Certaines des options suivantes pourraient vous intéresser :
-
Spécifiez le mode de tâche que vous souhaitez utiliser.
-
Spécifiez les données à transférer à l'aide d'un manifeste ou de filtres.
-
Configurez le mode de gestion des métadonnées des fichiers et de vérification de l'intégrité des données.
-
Surveillez votre transfert à l'aide de rapports de tâches ou d'Amazon CloudWatch. Nous vous recommandons de configurer une sorte de surveillance pour votre tâche.
Lorsque vous avez terminé, sélectionnez Next.
-
-
Vérifiez la configuration de vos tâches, puis choisissez Créer une tâche.
Vous êtes prêt à commencer votre tâche.
Une fois que vous avez créé vos emplacements DataSync source et de destination, vous pouvez créer votre tâche.
-
Dans vos AWS CLI paramètres, assurez-vous que vous utilisez l'un des emplacements Régions AWS où vous prévoyez de transférer des données.
-
Copiez la
create-task
commande suivante :aws datasync create-task \ --source-location-arn "arn:aws:datasync:
us-east-1
:account-id
:location/location-id
" \ --destination-location-arn "arn:aws:datasync:us-east-1
:account-id
:location/location-id
" \ --name "task-name
" -
Pour
--source-location-arn
, spécifiez l'Amazon Resource Name (ARN) de votre emplacement source. -
Pour
--destination-location-arn
, spécifiez l'ARN de votre position de destination.Si vous transférez plusieurs Régions AWS comptes, assurez-vous que l'ARN inclut l'autre région ou l'autre identifiant de compte.
-
(Recommandé) Pour
--name
, spécifiez un nom mémorisable pour votre tâche. -
Spécifiez les autres options de tâche selon vos besoins. Certaines des options suivantes pourraient vous intéresser :
-
Spécifiez les données à transférer à l'aide d'un manifeste ou de filtres.
-
Configurez le mode de gestion des métadonnées des fichiers et de vérification de l'intégrité des données.
-
Surveillez votre transfert à l'aide de rapports de tâches ou d'Amazon CloudWatch. Nous vous recommandons de configurer une sorte de surveillance pour votre tâche.
Pour plus d'options, voir create-task
. Voici un exemple de create-task
commande qui spécifie plusieurs options :aws datasync create-task \ --source-location-arn "arn:aws:datasync:
us-east-1
:account-id
:location/location-id
" \ --destination-location-arn "arn:aws:datasync:us-east-1
:account-id
:location/location-id
" \ --cloud-watch-log-group-arn "arn:aws:logs:region
:account-id
" \ --name "task-name
" \ --options VerifyMode=NONE,OverwriteMode=NEVER,Atime=BEST_EFFORT,Mtime=PRESERVE,Uid=INT_VALUE,Gid=INT_VALUE,PreserveDevices=PRESERVE,PosixPermissions=PRESERVE,PreserveDeletedFiles=PRESERVE,TaskQueueing=ENABLED,LogLevel=TRANSFER -
-
Exécutez la commande
create-task
.Si la commande aboutit, vous obtenez une réponse indiquant l'ARN de la tâche que vous avez créée. Par exemple :
{ "TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026" }
Vous êtes prêt à commencer votre tâche.
Statuts des tâches
Lorsque vous créez une DataSync tâche, vous pouvez vérifier son statut pour voir si elle est prête à être exécutée.
État de la console | État de l'API | Description |
---|---|---|
Disponible |
|
La tâche est prête à démarrer le transfert de données. |
En cours d'exécution |
|
L'exécution d'une tâche est en cours. Pour de plus amples informations, veuillez consulter Statuts d'exécution des tâches. |
Unavailable |
|
Un DataSync agent utilisé par la tâche est hors ligne. Pour plus d’informations, consultez Que dois-je faire si mon agent est hors ligne ?. |
Mis en file d'attente |
|
Une autre exécution de tâche utilisant le même DataSync agent est en cours. Pour de plus amples informations, veuillez consulter Savoir quand votre tâche est en file d'attente. |
Partitionnement de grands ensembles de données avec plusieurs tâches
Si vous transférez un ensemble de données volumineux, par exemple si vous migrez des millions de fichiers ou d'objets, nous vous recommandons de partitionner votre ensemble de données en plusieurs DataSync tâches. Le partitionnement de vos données sources entre plusieurs tâches (et éventuellement des agents, en fonction de vos sites) permet de réduire le temps nécessaire DataSync à la préparation et au transfert de vos données.
Envisagez certaines des manières dont vous pouvez partitionner un ensemble de données volumineux entre plusieurs DataSync tâches :
-
Créez des tâches qui transfèrent des dossiers distincts. Par exemple, vous pouvez créer deux tâches qui ciblent
/FolderA
et/FolderB
, respectivement, dans votre stockage source. -
Créez des tâches qui transfèrent des sous-ensembles de fichiers, d'objets et de dossiers à l'aide d'un manifeste ou de filtres.
Sachez que cette approche peut augmenter les opérations d'E/S sur votre stockage et affecter la bande passante de votre réseau. Pour plus d'informations, consultez le blog Comment accélérer vos transferts de données grâce à des architectures DataSync évolutives
Segmentation des données transférées avec plusieurs tâches
Si vous transférez différents ensembles de données vers la même destination, vous pouvez créer plusieurs tâches pour segmenter les données que vous transférez.
Par exemple, si vous effectuez un transfert vers le même compartiment S3 nomméMyBucket
, vous pouvez créer différents préfixes dans le compartiment correspondant à chaque tâche. Cette approche évite les conflits de noms de fichiers entre les ensembles de données et vous permet de définir des autorisations différentes pour chaque préfixe. Voici comment vous pouvez le configurer :
-
Créez trois préfixes dans la destination
MyBucket
nomméetask1
task2
, ettask3
:-
s3://MyBucket/task1
-
s3://MyBucket/task2
-
s3://MyBucket/task3
-
-
Créez trois DataSync tâches nommées
task1
task2
, ettask3
transférez-les vers le préfixe correspondant dansMyBucket
.