Configuration des AWS DataSync transferts avec Google Cloud Storage - AWS DataSync
PrésentationCoûtsPrérequisCréation d'une clé HMAC pour votre bucket Google Cloud StorageÉtape 2 : Configuration de votre réseauÉtape 3 : créer un DataSync agentÉtape 4 : créer un emplacement DataSync source pour votre bucket Google Cloud StorageÉtape 5 : créer un emplacement de DataSync destination pour votre compartiment S3Étape 6 : créer et démarrer une DataSync tâche

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration des AWS DataSync transferts avec Google Cloud Storage

Le didacticiel suivant montre comment AWS DataSync migrer des objets d'un bucket Google Cloud Storage vers un bucket Amazon S3.

Présentation

Grâce à DataSync son intégration à l'API XML de Google Cloud Storage, vous pouvez copier des objets dans Amazon S3 sans écrire de code. Le fonctionnement dépend de l'endroit où vous déployez l' DataSync agent qui facilite le transfert.

Agent in Google Cloud

  1. Vous déployez un DataSync agent dans votre environnement Google Cloud.

  2. L'agent lit votre bucket Google Cloud Storage à l'aide d'une clé HMAC (Hash Based Message Authentication Code).

  3. Les objets de votre bucket Google Cloud Storage sont transférés en toute sécurité via TLS 1.3 vers le en AWS Cloud utilisant un point de terminaison public.

  4. Le DataSync service écrit les données dans votre compartiment S3.

Le schéma suivant illustre le transfert.

Un exemple de DataSync transfert montre comment les données d'objets sont transférées d'un bucket Google Cloud Storage vers un bucket S3. L' DataSync agent est d'abord déployé dans votre environnement Google Cloud. L' DataSync agent lit ensuite le bucket Google Cloud Storage. Les données sont transférées en toute sécurité via un point de terminaison public AWS, DataSync où les objets sont écrits dans un compartiment S3 situé dans le même Région AWS emplacement que celui que vous utilisez DataSync.
Agent in your VPC

  1. Vous déployez un DataSync agent dans un cloud privé virtuel (VPC) de votre AWS environnement.

  2. L'agent lit votre bucket Google Cloud Storage à l'aide d'une clé HMAC (Hash Based Message Authentication Code).

  3. Les objets de votre bucket Google Cloud Storage sont transférés en toute sécurité via TLS 1.3 vers le en AWS Cloud utilisant un point de terminaison VPC privé.

  4. Le DataSync service écrit les données dans votre compartiment S3.

Le schéma suivant illustre le transfert.

Un exemple de DataSync transfert montre comment les données d'objets sont transférées d'un bucket Google Cloud Storage vers un bucket S3. Tout d'abord, l' DataSync agent est déployé dans un VPC dans. AWS L' DataSync agent lit ensuite le bucket Google Cloud Storage. Les données sont transférées en toute sécurité via un point de terminaison VPC AWS, DataSync où les objets sont écrits dans un compartiment S3 Région AWS identique au VPC.

Coûts

Les frais associés à cette migration incluent :

  • Exécution d'une instance de machine virtuelle (VM) Google Compute Engine (si vous déployez votre DataSync agent dans Google Cloud)

  • Exécution d'une EC2 instance Amazon (si vous déployez votre DataSync agent dans un VPC intégré) AWS

  • Transférer les données en utilisant DataSync, y compris les frais de demande liés à Google Cloud Storage et Amazon S3 (si S3 est l'un de vos sites de transfert)

  • Transférer des données depuis Google Cloud Storage

  • Stockage de données dans Amazon S3

Prérequis

Avant de commencer, procédez comme suit si ce n'est pas déjà fait :

Création d'une clé HMAC pour votre bucket Google Cloud Storage

DataSync utilise une clé HMAC associée à votre compte de service Google pour vous authentifier et lire le compartiment à partir duquel vous transférez les données. (Pour obtenir des instructions détaillées sur la création de clés HMAC, consultez la documentation de Google Cloud Storage.)

Pour créer une clé HMAC

  1. Créez une clé HMAC pour votre compte de service Google.

  2. Assurez-vous que votre compte de service Google dispose au moins Storage Object Viewer d'autorisations.

  3. Enregistrez l'identifiant d'accès et le secret de votre clé HMAC dans un endroit sûr.

    Vous aurez besoin de ces éléments ultérieurement pour configurer l'emplacement de votre DataSync source.

Étape 2 : Configuration de votre réseau

La configuration réseau requise pour cette migration dépend de la manière dont vous souhaitez déployer votre DataSync agent.

Si vous souhaitez héberger votre DataSync agent dans Google Cloud, configurez votre réseau pour autoriser les DataSync transferts via un point de terminaison public.

Si vous souhaitez héberger votre agent AWS, vous avez besoin d'un VPC doté d'un point de terminaison d'interface. DataSync utilise le point de terminaison VPC pour faciliter le transfert.

Pour configurer votre réseau pour un point de terminaison VPC

  1. Si vous n'en avez pas, créez un VPC dans le même emplacement Région AWS que votre compartiment S3.

  2. Créez un sous-réseau privé pour votre VPC.

  3. Créez un point de terminaison de service VPC pour. DataSync

  4. Configurez votre réseau pour autoriser les DataSync transferts via un point de terminaison de service VPC.

    Pour ce faire, modifiez le groupe de sécurité associé à votre point de terminaison de service VPC.

Étape 3 : créer un DataSync agent

Vous avez besoin d'un DataSync agent capable d'accéder à votre bucket Google Cloud Storage et de le lire.

Dans ce scénario, l' DataSync agent s'exécute dans votre environnement Google Cloud.

Avant de commencer : installez la CLI Google Cloud.

Pour créer l'agent pour Google Cloud

  1. Ouvrez la AWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

  2. Dans le volet de navigation de gauche, choisissez Agents, puis Create agent.

  3. Pour Hypervisor, choisissez VMware ESXi, puis choisissez Télécharger l'image pour télécharger un .zip fichier contenant l'agent.

  4. Ouvrez un terminal . Décompressez l'image en exécutant la commande suivante :

    unzip AWS-DataSync-Agent-VMWare.zip

  5. Extrayez le contenu du .ova fichier de l'agent aws-datasync en commençant par exécuter la commande suivante :

    tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova

  6. Importez le .vmdk fichier de l'agent dans Google Cloud en exécutant la commande Google Cloud CLI suivante :

    gcloud compute images import aws-datasync-2-test \
   --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
   --os centos-7
    Note

    L'importation du .vmdk fichier peut prendre jusqu'à deux heures.

  7. Créez et démarrez une instance de machine virtuelle pour l'image d'agent que vous venez d'importer.

    L'instance a besoin des configurations suivantes pour votre agent. (Pour obtenir des instructions détaillées sur la création d'une instance, consultez la documentation de Google Cloud Compute Engine.)

    • Pour le type de machine, sélectionnez l'une des options suivantes :

      • e2-standard-8 — Pour les exécutions de DataSync tâches impliquant jusqu'à 20 millions d'objets.

      • e2-standard-16 — Pour les exécutions de DataSync tâches impliquant plus de 20 millions d'objets.

    • Pour les paramètres du disque de démarrage, rendez-vous dans la section des images personnalisées. Choisissez ensuite l'image de l' DataSync agent que vous venez d'importer.

    • Pour les paramètres du compte de service, choisissez votre compte de service Google (le même compte que celui que vous avez utilisé à l'étape 1).

    • Pour le paramétrage du pare-feu, choisissez l'option permettant d'autoriser le trafic HTTP (port 80).

      Pour activer votre DataSync agent, le port 80 doit être ouvert sur l'agent. Le port n'a pas besoin d'être accessible au public. Une fois activé, DataSync ferme le port.

  8. Une fois que l'instance de machine virtuelle est en cours d'exécution, prenez note de son adresse IP publique.

    Vous aurez besoin de cette adresse IP pour activer l'agent.

  9. Retournez à la DataSync console. Sur l'écran Créer un agent où vous avez téléchargé l'image de l'agent, procédez comme suit pour activer votre agent :

    • Pour le type de point de terminaison, choisissez l'option points de terminaison de service public (par exemple, points de terminaison de service public dans l'est de l'Ohio aux États-Unis).

    • Pour Clé d'activation, choisissez Obtenir automatiquement la clé d'activation auprès de votre agent.

    • Pour l'adresse de l'agent, entrez l'adresse IP publique de l'instance de machine virtuelle de l'agent que vous venez de créer.

    • Choisissez Obtenir la clé.

  10. Donnez un nom à votre agent, puis choisissez Create agent.

Votre agent est en ligne et prêt à transférer des données.

Dans ce scénario, l'agent s'exécute en tant qu' EC2 instance Amazon dans un VPC associé à votre. Compte AWS

Avant de commencer : Configurez le AWS Command Line Interface (AWS CLI).

Pour créer l'agent de votre VPC

  1. Ouvrez un terminal . Assurez-vous de configurer votre AWS CLI profil pour utiliser le compte associé à votre compartiment S3.

  2. Copiez la commande ci-après. vpc-regionRemplacez-le par l' Région AWS endroit où réside votre VPC (par exemple,us-east-1).

    aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

  3. Exécutez la commande . Dans le résultat, prenez note de la "Value" propriété.

    Cette valeur est l'ID DataSync Amazon Machine Image (AMI) de la région que vous avez spécifiée. Par exemple, un ID d'AMI pourrait ressembler àami-1234567890abcdef0.

  4. Copiez l'URL suivante. Encore une fois, vpc-region remplacez-le par l' Région AWS endroit où réside votre VPC. Remplacez-le ensuite ami-id par l'ID d'AMI que vous avez noté à l'étape précédente.

    https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

  5. Collez l'URL dans un navigateur.

    La page de lancement de l' EC2 instance Amazon s' AWS Management Console affiche.

  6. Pour Type d'instance, choisissez l'une des EC2 instances Amazon recommandées pour les DataSync agents.

  7. Pour Key pair, choisissez une paire de clés existante ou créez-en une nouvelle.

  8. Pour les paramètres réseau, choisissez le VPC et le sous-réseau sur lesquels vous souhaitez déployer l'agent.

  9. Choisissez Launch instance (Lancer une instance).

  10. Une fois que l' EC2 instance Amazon est en cours d'exécution, choisissez votre point de terminaison VPC.

  11. Activez votre agent.

Étape 4 : créer un emplacement DataSync source pour votre bucket Google Cloud Storage

Pour configurer l' DataSync emplacement de votre bucket Google Cloud Storage, vous avez besoin de l'ID d'accès et du secret de la clé HMAC que vous avez créée à l'étape 1.

Pour créer l'emplacement de la DataSync source

  1. Ouvrez la AWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

  2. Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Locations et Create location.

  3. Pour Type d'emplacement, choisissez Stockage d'objets.

  4. Pour les agents, choisissez l'agent que vous avez créé à l'étape 3.

  5. Pour Serveur, entrezstorage.googleapis.com.

  6. Dans le champ Nom du bucket, saisissez le nom de votre bucket Google Cloud Storage.

  7. Développer Additional settings (Paramètres supplémentaires). Pour le protocole du serveur, choisissez HTTPS. Pour le port du serveur, choisissez 443.

  8. Faites défiler la page jusqu'à la section Authentification. Assurez-vous que la case Requiert des informations d'identification est cochée, puis effectuez les opérations suivantes :

    • Pour Clé d'accès, entrez l'ID d'accès de votre clé HMAC.

    • Pour Clé secrète, entrez le secret de votre clé HMAC.

  9. Choisissez Créer un emplacement.

Étape 5 : créer un emplacement de DataSync destination pour votre compartiment S3

Vous avez besoin d'un DataSync emplacement où vous souhaitez que vos données aboutissent.

Pour créer le lieu DataSync de destination

  1. Ouvrez la AWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

  2. Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Locations et Create location.

  3. Créez un DataSync emplacement pour le compartiment S3.

    Si vous avez déployé l' DataSync agent dans votre VPC, ce didacticiel part du principe que le compartiment S3 se trouve dans le même emplacement Région AWS que votre VPC et votre agent. DataSync

Étape 6 : créer et démarrer une DataSync tâche

Une fois vos emplacements source et de destination configurés, vous pouvez commencer à transférer vos données vers AWS.

Pour créer et démarrer la DataSync tâche

  1. Ouvrez la AWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

  2. Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Tâches, puis choisissez Créer une tâche.

  3. Sur la page Configurer l'emplacement de la source, procédez comme suit :

    1. Choisissez Choisir un emplacement existant.

    2. Choisissez l'emplacement source que vous avez créé à l'étape 4, puis cliquez sur Suivant.

  4. Sur la page Configurer l'emplacement de destination, procédez comme suit :

    1. Choisissez Choisir un emplacement existant.

    2. Choisissez l'emplacement de destination que vous avez créé à l'étape 5, puis cliquez sur Suivant.

  5. Sur la page Configurer les paramètres, procédez comme suit :

    1. Sous Configuration du transfert de données, développez Paramètres supplémentaires et désactivez la case à cocher Copier les balises d'objet.

      Important

      Comme il DataSync communique avec Google Cloud Storage à l'aide de l'API Amazon S3, il existe une limite qui peut entraîner l'échec de votre DataSync tâche si vous essayez de copier des balises d'objets.

    2. Configurez les autres paramètres de tâche de votre choix, puis choisissez Next.

  6. Sur la page Révision, passez en revue vos paramètres, puis choisissez Créer une tâche.

  7. Sur la page de détails de la tâche, choisissez Démarrer, puis choisissez l'une des options suivantes :

    • Pour exécuter la tâche sans modification, choisissez Démarrer avec les valeurs par défaut.

    • Pour modifier la tâche avant de l'exécuter, choisissez Démarrer avec des options de remplacement.

Lorsque votre tâche sera terminée, vous verrez les objets de votre compartiment Google Cloud Storage dans votre compartiment S3.