Configuration desAWS DataSync transferts avec Azure Blob Storage - AWS DataSync
Accès à Azure Blob StorageTypes de blobsConfigurationCréation de votreDataSync agentCréation de votre emplacement de transfert Azure Blob StorageAffichage de votre emplacement de transfert Azure Blob StorageMettre à jour votre emplacement de transfert Azure Blob StorageGestion des métadonnéesLimites

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration desAWS DataSync transferts avec Azure Blob Storage

Cette fonction est disponible en version prévisualisation pour AWS DataSync et susceptible d'être modifiée.

Pour transférer des blobs (également appelés objets) depuis Azure Blob Storage, vous devez créer un emplacementAWS DataSync de transfert. Vous pouvez ensuite déplacer vos blobs vers n'importe quel service deAWS stockageDataSync compatible.

Accès à Azure Blob Storage

Pour transférer vos objets, vousDataSync devez être autorisé à lire votre Azure Blob Storage. Vos objets doivent également se trouver dans un niveau d'DataSyncaccès compatible avec.

Jetons SAS

Un jeton de signature d'accès partagé (SAS) spécifie les autorisations d'accès pour votre stockage blob. (Pour plus d'informations sur SAS, consultez la documentation Azure Blob Storage.)

Vous pouvez générer des jetons SAS à différents niveaux d'accès. DataSyncprend en charge les jetons avec les niveaux d'accès suivants :

  • Compte

  • Conteneur

  • Dossier

Pour fournirDataSync l'accès dont il a besoin pour votre transfert, votre jeton SAS doit au minimum disposer d'autorisations de lecture et de liste. Vous devrez peut-être également configurer le jeton avec d'autres autorisations en fonction du niveau d'accès. Par exemple, un jeton avec accès au niveau du compte nécessite plus d'autorisations qu'un jeton avec accès au niveau du dossier.

Autorisations relatives aux jetons SAS pour l'accès au niveau du compte

DataSyncnécessite que vous configuriez un jeton d'accès au niveau du compte avec les autorisations suivantes :

  • Services autorisés — Blob

  • Types de ressources autorisés : conteneur, objet (si vous n'incluez pas ces autorisations, vous neDataSync pouvez pas transférer les métadonnées de vos objets)

  • Autorisations autorisées : lecture, liste

  • Autorisations d'index blob autorisées : lecture/écriture (si vousDataSync souhaitez copier des balises d'objets)

Autorisations relatives aux jetons SAS pour l'accès au niveau du conteneur

DataSyncnécessite que vous configuriez un jeton d'accès au niveau du conteneur avec les autorisations suivantes :

  • Lire

  • Liste

  • Balise (si vousDataSync souhaitez copier des balises d'objets)

    Note

    Vous ne pouvez pas ajouter l'autorisation de balise facultative lors de la génération d'un jeton SAS dans le portail Azure. Pour ajouter l'autorisation, générez plutôt le jeton à l'aide de l'application Azure Storage Explorer ou générez un jeton SAS qui fournit un accès au niveau du compte.

Autorisations relatives aux jetons SAS pour l'accès au niveau des dossiers

Si vous utilisez Azure Data Lake Storage Gen2 avec votre stockage blob, vous pouvez fournirDataSync un jeton SAS qui autorise uniquement l'accès à un dossier spécifique de votre conteneur.

DataSyncnécessite que vous configuriez un jeton d'accès au niveau du dossier avec les autorisations suivantes :

  • Lire

  • Liste

Pour plus d'informations sur la configuration de ce type de jeton, consultez la documentation Azure Blob Storage.

Lorsque vous créez votre emplacement Azure Blob Storage pourDataSync, vous devez spécifier le chemin complet vers ce même dossier.

Politiques d'expiration de SAS

Assurez-vous que votre SAS n'expire pas avant de terminer votre transfert. Pour plus d'informations sur la configuration d'une politique d'expiration SAS, consultez la documentation Azure Blob Storage.

Si le SAS expire pendant le transfert, il neDataSync pourra plus accéder à votre emplacement Azure Blob Storage (le message d'erreur « Impossible d'ouvrir le répertoire » peut s'afficher). Dans ce cas, vous devez mettre à jour votre position avec un nouveau jeton SAS et recommencer votreDataSync tâche.

Niveau d'accès

DataSyncpeut transférer des objets Azure Blob Storage dans les niveaux chaud ou froid. Il ignore le transfert d'objets dans le niveau d'accès aux archives. Vous devez réhydrater les objets du niveau archive vers le niveau chaud ou froid avant de pouvoir les transférer.

Types de blobs

DataSyncpeut transférer n'importe quel type de blob, y compris les blobs de blocs, de pages et d'ajout. Pour plus d'informations, consultez la documentation Azure Blob Storage.

Configuration

Actuellement, vous ne pouvez utiliser cette fonctionnalité qu'avec laDataSync consoleAWS Command Line Interface, ouAWS SDK for Java 2.x.

Note

Aucune configuration n'est requise si vous utilisez laDataSync console.

Configuration avecAWS CLI

Les instructions suivantes décrivent comment configurer la version 2 deAWS Command Line Interface (AWS CLI) pour utiliser cette fonctionnalité.

Pour configurer l AWS CLI

  1. Téléchargez le modèleDataSync d'API et décompressez le fichier JSON.

  2. Exécutez la commande suivante pour ajouter le modèle de service à votreAWS CLI configuration.

    Cet exemple crée un nomdatasync-azure-blob de service. Vous pouvez spécifier un autre nom.

    aws configure add-model \
  --service-model file://datasync-service-model.json \
  --service-name datasync-azure-blob

Une fois le modèle ajouté, vous pouvez utiliser cette fonctionnalité avec leAWS CLI.

Configuration avecAWS SDK for Java 2.x

Les instructions suivantes expliquent comment configurerAWS SDK for Java 2.x pour utiliser cette fonctionnalité.

Pour configurer le kit SDK for Java 2.x

  1. Vérifier qu'unAwsJavaSdk-DataSync-2.0.jar fichier est disponible. Si ce n'est pas le cas, contactez votreDataSync point de contact.

  2. Dans votre projet Maven, recherchez dans lepom.xml fichier une dépendance explicite du SDKDataSync Java. S'il n'y en a pas, créez la dépendance à l'aide de l'exemple suivant :

    <dependency>
    <groupId>software.amazon.awssdk</groupId>
    <artifactId>datasync</artifactId>
    <version>2.17.290</version>
</dependency>

  3. Exécutez la commande suivante :

    mvn org.apache.maven.plugins:maven-install-plugin:3.0.0-M1:install-file \
    --batch-mode -Dfile=/AwsJavaSdk-DataSync-2.0.jar \
    -DgroupId=software.amazon.awssdk \
    -DartifactId=datasync \
    -Dversion=2.17.290 \
    -Dpackaging=jar

    Gardez à l'esprit :

    • Assurez-vous d'utiliser le bon chemin pour leAwsJavaSdk-DataSync-2.0.jar fichier.

    • La2.17.290 version est un exemple.

Création de votreDataSync agent

Vous avez besoin d'unDataSync agent capable de se connecter à votre conteneur Azure Blob Storage. L'agent lit votre conteneur et facilite le déplacement de vos objetsAWS.

Pour créer un agent

  1. Téléchargez et déployez un agent Amazon EC2 dans un cloud privé virtuel (VPC) de votreAWS environnement.

  2. Spécifiez le point de terminaison du service VPC avec lequel l'agent communiqueAWS.

  3. Configurez votre réseau pour qu'il fonctionne avec les points de terminaison VPC.

  4. Activez l'agent.

Création de votre emplacement de transfert Azure Blob Storage

Vous pouvez configurerDataSync pour utiliser un conteneur Azure Blob Storage existant comme emplacement source pour votre transfert.

Avant de commencer : Assurez-vous de savoir commentDataSync accéder à votre Azure Blob Storage et comment fonctionne avec les niveaux d'accès au stockage Blob.

  1. Ouvrez laAWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

  2. Dans le volet de navigation de gauche, développez Transfert de données, puis choisissez Locations et Créer un emplacement.

  3. Pour Type d'emplacement, choisissez Microsoft Azure Blob Storage.

  4. Pour Agents, choisissez l'DataSyncagent qui peut se connecter à votre conteneur Azure Blob Storage.

    Vous pouvez choisir plusieurs agents. Pour plus d'informations, veuillez consulter Utiliser plusieurs AWS DataSync agents pour votre transfert.

  5. Dans le champ URL du conteneur, entrez l'URL du conteneur concerné par votre transfert.

  6. Dans Dossier, entrez des segments de chemin si vous souhaitez limiter votre transfert à un répertoire virtuel de votre conteneur (par exemple,/my/images).

    DataSynccopie uniquement les objets comportant ces segments de chemin.

    Important

    Si votre jeton SAS ne permet d'accéder qu'à un dossier, vous devez spécifier le chemin complet de ce dossier ici pour que le transfert fonctionne.

  7. Pour le jeton SAS, entrez le jeton SAS qui permetDataSync d'accéder à votre stockage blob.

    Le jeton fait partie de la chaîne d'URI SAS qui se trouve après l'URI de la ressource de stockage et un point d'interrogation. Un jeton ressemble à ceci :

    sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  8. (Facultatif) Entrez des valeurs pour les champs Clé et Valeur afin de baliser l'emplacement.

    Les balises vous aident à gérer, filtrer et rechercher vosAWS ressources. Nous vous recommandons de créer au moins une balise de nom pour votre emplacement.

  9. Choisissez Créer un lieu.

Note

Les instructions suivantes utilisent ladatasync-azure-blob commande, mais vous pouvez donner à cette commande un autre nom. Pour plus d'informations, veuillez consulter Configuration avecAWS CLI.

  1. Copiez lacreate-location-azure-blob commande suivante :

    aws datasync-azure-blob create-location-azure-blob \
  --container-url "https://path/to/container" \
  --authentication-type "SAS" \
  --sas-configuration '{
      "Token": "your-sas-token"
    }' \
  --agent-arns my-datasync-agent-arn \
  --subdirectory "/path/to/my/data" \
  --tags [{"Key": "key1","Value": "value1"}]

  2. Pour le--container-url paramètre, spécifiez l'URL du conteneur Azure Blob Storage impliqué dans votre transfert.

  3. Pour le--authentication-type paramètre, spécifiezSAS.

  4. Pour l'Tokenoption du--sas-configuration paramètre, spécifiez le jeton SAS qui permetDataSync d'accéder à votre stockage blob.

    Le jeton fait partie de la chaîne d'URI SAS qui se trouve après l'URI de la ressource de stockage et un point d'interrogation. Un jeton ressemble à ceci :

    sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  5. Pour le--agent-arns paramètre, spécifiez l'Amazon Resource Name (ARN) de l'DataSyncagent qui peut se connecter à votre conteneur.

    Voici un exemple d'ARN :arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

    Vous pouvez spécifier plusieurs agents. Pour plus d'informations, veuillez consulter Utiliser plusieurs AWS DataSync agents pour votre transfert.

  6. Pour le--subdirectory paramètre, spécifiez des segments de chemin si vous souhaitez limiter votre transfert à un répertoire virtuel de votre conteneur (par exemple,/my/images).

    DataSynccopie uniquement les objets comportant ces segments de chemin.

    Important

    Si votre jeton SAS ne permet d'accéder qu'à un sous-répertoire (ou dossier), vous devez spécifier le chemin complet vers ce sous-répertoire ici pour que le transfert fonctionne.

  7. (Facultatif) Pour le--tags paramètre, spécifiez des paires clé-valeur qui vous aident à gérer, filtrer et rechercher votre position.

    Nous vous recommandons de créer une balise de nom pour votre emplacement.

  8. Exécutez la commande create-location-azure-blob.

    Vous obtenez une réponse qui vous indique l'ARN de l'emplacement que vous avez créé. Par exemple :

    { 
    "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh" 
}

Affichage de votre emplacement de transfert Azure Blob Storage

Vous pouvez obtenir des informations sur votre emplacement Azure Blob Storage existant.

  1. Ouvrez laAWS DataSync console à l'adresse https://console.aws.amazon.com/datasync/.

  2. Dans le panneau de navigation de gauche, choisissez Emplacements.

  3. Choisissez votre emplacement de stockage Azure Blob.

    Vous pouvez consulter les détails de votre position, y compris lesDataSync tâches qui l'utilisent.

Note

Les instructions suivantes utilisent ladatasync-azure-blob commande, mais vous pouvez donner à cette commande un autre nom. Pour plus d'informations, veuillez consulter Configuration avecAWS CLI.

  1. Copiez ladescribe-location-azure-blob commande suivante :

    aws datasync-azure-blob describe-location-azure-blob \
  --location-arn "your-azure-blob-location-arn"

  2. Pour le--location-arn paramètre, spécifiez l'ARN de l'emplacement Azure Blob Storage que vous avez créé.

  3. Exécutez la commande describe-location-azure-blob.

    Vous recevez une réponse qui vous donne des informations sur votre position. Par exemple :

    {
    "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh",
    "LocationUri": "azure-blob://my-user.blob.core.windows.net/container-1",
    "AuthenticationType": "SAS",
    "Subdirectory": "/my/images",
    "AgentArns": ["arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb"],
}

Mettre à jour votre emplacement de transfert Azure Blob Storage

Si nécessaire, vous pouvez modifier la configuration de votre emplacement.

Note

Vous ne pouvez pas faire cela avec laDataSync console.

Note

Les instructions suivantes utilisent ladatasync-azure-blob commande, mais vous pouvez donner à cette commande un autre nom. Pour plus d'informations, veuillez consulter Configuration avecAWS CLI.

  1. Copiez laupdate-location-azure-blob commande suivante :

    aws datasync-azure-blob update-location-azure-blob \
  --location-arn "your-azure-blob-location-arn" \
  --authentication-type "SAS" \
  --sas-configuration '{
      "Token": "your-sas-token"
    }' \
  --agent-arns my-datasync-agent-arn \
  --subdirectory "/path/to/my/data"

  2. Pour le--location-arn paramètre, spécifiez l'ARN de l'emplacement Azure Blob Storage que vous mettez à jour.

  3. Pour le--authentication-type paramètre, spécifiezSAS.

  4. Pour l'Tokenoption du--sas-configuration paramètre, spécifiez le jeton SAS qui permetDataSync d'accéder à votre stockage blob.

    Le jeton fait partie de la chaîne d'URI SAS qui se trouve après l'URI de la ressource de stockage et un point d'interrogation. Un jeton ressemble à ceci :

    sp=r&st=2022-12-20T14:54:52Z&se=2022-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=qCBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  5. Pour le--agent-arns paramètre, spécifiez l'Amazon Resource Name (ARN) de l'DataSyncagent que vous voulez connecter à votre conteneur.

    Voici un exemple d'ARN :arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

    Vous pouvez spécifier plusieurs agents. Pour plus d'informations, veuillez consulter Utiliser plusieurs AWS DataSync agents pour votre transfert.

  6. Pour le--subdirectory paramètre, spécifiez des segments de chemin si vous souhaitez limiter votre transfert à un répertoire virtuel de votre conteneur (par exemple,/my/images).

    DataSynccopie uniquement les objets comportant ces segments de chemin.

    Important

    Si votre jeton SAS ne permet d'accéder qu'à un sous-répertoire (ou dossier), vous devez spécifier le chemin complet vers ce sous-répertoire ici pour que le transfert fonctionne.

Gestion des métadonnées

La manièreDataSync dont les métadonnées sont gérées lors du transfert depuis Azure Blob Storage dépend de votre emplacement de destination.

Lorsque votre destination est DataSyncpeut

  • Amazon S3

Copiez les métadonnées suivantes vers la destination :

  • Métadonnées d'objet définies par l'utilisateur

  • Balises d'objets

  • Les métadonnées d'objet définies par le système suivantes :

    • Content-Disposition

    • Encodage-Contenu

    • Content-Language

    • Content-Type

    Remarque :DataSync copie les métadonnées du système pour tous les objets lors d'un transfert initial. Si vous configurez votre tâche pour transférer uniquement les données qui ont été modifiées, vous neDataSync copierez pas les métadonnées système lors des transferts suivants, sauf si le contenu d'un objet ou les métadonnées utilisateur ont également été modifiés.

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx pour ONTAP (à l'aide de NFS)

Appliquez les métadonnées POSIX par défaut aux fichiers et dossiers de destination. Cette approche inclut l'utilisation des valeurs d'ID utilisateur et d'ID de groupe POSIX par défaut.

  • FSx for Windows File Server

  • FSx pour ONTAP (en utilisant SMB)

Appliquez les métadonnées suivantes à la destination :

  • Horodatage des fichiers et des dossiers

  • Propriété basée sur l'utilisateur Windows que vous avez spécifié lors de la création de votre emplacement deDataSync destination

  • Autorisations héritées du répertoire parent

Limites

Les limitations suivantes sont actuellement présentes lors du déplacement de données depuis Azure Blob Storage avecDataSync :

  • Vous pouvez créer un emplacement Azure Blob Storage dans toutes les régions Région AWSprises en charge, à l'DataSyncexception des régionsAWS GovCloud (US) et de la Chine.

  • Vous ne pouvez utiliser Azure Blob Storage que comme emplacement source.

  • Lors du transfert vers Amazon S3, aucun objet Azure Blob Storage d'une taille supérieure à 5 ToDataSync ne sera transféré.

  • Lors du transfert vers Amazon S3, les objets Azure Blob Storage dont les métadonnées dépassent 2 KoDataSync ne seront pas transférés.