Création deAWS DataSync lieux à l'aide duAWS CLI

Pour créer un emplacement NFS à l'aide de l'interface de ligne de commande

• Utilisez la commande suivante pour créer un emplacement source NFS.

  $ aws datasync create-location-nfs \
      --server-hostname nfs-server-address \
      --on-prem-config AgentArns=datasync-agent-arns \
      --subdirectory nfs-export-path

  Les éléments suivants s'appliquent à la commande précédente :

  • Le chemin (nfs-export-path) que vous fournissez pour le--subdirectory paramètre doit être un chemin qui est exporté par le serveur NFS, ou un sous-répertoire. Les autres clients NFS de votre réseau doivent être en mesure de monter ce chemin. Pour afficher tous les chemins exportés par votre serveur NFS, exécutez la commande showmount -e nfs-server-address à partir d'un client NFS avec un accès à votre serveur. Vous pouvez spécifier n'importe quel répertoire qui apparaît dans les résultats et n'importe quel sous-répertoire de ce répertoire.

  • Pour transférer toutes les données dans le dossier que vous avez spécifié, DataSync doit disposer des autorisations permettant de lire toutes les données. Pour accorder DataSync des autorisations, vous pouvez procéder de deux manières. Vous pouvez configurer l'exportation NFS avec no_root_squash. Ou, pour tous les fichiers auxquels vous voulez que DataSync accède, vous pouvez vous assurer que les autorisations permettront l'accès en lecture de tous les utilisateurs. Ces actions permettent à l'agent de lire les fichiers. Pour que l'agent accède aux répertoires, vous devez également donner à tous les utilisateurs un accès en exécution.

  • Assurez-vous que le chemin d'exportation NFS est accessible sans authentification Kerberos.

  DataSync choisit automatiquement la version NFS qu'il utilise pour lire à partir d'un emplacement NFS. Pour spécifier une version NFS, utilisez le paramètre Version facultatif dans l'opération d'API NfsMountOptions.

Pour créer un emplacement SMB à l'aide de l'interface de ligne de commande

• Utilisez la commande suivante pour créer un emplacement source SMB.

  aws datasync create-location-smb \
      --server-hostname smb-server-address \
      --user user-who-can-mount-share \
      --domain windows-domain-of-smb-server \
      --password user-password \
      --agent-arns datasync-agent-arns \
      --subdirectory smb-export-path

  Le cheminsmb-export-path que vous fournissez pour le--subdirectory paramètre doit être un chemin qui est exporté par le serveur SMB. Spécifiez le chemin à l'aide de barres obliques ; par exemple,/path/to/folder. Les autres clients SMB de votre réseau doivent pouvoir accéder à ce chemin.

  DataSync choisit automatiquement la version SMB qu'il utilise pour lire depuis un emplacement SMB. Pour spécifier une version SMB, utilisez le paramètre Version facultatif dans l'opération d'API SmbMountOptions.

Pour créer un emplacement HDFS à l'aide duAWS CLI

• Utilisez la commande suivante pour créer un emplacement HDFS. Dans l'exemple suivant, remplacez chaque élémentuser input placeholder par vos propres informations.

  aws datasync create-location-hdfs --name-nodes [{"Hostname":"host1", "Port": 8020}] \
      --authentication-type "SIMPLE|KERBEROS" \
      --agent-arns [arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890example] \
      --subdirectory "/path/to/my/data"

  Les paramètres suivants sont obligatoires dans lacreate-location-hdfs commande :

  • name-nodes— Spécifie le nom d'hôte ou l' NameNode adresse IP du cluster Hadoop et le port TCP sur NameNode lequel il écoute.

  • authentication-type— Le type d'authentification à utiliser lors de la connexion au cluster Hadoop. Spécifiez SIMPLE ou KERBEROS.

    Si vous utilisezSIMPLE l'authentification, utilisez le--simple-user paramètre pour spécifier le nom d'utilisateur de l'utilisateur. Si vous utilisezKERBEROS l'authentification, utilisez les--kerberos-principal--kerberos-krb5-conf paramètres--kerberos-keytab, et. Pour plus d'informations, reportez-vous à la section create-location-hdfs.

  • agent-arns— Les ARN des DataSync agents à utiliser pour la localisation HDFS.

  La commande précédente renvoie l'emplacement ARN, qui se présente de la manière suivante :

  {
      "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890example"
  }

Pour créer un emplacement de stockage d'objets à l'aide duAWS CLI

1. Copiez lacreate-location-object-storage commande suivante :

   aws datasync create-location-object-storage \
       --server-hostname object-storage-server.example.com \
       --bucket-name your-bucket \
       --agent-arns arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

2. Spécifier les paramètres requis suivants dans la commande :

   • --server-hostname— Spécifier le nom de domaine ou l'adresse IP de votre serveur de stockage d'objets.

   • --bucket-name— Spécifiez le nom du compartiment sur votre serveur de stockage d'objets vers ou depuis lequel vous effectuez un transfert.

   • --agent-arns— Spécifiez les DataSync agents que vous souhaitez connecter à votre serveur de stockage d'objets.

3. (Facultatif) Ajoutez l'un des paramètres suivants à la commande :

   • --server-port— Spécifie le port sur lequel votre serveur de stockage d'objets accepte le trafic réseau entrant (par exemple, port443).

   • --server-protocol— Spécifie le protocole (HTTPouHTTPS) utilisé par votre serveur de stockage d'objets pour communiquer.

   • --access-key— Spécifie la clé d'accès (par exemple, un nom d'utilisateur) si des informations d'identification sont requises pour s'authentifier auprès du serveur de stockage d'objets.

   • --secret-key— Spécifie la clé secrète (par exemple, un mot de passe) si des informations d'identification sont requises pour s'authentifier auprès du serveur de stockage d'objets.

   • --server-certificate— Spécifie un certificat privé ou auto-signé auquel l' DataSync agent fera confiance lors de la connexion à votre serveur de stockage d'objets.

     Le fichier de certificat personnalisé doit avoir une.pem extension (par exemple,file:///home/user/mycert.pem).

   • --subdirectory— Spécifie le préfixe d'objet pour votre serveur de stockage d'objets.

     DataSync copie uniquement les objets ayant ce préfixe.

   • --tags— Spécifie la paire clé-valeur qui représente une balise que vous souhaitez ajouter à la ressource de localisation.

     Les balises vous aident à gérer, filtrer et rechercher vos ressources. Nous vous recommandons de créer une balise de nom pour votre emplacement.

4. Exécutez la commande create-location-object-storage.

   Vous obtenez une réponse qui vous indique l'ARN de localisation que vous venez de créer.

   {
       "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890abcdef"
   }

Pour créer un emplacement Amazon EFS à l'aide duAWS CLI

1. Si vous n'avez pas de système de fichiers Amazon EFS, créez-en un. Pour plus d'informations sur la création d'un système de fichiers EFS, consultez Mise en route avec Amazon Elastic File System dans le Guide de l'utilisateur Amazon Elastic File System.

2. Identifiez un sous-réseau ayant au moins une cible de montage pour ce système de fichiers. Vous pouvez voir toutes les cibles de montage et les sous-réseaux associés à un système de fichiers EFS à l'aide de ladescribe-mount-targets commande.

   aws efs describe-mount-targets \
       --region aws-region  \
       --file-system-id file-system-id

   Note

   L'Région AWSemplacement de votre compartiment S3 ou système de fichiers EFS cible est celui dans lequel se trouve votre compartiment S3 cible ou système de fichiers EFS.

   Cette commande renvoie des informations sur la cible, similaires aux informations indiquées ci-après.

   {
       "MountTargets": [
           {
               "OwnerId": "111222333444",
               "MountTargetId": "fsmt-22334a10",
               "FileSystemId": "fs-123456ab",
               "SubnetId": "subnet-f12a0e34",
               "LifeCycleState": "available",
               "IpAddress": "11.222.0.123",
               "NetworkInterfaceId": "eni-1234a044"
           }
       ]
   }
   

3. Spécifier un groupe de sécurité Amazon EC2 pouvant accéder à la cible de montage. Vous pouvez exécuter la commande suivante afin de déterminer le groupe de sécurité de la cible de montage.

   aws efs describe-mount-target-security-groups \
       --region aws-region \
       --mount-target-id mount-target-id

   Le groupe de sécurité que vous fournissez doit être en mesure de communiquer avec le groupe de sécurité de la cible de montage dans le sous-réseau spécifié.

   La relation entre le groupe de sécurité M de la cible de montage et le groupe de sécurité S, que vous DataSync souhaitez utiliser à ce stade, est la suivante :

   • Le groupe de sécurité M, que vous associez à la cible de montage, doit autoriser l'accès entrant pour le protocole TCP sur le port NFS (2049) à partir du groupe de sécurité S.

     Vous pouvez activer une connexion entrante par son adresse IP (plage CIDR) ou son groupe de sécurité.

   • Le groupe de sécurité S, que vous fournissez pour accéder DataSync à Amazon EFS, doit avoir une règle qui autorise les connexions sortantes vers le port NFS. Elle autorise les connexions sortantes sur l'une des cibles de montage du système de fichiers.

     Vous pouvez activer les connexions sortantes par adresse IP (plage d'adresses CIDR) ou par groupe de sécurité.

     Pour obtenir des informations sur les groupes de sécurité et les cibles de montage, veuillez consulter Utilisation de groupes de sécurité pour les instances Amazon EC2 et les cibles de montage dans le Guide de l'utilisateur Amazon Elastic File System.

4. Créez le lieu. Pour créer l'emplacement EFS, vous avez besoin des ARN de votre sous-réseau Amazon EC2, de votre groupe de sécurité Amazon EC2 et d'un système de fichiers. Étant donné que l'API DataSync accepte les noms ARN complets, vous pouvez construire ces noms ARN. Pour plus d'informations sur la manière de créer des ARN pour différents services, consultez Amazon Resource Names (ARN) dans le Références générales AWS.

   Utilisez la commande suivante pour créer un emplacement EFS.

   aws datasync create-location-efs \
       --subdirectory /path/to/your/subdirectory \
       --efs-filesystem-arn 'arn:aws:elasticfilesystem:region:account-id:file-system/filesystem-id' \
       --ec2-config SecurityGroupArns='arn:aws:ec2:region:account-id:security-group/security-group-id',SubnetArn='arn:aws:ec2:region:account-id:subnet/subnet-id'

Pour créer un emplacement FSx for Windows File Server à l'aide d'AWS CLI

• Utilisez la commande suivante pour créer un emplacement Amazon FSx.

  aws datasync create-location-fsx-windows \
      --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
      --user smb-user --password password

  Dans la commande create-location-fsx-windows, spécifiez les éléments suivants :

  • fsx-filesystem-arn— Nom de ressource Amazon (ARN) complet du système de fichiers vers ou vers lequel vous souhaitez lire ou sur lequel vous souhaitez écrire.

    L' DataSync API accepte des ARN entièrement qualifiés, et vous pouvez créer ces ARN. Pour plus d'informations sur la manière de créer des ARN pour différents services, consultez Amazon Resource Names (ARN) dans le Références générales AWS.

  • security-group-arns— L'ARN d'un groupe de sécurité Amazon EC2 qui peut être appliqué aux interfaces réseau du sous-réseau préféré du système de fichiers.

  • LaRégion AWS : la région que vous spécifiez est celle où se trouve votre système de fichiers Amazon FSx cible.

Pour créer un emplacement FSx for Lustre à l'aide duAWS CLI

• Utilisez la commande suivante pour créer un emplacement FSx for Lustre.

  aws datasync create-location-fsx-lustre \
      --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system:filesystem-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id

  Les paramètres suivants sont obligatoires dans lacreate-location-fsx-lustre commande.

  • fsx-filesystem-arn— Nom de ressource Amazon (ARN) complet du système de fichiers vers ou vers lequel vous souhaitez lire ou sur lequel vous souhaitez écrire.

  • security-group-arns— L'ARN d'un groupe de sécurité Amazon EC2 à appliquer aux interfaces réseau du sous-réseau préféré du système de fichiers.

Pour créer un emplacement FSx pour OpenZFS à l'aide d'AWS CLI

1. Copiez la commande suivante :

   $ aws datasync create-location-fsx-openzfs \
      --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
      --protocol NFS={}

2. Spécifiez les options requises suivantes dans la commande :

   • Pourfsx-filesystem-arn, spécifiez l'Amazon Resource Name (ARN) complet du système de fichiers de localisation. Cela inclut l'Région AWSemplacement de votre système de fichiersCompte AWS, votre et l'ID du système de fichiers.

   • Poursecurity-group-arns, spécifiez l'ARN du groupe de sécurité Amazon EC2 qui permet d'accéder aux interfaces réseau de votre FSx pour le sous-réseau préféré du système de fichiers OpenZFS. Cela inclut l'Région AWSemplacement de votre instance Amazon EC2Compte AWS, votre identifiant et l'identifiant du groupe de sécurité.

     Pour en savoir plus sur les groupes de sécurité, veuillez consulter Contrôle d'accès au système de fichiers avec Amazon VPC dans le Guide de l'utilisateur Amazon FSx pour OpenZFS.

   • Pourprotocol, spécifiez le protocole que DataSync utilise pour accéder à votre système de fichiers. (ne prendDataSync actuellement en charge que NFS.)

3. Exécutez la commande . Vous obtenez une réponse indiquant l'emplacement que vous venez de créer.

   { 
       "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" 
   }

Pour créer un emplacement FSx pour ONTAP à l'aide d'AWS CLI

1. Copiez la commande suivante :

   $ aws datasync create-location-fsx-ontap \
      --storage-virtual-machine-arn arn:aws:fsx:region:account-id:storage-virtual-machine/fs-file-system-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
      --protocol data-transfer-protocol={}

2. Spécifiez les options requises suivantes dans la commande :

   • Pourstorage-virtual-machine-arn, spécifiez le Amazon Resource Name (ARN) complet de la machine virtuelle de stockage (SVM) de votre système de fichiers vers ou depuis laquelle vous souhaitez copier des données.

     Cet ARN inclut l'Région AWSemplacement de votre système de fichiers, vos identifiantsCompte AWS, le système de fichiers et la SVM.

   • Poursecurity-group-arns, spécifiez les ARN des groupes de sécurité Amazon EC2 qui fournissent un accès aux interfaces réseau du sous-réseau préféré de votre système de fichiers.

     Cela inclut l'Région AWSemplacement de votre instance Amazon EC2Compte AWS, vos identifiants et ceux de votre groupe de sécurité. Vous pouvez spécifier jusqu'à cinq ARN de groupes de sécurité.

     Pour plus d'informations sur les groupes de sécurité, consultez la section Contrôle d'accès au système de fichiers avec Amazon VPC dans le guide de l'utilisateur d'Amazon FSx pour NetApp ONTAP.

   • Pourprotocol, configurez le protocole DataSync utilisé pour accéder à la SVM de votre système de fichiers.

     • Pour NFS, vous pouvez utiliser la configuration par défaut :

       --protocol NFS={}

     • Pour SMB, vous devez spécifier un nom d'utilisateur et un mot de passe permettant d'accéder à la SVM :

       --protocol SMB={User=smb-user,Password=smb-password}

3. Exécutez la commande .

   Vous obtenez une réponse qui indique l'emplacement que vous venez de créer.

   { 
       "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" 
   }

Pour créer un emplacement S3 à l'aide de l'interface de ligne de commande

1. Créez une politique de confiance IAM qui permet DataSync d'assumer le rôle IAM requis pour accéder à votre compartiment S3.

   Voici un exemple de stratégie d'approbation.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Service": "datasync.amazonaws.com"
         },
         "Action": "sts:AssumeRole"
       }
     ]
   }
   

2. Créez un fichier temporaire pour la stratégie IAM, comme indiqué dans l'exemple suivant.

   $ ROLE_FILE=$(mktemp -t sync.iam.role.filename.json)
   $ IAM_ROLE_NAME='YourBucketAccessRole'
   
   $ cat<<EOF> ${ROLE_FILE}
   {
       "Version": "2012-10-17",
       "Statement": [{
           "Effect": "Allow",
           "Principal": {
               "Service": "datasync.amazonaws.com"
           },
           "Action": "sts:AssumeRole"
       }]
   }

3. Créez un rôle IAM et attachez-lui la politique IAM.

   La commande suivante crée un rôle IAM et lui attache la stratégie.

   $ aws iam create-role --role-name ${IAM_ROLE_NAME} --assume-role-policy-document file://${ROLE_FILE}
   {
       "Role": {
           "Path": "/",
           "RoleName": "YourBucketAccessRole",
           "RoleId": "role-id",
           "Arn": "arn:aws:iam::account-id:role/YourBucketAccessRole",
           "CreateDate": "2018-07-27T02:49:23.117Z",
           "AssumeRolePolicyDocument": {
               "Version": "2012-10-17",
               "Statement": [{
                   "Effect": "Allow",
                   "Principal": {
                       "Service": "datasync.amazonaws.com"
                   },
                   "Action": "sts:AssumeRole"
               }]
           }
       }
   }

4. Autorisez le rôle IAM que vous avez créé à écrire dans votre compartiment S3.

   Associez au rôle IAM une politique IAM disposant d'autorisations suffisantes pour accéder à votre compartiment S3. L'exemple suivant montre les autorisations minimales requises DataSync pour lire et écrire dans un compartiment S3 dans unRégion AWS.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Action": [
                   "s3:GetBucketLocation",
                   "s3:ListBucket",
                   "s3:ListBucketMultipartUploads"
               ],
               "Effect": "Allow",
               "Resource": "YourS3BucketArn"
           },
           {
               "Action": [
                   "s3:AbortMultipartUpload",
                   "s3:DeleteObject",
                   "s3:GetObject",
                   "s3:ListMultipartUploadParts",
                   "s3:PutObjectTagging",
                   "s3:GetObjectTagging",
                   "s3:PutObject"
               ],
               "Effect": "Allow",
               "Resource": "YourS3BucketArn/*"
           }
       ]
   }

   Pour attacher la stratégie à votre rôle IAM, exécutez la commande suivante.

   $ aws iam attach-role-policy \
       --role-name role-name  \
       --policy-arn 'arn:aws:iam::aws:policy/YourPolicyName'

   Pour les compartiments Amazon S3 activésAWS Outposts, appliquez la politique suivante.

   {
       "Version": "2012-10-17",
       "Statement": [{
               "Action": [
                   "s3-outposts:ListBucket",
                   "s3-outposts:ListBucketMultipartUploads"
               ],
               "Effect": "Allow",
               "Resource": [
                   "s3OutpostsBucketArn",
                   "s3OutpostsAccessPointArn"
               ],
               "Condition": {
                   "StringLike": {
                       "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn"
                   }
               }
           },
           {
               "Action": [
                   "s3-outposts:AbortMultipartUpload",
                   "s3-outposts:DeleteObject",
                   "s3-outposts:GetObject",
                   "s3-outposts:ListMultipartUploadParts",
                   "s3-outposts:PutObjectTagging",
                   "s3-outposts:GetObjectTagging",
                   "s3-outposts:PutObject"
               ],
               "Effect": "Allow",
               "Resource": [
                   "s3OutpostsBucketArn/*",
                   "s3OutpostsAccessPointArn"
               ],
               "Condition": {
                   "StringLike": {
                       "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3-outposts:GetAccessPoint"
               ],
               "Resource": "s3OutpostsAccessPointArn"
           }
       ]
   }

5. Créez l'emplacement S3.

   Utilisez la commande suivante pour créer votre emplacement Amazon S3.

   $ aws datasync create-location-s3 \
       --s3-bucket-arn 'arn:aws:s3:::DOC-EXAMPLE-BUCKET' \
       --s3-storage-class 'your-S3-storage-class' \
       --s3-config 'BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations' \
       --subdirectory /your-folder

   La commande renvoie un nom ARN d'emplacement similaire à celui indiqué ci-après.

   {
       "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d"
   }

   Les informations relatives au type de localisation sont codées dans leLocationUri. Dans cet exemple, les3:// préfixe inLocationUri indique le type du lieu.

   Si votre compartiment Amazon S3 se trouve sur unAWS Outpost, vous devez déployer un agent Amazon EC2 sur votre Outpost. L'agent doit être dans un cloud privé virtuel (VPC) autorisé à accéder au point d'accès spécifié dans la commande. L'agent doit également être activé dans la région parent pour l'Outpost et être en mesure d'acheminer le compartiment vers Amazon S3 sur lesAWS Outposts points de terminaison. Pour plus d'informations sur le lancement d'un DataSync agent surAWS Outposts, consultezDéployez votre agent sur AWS Outposts.

   Utilisez la commande suivante pour créer un emplacement Amazon S3 sur votre Outpost.

   aws datasync create-location-s3 \
       --s3-bucket-arn access-point-arn \
       --s3-config BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations \
       --agent-arns arn-of-datasync-agent-in-vpc-that-can-access-your-s3-access-point