Creazione diAWS DataSync luoghi conAWS CLI

Creazione di una posizione NFS mediante CLI

• Per creare una posizione NFS di origine, utilizzare il seguente comando.

  $ aws datasync create-location-nfs \
      --server-hostname nfs-server-address \
      --on-prem-config AgentArns=datasync-agent-arns \
      --subdirectory nfs-export-path

  Per il comando precedente, si applica quanto segue:

  • Il percorso (nfs-export-path) fornito per il--subdirectory parametro deve essere un percorso esportato dal server NFS o una sottodirectory. Gli altri client NFS della rete devono essere in grado di montare questo percorso. Per visualizzare tutti i percorsi esportati dal server NFS, eseguire il comando showmount -e nfs-server-address da un client NFS con accesso al server. Puoi specificare qualsiasi directory visualizzata nei risultati e qualsiasi sottodirectory di tale directory.

  • Per trasferire tutti i dati nella cartella specificata, DataSync deve disporre delle autorizzazioni per leggere tutti i dati. Per concedere i DataSync permessi, è possibile eseguire due operazioni. è possibile configurare l'esportazione NFS con no_root_squash oppure, per tutti i file a cui DataSync deve accedere, è possibile verificare che le autorizzazioni consentano l'accesso in lettura per tutti gli utenti. Entrambe le operazioni permettono all'agente di leggere i file. Affinché l'agente possa accedere alle directory, è necessario inoltre abilitare l'accesso in esecuzione a tutti gli utenti.

  • Assicurarsi che il percorso di esportazione NFS sia accessibile senza l'autenticazione Kerberos.

  DataSync sceglie automaticamente la versione NFS che usa per leggere da una posizione NFS. Per specificare una versione NFS, utilizzare il parametro opzionale Version nell'operazione API NfsMountOptions.

Creazione di una posizione SMB mediante CLI

• Utilizzare il comando seguente per creare una posizione di origine SMB.

  aws datasync create-location-smb \
      --server-hostname smb-server-address \
      --user user-who-can-mount-share \
      --domain windows-domain-of-smb-server \
      --password user-password \
      --agent-arns datasync-agent-arns \
      --subdirectory smb-export-path

  Ilsmb-export-path percorso fornito per il--subdirectory parametro deve essere un percorso esportato dal server SMB. Specificate il percorso utilizzando le barre in avanti; ad esempio,/path/to/folder. Altri client SMB nella rete dovrebbero essere in grado di montare questo percorso.

  DataSync sceglie automaticamente la versione SMB che utilizza per leggere da una postazione SMB. Per specificare una versione SMB, utilizzare il parametro opzionale Version nell'operazione API SmbMountOptions.

Per creare una posizione HDFS utilizzandoAWS CLI

• Utilizza il comando seguente per creare una posizione HDFS. Nell'esempio seguente, sostituire ciascunauser input placeholder con le proprie informazioni.

  aws datasync create-location-hdfs --name-nodes [{"Hostname":"host1", "Port": 8020}] \
      --authentication-type "SIMPLE|KERBEROS" \
      --agent-arns [arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890example] \
      --subdirectory "/path/to/my/data"

  Nelcreate-location-hdfs comando sono obbligatori i parametri seguenti:

  • name-nodes— Specifica il nome host o l'indirizzo IP del NameNode cluster Hadoop e della porta TCP su cui NameNode è in ascolto.

  • authentication-type— Il tipo di autenticazione da utilizzare durante la connessione al cluster Hadoop. Specificare SIMPLE o KERBEROS.

    Se si utilizza l'SIMPLEautenticazione, utilizzare il--simple-user parametro per specificare il nome utente dell'utente. Se usi l'KERBEROSautenticazione, usa i--kerberos-principal--kerberos-krb5-conf parametri--kerberos-keytab, e. Per ulteriori informazioni, consulta create-location-hdfs.

  • agent-arns— Gli ARN degli DataSync agenti da utilizzare per la posizione HDFS.

  Il comando precedente restituisce la posizione ARN, in modo analogo a quanto segue:

  {
      "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890example"
  }

Per creare una posizione di archiviazione degli oggetti utilizzandoAWS CLI

1. Copia il seguentecreate-location-object-storage comando:

   aws datasync create-location-object-storage \
       --server-hostname object-storage-server.example.com \
       --bucket-name your-bucket \
       --agent-arns arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

2. Specificare i parametri obbligatori seguenti nel comando:

   • --server-hostname— Specificare il nome di dominio o l'indirizzo IP del server di storage di oggetti.

   • --bucket-name— Specifica il nome del bucket sul server di archiviazione degli oggetti verso o da cui stai trasferendo.

   • --agent-arns— Specificare gli DataSync agenti che si desidera connettere al server di archiviazione degli oggetti.

3. (Facoltativo) Aggiungere uno dei seguenti parametri al comando:

   • --server-port— Specifica la porta su cui il server di storage di oggetti accetta il traffico di rete in ingresso (ad esempio la porta443).

   • --server-protocol— Specifica il protocollo (HTTPoHTTPS) che il server di storage di oggetti utilizza per comunicare.

   • --access-key— Specifica la chiave di accesso (ad esempio, un nome utente) se sono necessarie credenziali per l'autenticazione con il server di storage di oggetti.

   • --secret-key— Specifica la chiave segreta (ad esempio, una password) se sono necessarie credenziali per l'autenticazione con il server di storage di oggetti.

   • --server-certificate— Specifica un certificato privato o autofirmato che l' DataSync agente considererà attendibile quando si connette al server di archiviazione degli oggetti.

     Il file del certificato personalizzato deve avere un'.pemestensione (ad esempiofile:///home/user/mycert.pem).

   • --subdirectory— Specifica il prefisso dell'oggetto per il server di storage di oggetti.

     DataSync copia solo gli oggetti con questo prefisso.

   • --tags— Specifica la coppia chiave-valore che rappresenta un tag che si desidera aggiungere alla risorsa di posizione.

     I tag ti aiutano a gestire, filtrare e cercare le risorse. È consigliabile creare un tag di nome per la posizione.

4. Esegui il comando create-location-object-storage.

   Riceverai una risposta che ti mostra l'ARN della posizione che hai appena creato.

   {
       "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890abcdef"
   }

Creazione di una posizione Amazon EFS mediante laAWS CLI

1. Se non si dispone di un file system Amazon EFS, creane uno. Per informazioni su come creare un file system EFS, consulta Nozioni di base su Amazon Elastic File System nella Guida per l'utente di Amazon Elastic File System.

2. Identificare una sottorete che presenti almeno una destinazione di montaggio per il file system specifico. È possibile visualizzare tutti i target di montaggio e le sottoreti associate a un file system EFS utilizzando ildescribe-mount-targets comando.

   aws efs describe-mount-targets \
       --region aws-region  \
       --file-system-id file-system-id

   Nota

   Regione AWSQuello specificato è quello in cui è situato il bucket S3 o il file system EFS di destinazione.

   Questo comando restituisce informazioni sulla destinazione simili a quelle mostrate di seguito.

   {
       "MountTargets": [
           {
               "OwnerId": "111222333444",
               "MountTargetId": "fsmt-22334a10",
               "FileSystemId": "fs-123456ab",
               "SubnetId": "subnet-f12a0e34",
               "LifeCycleState": "available",
               "IpAddress": "11.222.0.123",
               "NetworkInterfaceId": "eni-1234a044"
           }
       ]
   }
   

3. Specificare un gruppo di sicurezza Amazon EC2 in grado di accedere al target di montaggio. È possibile identificare il gruppo di sicurezza della destinazione di montaggio con il comando seguente.

   aws efs describe-mount-target-security-groups \
       --region aws-region \
       --mount-target-id mount-target-id

   Il gruppo di sicurezza fornito deve essere in grado di comunicare con il gruppo di sicurezza della destinazione di montaggio nella sottorete specificata.

   La relazione tra il gruppo di sicurezza M della destinazione di montaggio e il gruppo di sicurezza S, che intendi DataSync utilizzare in questa fase, è la seguente:

   • Il gruppo di sicurezza M (che viene associato alla destinazione di montaggio) deve consentire l'accesso in entrata per il protocollo TCP sulla porta NFS (2049) dal gruppo di sicurezza S.

     È possibile abilitare una connessione in entrata sulla base dell'indirizzo IP (intervallo CIDR) o del gruppo di sicurezza.

   • Il gruppo di sicurezza S, fornito per accedere DataSync ad Amazon EFS, deve avere una regola che consenta connessioni in uscita alla porta NFS. Consente connessioni in uscita su una delle destinazioni di montaggio del file system.

     È possibile abilitare le connessioni in uscita sulla base dell'indirizzo IP (intervallo CIDR) o del gruppo di sicurezza.

     Per informazioni sui gruppi di sicurezza e sulle destinazioni di montaggio, consulta Gruppi di sicurezza per istanze Amazon EC2 e destinazioni di montaggio nella Guida per l'utente di Amazon Elastic File System.

4. Crea la posizione. Per creare la posizione EFS, sono necessari gli ARN per la sottorete Amazon EC2, il gruppo di sicurezza Amazon EC2 e un file system. Poiché l'API di DataSync accetta ARN completi, è possibile crearli. Per informazioni su come creare ARN per diversi servizi, consulta Amazon Resource Names (ARN) nel Riferimenti generali di AWS.

   Per creare una posizione EFS, utilizzare il comando seguente.

   aws datasync create-location-efs \
       --subdirectory /path/to/your/subdirectory \
       --efs-filesystem-arn 'arn:aws:elasticfilesystem:region:account-id:file-system/filesystem-id' \
       --ec2-config SecurityGroupArns='arn:aws:ec2:region:account-id:security-group/security-group-id',SubnetArn='arn:aws:ec2:region:account-id:subnet/subnet-id'

Creazione di una posizione FSx for Windows File Server utilizzando laAWS CLI

• Utilizza il comando seguente per creare una posizione Amazon FSx.

  aws datasync create-location-fsx-windows \
      --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
      --user smb-user --password password

  Nel comando create-location-fsx-windows, specificare quanto segue:

  • fsx-filesystem-arn— Il nome della risorsa Amazon (ARN) completo del file system in cui o in cui scrivere.

    L' DataSync API accetta ARN completamente qualificati e puoi costruire questi ARN. Per informazioni su come creare ARN per diversi servizi, consulta Amazon Resource Names (ARN) nel Riferimenti generali di AWS.

  • security-group-arns— L'ARN di un gruppo di sicurezza Amazon EC2 che può essere applicato alle interfacce di rete della sottorete preferita del file system.

  • LaRegione AWS: la regione specificata è quella in cui si trova il file system Amazon FSx di destinazione.

Per creare una posizione FSx for Lustre utilizzandoAWS CLI

• Usa il seguente comando per creare una posizione FSx for Lustre.

  aws datasync create-location-fsx-lustre \
      --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system:filesystem-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id

  I parametri seguenti sono obbligatori nelcreate-location-fsx-lustre comando.

  • fsx-filesystem-arn— Il nome della risorsa Amazon (ARN) completo del file system in cui o in cui scrivere.

  • security-group-arns— L'ARN di un gruppo di sicurezza Amazon EC2 da applicare alle interfacce di rete della sottorete preferita del file system.

Creazione di una posizione FSx for OpenZFS utilizzando laAWS CLI

1. Copia il seguente comando:

   $ aws datasync create-location-fsx-openzfs \
      --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
      --protocol NFS={}

2. Specificare le seguenti opzioni obbligatorie nel comando:

   • Perfsx-filesystem-arn esempio, specifica il nome della risorsa Amazon (ARN) completamente qualificato del file system di posizione. Ciò include la posizioneRegione AWS in cui risiede il file systemAccount AWS, il tuo e l'ID del file system.

   • Persecurity-group-arns esempio, specifica l'ARN del gruppo di sicurezza Amazon EC2 che fornisce l'accesso alle interfacce di rete del tuo FSX per la sottorete preferita del file system OpenZFS. Ciò include ilRegione AWS luogo in cui risiede l'istanza Amazon EC2Account AWS, il tuo e l'ID del gruppo di sicurezza.

     Per ulteriori informazioni sui gruppi di sicurezza, consulta Controllo degli accessi ai file system con Amazon VPC nella Guida per l'utente di Amazon FSX per OpenZFS.

   • Specificare il protocollo che DataSync utilizza per accedere al file system.protocol (DataSync attualmente supporta solo NFS).

3. Esegui il comando . Si ottiene una risposta che mostra la posizione appena creata.

   { 
       "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" 
   }

Creazione di una posizione FSx for ONTAP utilizzando laAWS CLI

1. Copia il seguente comando:

   $ aws datasync create-location-fsx-ontap \
      --storage-virtual-machine-arn arn:aws:fsx:region:account-id:storage-virtual-machine/fs-file-system-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
      --protocol data-transfer-protocol={}

2. Specificare le seguenti opzioni obbligatorie nel comando:

   • Perstorage-virtual-machine-arn esempio, specifica il nome della risorsa Amazon (ARN) completo di una macchina virtuale di archiviazione (SVM) nel file system in cui o da cui copiare i dati.

     Questo ARN include la posizioneRegione AWS in cui risiede il file system, il tuoAccount AWS, il file system e gli ID SVM.

   • Persecurity-group-arns, specifica gli ARN dei gruppi di sicurezza Amazon EC2 che forniscono l'accesso alle interfacce di rete della sottorete preferita del tuo file system.

     Ciò include ilRegione AWS luogo in cui risiede l'istanza Amazon EC2, gli ID del tuo e del tuo gruppo di sicurezza.Account AWS È possibile specificare fino a cinque ARN dei gruppi di sicurezza.

     Per ulteriori informazioni sui gruppi di sicurezza, consulta Controllo degli accessi ai file system con Amazon VPC nella Guida per l'utente di Amazon FSx for NetApp ONTAP.

   • Perprotocol esempio, configura il protocollo che DataSync utilizza per accedere alla SVM del file system.

     • Per NFS, è possibile utilizzare la configurazione di default:

       --protocol NFS={}

     • Per SMB, è necessario specificare un nome utente e una password per accedere all'SVM:

       --protocol SMB={User=smb-user,Password=smb-password}

3. Esegui il comando .

   Si ottiene una risposta che mostra la posizione appena creata.

   { 
       "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" 
   }

Creazione di una posizione S3 mediante CLI

1. Crea una policy di fiducia IAM che DataSync consenta di assumere il ruolo IAM richiesto per accedere al tuo bucket S3.

   Di seguito è illustrato un esempio di policy di attendibilità.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Service": "datasync.amazonaws.com"
         },
         "Action": "sts:AssumeRole"
       }
     ]
   }
   

2. Creare un file temporaneo per la policy IAM, come mostrato nell'esempio seguente.

   $ ROLE_FILE=$(mktemp -t sync.iam.role.filename.json)
   $ IAM_ROLE_NAME='YourBucketAccessRole'
   
   $ cat<<EOF> ${ROLE_FILE}
   {
       "Version": "2012-10-17",
       "Statement": [{
           "Effect": "Allow",
           "Principal": {
               "Service": "datasync.amazonaws.com"
           },
           "Action": "sts:AssumeRole"
       }]
   }

3. Creare un ruolo IAM e collegarvi la policy IAM.

   Il comando seguente crea un ruolo IAM e collega una policy al ruolo.

   $ aws iam create-role --role-name ${IAM_ROLE_NAME} --assume-role-policy-document file://${ROLE_FILE}
   {
       "Role": {
           "Path": "/",
           "RoleName": "YourBucketAccessRole",
           "RoleId": "role-id",
           "Arn": "arn:aws:iam::account-id:role/YourBucketAccessRole",
           "CreateDate": "2018-07-27T02:49:23.117Z",
           "AssumeRolePolicyDocument": {
               "Version": "2012-10-17",
               "Statement": [{
                   "Effect": "Allow",
                   "Principal": {
                       "Service": "datasync.amazonaws.com"
                   },
                   "Action": "sts:AssumeRole"
               }]
           }
       }
   }

4. Consentire al ruolo IAM creato di scrivere nel bucket S3.

   Associa al ruolo IAM una policy IAM con autorizzazioni sufficienti per accedere al tuo bucket S3. L'esempio seguente mostra le autorizzazioni minime necessarie DataSync per leggere e scrivere su un bucket S3 in unRegione AWS.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Action": [
                   "s3:GetBucketLocation",
                   "s3:ListBucket",
                   "s3:ListBucketMultipartUploads"
               ],
               "Effect": "Allow",
               "Resource": "YourS3BucketArn"
           },
           {
               "Action": [
                   "s3:AbortMultipartUpload",
                   "s3:DeleteObject",
                   "s3:GetObject",
                   "s3:ListMultipartUploadParts",
                   "s3:PutObjectTagging",
                   "s3:GetObjectTagging",
                   "s3:PutObject"
               ],
               "Effect": "Allow",
               "Resource": "YourS3BucketArn/*"
           }
       ]
   }

   Per collegare la policy al ruolo IAM, eseguire il comando seguente.

   $ aws iam attach-role-policy \
       --role-name role-name  \
       --policy-arn 'arn:aws:iam::aws:policy/YourPolicyName'

   Per i bucket Amazon S3 attiviAWS Outposts, utilizza la seguente politica.

   {
       "Version": "2012-10-17",
       "Statement": [{
               "Action": [
                   "s3-outposts:ListBucket",
                   "s3-outposts:ListBucketMultipartUploads"
               ],
               "Effect": "Allow",
               "Resource": [
                   "s3OutpostsBucketArn",
                   "s3OutpostsAccessPointArn"
               ],
               "Condition": {
                   "StringLike": {
                       "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn"
                   }
               }
           },
           {
               "Action": [
                   "s3-outposts:AbortMultipartUpload",
                   "s3-outposts:DeleteObject",
                   "s3-outposts:GetObject",
                   "s3-outposts:ListMultipartUploadParts",
                   "s3-outposts:PutObjectTagging",
                   "s3-outposts:GetObjectTagging",
                   "s3-outposts:PutObject"
               ],
               "Effect": "Allow",
               "Resource": [
                   "s3OutpostsBucketArn/*",
                   "s3OutpostsAccessPointArn"
               ],
               "Condition": {
                   "StringLike": {
                       "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3-outposts:GetAccessPoint"
               ],
               "Resource": "s3OutpostsAccessPointArn"
           }
       ]
   }

5. Creare la posizione S3.

   Utilizza il comando seguente per creare una posizione Amazon S3.

   $ aws datasync create-location-s3 \
       --s3-bucket-arn 'arn:aws:s3:::DOC-EXAMPLE-BUCKET' \
       --s3-storage-class 'your-S3-storage-class' \
       --s3-config 'BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations' \
       --subdirectory /your-folder

   Questo comando restituisce un ARN di posizione simile a quello mostrato di seguito.

   {
       "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d"
   }

   Le informazioni sul tipo di posizione sono codificate inLocationUri. In questo esempio, ils3:// prefisso inLocationUri mostra il tipo di località.

   Se il tuo bucket Amazon S3 si trova su unAWS Outpost, devi distribuire un agente Amazon EC2 sul tuo Outpost. L'agente deve trovarsi in un cloud privato virtuale (VPC) a cui è consentito accedere al punto di accesso specificato nel comando. L'agente deve inoltre essere attivato nella regione principale dell'Outpost ed essere in grado di indirizzare verso Amazon S3 sugliAWS Outposts endpoint del bucket. Per ulteriori informazioni sull'avvio di un DataSync agente suAWS Outposts, consultaImplementa il tuo agente su AWS Outposts.

   Utilizza il comando seguente per creare una posizione Amazon S3 nel tuo Outpost.

   aws datasync create-location-s3 \
       --s3-bucket-arn access-point-arn \
       --s3-config BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations \
       --agent-arns arn-of-datasync-agent-in-vpc-that-can-access-your-s3-access-point