Criação deAWS DataSync locais com oAWS CLI

Para criar um local do NFS usando a CLI da

• Use os comandos a seguir para criar e gerenciar um local de origem do NFS.

  $ aws datasync create-location-nfs \
      --server-hostname nfs-server-address \
      --on-prem-config AgentArns=datasync-agent-arns \
      --subdirectory nfs-export-path

  No comando anterior, o seguinte se aplica:

  • O caminho (nfs-export-path) fornecido para o--subdirectory parâmetro deve ser um caminho exportado pelo servidor NFS ou um subdiretório. Outros clientes NFS em sua rede devem ser capazes de montar esse caminho. Para ver todos os caminhos exportados pelo seu servidor NFS, execute o comando showmount -e nfs-server-address de um cliente NFS com acesso ao seu servidor. Você pode especificar qualquer diretório exibido nos resultados e qualquer subdiretório desse diretório.

  • Para transferir todos os dados na pasta que você especificou, o DataSync precisa de permissões para ler todos os dados. Para conceder DataSync permissões, você pode realizar uma das duas opções. Configure a exportação de NFS com no_root_squash. Ou, para todos os arquivos que você deseja que o DataSync tenha acesso, verifique se as permissões concedem acesso de leitura para todos os usuários. Isso permite que o agente leia os arquivos. Para que o agente acesse diretórios, também será necessário ativar o acesso de execução a todos os usuários.

  • Certifique-se de que o caminho de exportação do NFS seja acessível sem a autenticação Kerberos.

  DataSync escolhe automaticamente a versão do NFS que ele usa para ler de um local do NFS. Para especificar uma versão do NFS, use o parâmetro opcional Version na operação de API NfsMountOptions.

Para criar um local SMB usando a CLI da

• Use o comando a seguir para criar um local de origem do SMB.

  aws datasync create-location-smb \
      --server-hostname smb-server-address \
      --user user-who-can-mount-share \
      --domain windows-domain-of-smb-server \
      --password user-password \
      --agent-arns datasync-agent-arns \
      --subdirectory smb-export-path

  Osmb-export-path que você fornece para o--subdirectory parâmetro deve ser um caminho exportado pelo servidor SMB. Especifique o caminho usando barras; por exemplo,/path/to/folder. Outros clientes SMB em sua rede devem poder acessar esse caminho.

  DataSync escolhe automaticamente a versão SMB que ele usa para ler de um local SMB. Para especificar uma versão do SMB, use o parâmetro opcional Version na operação de API SmbMountOptions.

Para criar uma localização HDFS usando oAWS CLI

• Use o seguinte comando para criar um local do HDFS. No exemplo a seguir, substitua cada umuser input placeholder por suas próprias informações.

  aws datasync create-location-hdfs --name-nodes [{"Hostname":"host1", "Port": 8020}] \
      --authentication-type "SIMPLE|KERBEROS" \
      --agent-arns [arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890example] \
      --subdirectory "/path/to/my/data"

  Os seguintes parâmetros são obrigatórios nocreate-location-hdfs comando:

  • name-nodes— Especifica o nome do host ou o endereço IP do cluster Hadoop e a porta TCP NameNode na qual o usuário NameNode está escutando.

  • authentication-type— O tipo de autenticação a ser usada ao se conectar ao cluster do Hadoop. Especifique SIMPLE ou KERBEROS.

    Se você usaSIMPLE autenticação, use o--simple-user parâmetro para especificar o nome de usuário do usuário. Se você usaKERBEROS autenticação, use os--kerberos-principal--kerberos-krb5-conf parâmetros--kerberos-keytab, e. Para obter mais informações, consulte create-location-hdfs.

  • agent-arns— Os ARNs dos DataSync agentes a serem usados para a localização do HDFS.

  O comando anterior retorna o ARN de localização, semelhante ao seguinte:

  {
      "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890example"
  }

Para criar um local de armazenamento de objetos usando oAWS CLI

1. Copie o seguintecreate-location-object-storage comando:

   aws datasync create-location-object-storage \
       --server-hostname object-storage-server.example.com \
       --bucket-name your-bucket \
       --agent-arns arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

2. Especificar os seguintes parâmetros necessários no comando:

   • --server-hostname— Especificar o nome do domínio ou o endereço IP do servidor de armazenamento de objetos.

   • --bucket-name— especifique o nome do bucket em seu servidor de armazenamento de objetos que você está transferindo de ou para.

   • --agent-arns— Especifique os DataSync agentes que você deseja conectar ao seu servidor de armazenamento de objetos.

3. (Opcional) Adicione qualquer um dos seguintes parâmetros ao comando:

   • --server-port— Especifica a porta na qual seu servidor de armazenamento de objetos aceita o tráfego de rede de entrada (por exemplo, porta443).

   • --server-protocol— Especifica o protocolo (HTTPouHTTPS) que o servidor de armazenamento de objetos usa para se comunicar.

   • --access-key— Especifica a chave de acesso (por exemplo, um nome de usuário) se as credenciais forem necessárias para autenticação no servidor de armazenamento de objetos.

   • --secret-key— Especifica a chave secreta (por exemplo, uma senha) se as credenciais forem necessárias para autenticação no servidor de armazenamento de objetos.

   • --server-certificate— especifica um certificado privado ou autoassinado no qual o DataSync agente confiará ao se conectar ao seu servidor de armazenamento de objetos.

     O arquivo de certificado personalizado deve ter uma.pem extensão (por exemplo,file:///home/user/mycert.pem).

   • --subdirectory— Especifica o prefixo de objeto do servidor de armazenamento de objetos.

     DataSync apenas copia objetos com esse prefixo.

   • --tags— Especifica o par de chave-valor que representa uma tag que você deseja adicionar ao recurso de localização.

     Tags ajudam a gerenciar, filtrar e procurar recursos. Recomendamos criar uma etiqueta de nome para a sua localização.

4. Execute o comando create-location-object-storage.

   Você recebe uma resposta que mostra o ARN de localização que você acabou de criar.

   {
       "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890abcdef"
   }

Para criar um local do Amazon EFS usando aAWS CLI

1. Se você não tiver um sistema de arquivos do Amazon EFS, crie um. Para obter informações sobre como criar um sistema de arquivos EFS, consulte Introdução ao Amazon Elastic File System no Guia do usuário do Amazon Elastic File System.

2. Identifique uma sub-rede que tenha pelo menos um destino de montagem para esse sistema de arquivos. Você pode ver todos os destinos de montagem e as sub-redes associadas a um sistema de arquivos EFS usando odescribe-mount-targets comando.

   aws efs describe-mount-targets \
       --region aws-region  \
       --file-system-id file-system-id

   nota

   ORegião da AWS que você especifica é aquele em que o bucket do S3 de destino ou sistema de arquivos EFS está localizado.

   Esse comando retorna informações sobre o destino, semelhantes às informações mostradas a seguir.

   {
       "MountTargets": [
           {
               "OwnerId": "111222333444",
               "MountTargetId": "fsmt-22334a10",
               "FileSystemId": "fs-123456ab",
               "SubnetId": "subnet-f12a0e34",
               "LifeCycleState": "available",
               "IpAddress": "11.222.0.123",
               "NetworkInterfaceId": "eni-1234a044"
           }
       ]
   }
   

3. Especificar um grupo de segurança do Amazon EC2 que possa acessar o destino de montagem. Você pode executar o seguinte comando para descobrir o grupo de segurança do destino de montagem.

   aws efs describe-mount-target-security-groups \
       --region aws-region \
       --mount-target-id mount-target-id

   O grupo de segurança fornecido deve ser capaz de comunicar-se com o grupo de segurança no destino de montagem na sub-rede especificada.

   A relação entre o grupo de segurança M no destino de montagem e o grupo de segurança S, que você fornece DataSync para usar nesse estágio, é conforme se segue:

   • O grupo de segurança M, associado ao destino de montagem, deve permitir o acesso de entrada para o protocolo TCP na porta NFS (2049) do grupo de segurança S.

     É possível habilitar uma conexão de entrada pelo seu endereço IP (intervalo CIDR) ou pelo seu grupo de segurança.

   • O grupo de segurança S, que você fornece DataSync para acessar o Amazon EFS, deve ter uma regra que permita conexões de saída com a porta NFS. Ele permite conexões de saída em um dos destinos de montagem do sistema de arquivos.

     Você pode habilitar conexões de saída pelo endereço IP (intervalo CIDR) ou pelo security group.

     Para obter informações sobre grupos de segurança e destinos de montagem, consulte Grupos de segurança para instâncias do Amazon EC2 e destinos de montagem no Guia do usuário do Amazon Elastic File System.

4. Crie o local. Para criar a localização do EFS, você precisa dos ARNs da sub-rede do Amazon EC2, do grupo de segurança do Amazon EC2 e de um sistema de arquivos. Como a API do DataSync aceita ARNs totalmente qualificados, você pode criar esses ARNs. Para obter informações sobre como criar ARNs para diferentes serviços, consulte Amazon Resource Names (ARNs) no Referência geral da AWS.

   Use o comando a seguir para criar um local do EFS.

   aws datasync create-location-efs \
       --subdirectory /path/to/your/subdirectory \
       --efs-filesystem-arn 'arn:aws:elasticfilesystem:region:account-id:file-system/filesystem-id' \
       --ec2-config SecurityGroupArns='arn:aws:ec2:region:account-id:security-group/security-group-id',SubnetArn='arn:aws:ec2:region:account-id:subnet/subnet-id'

Para criar um local do FSx for Windows File Server usando aAWS CLI

• Use o seguinte comando para criar um local do Amazon FSx.

  aws datasync create-location-fsx-windows \
      --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
      --user smb-user --password password

  No comando create-location-fsx-windows, especifique o seguinte:

  • fsx-filesystem-arn— O nome de recurso da Amazon (ARN) totalmente qualificado do sistema de arquivos para o qual você copia e do qual você copia.

    A DataSync API aceita ARNs totalmente qualificados e você pode criar esses ARNs. Para obter informações sobre como criar ARNs para diferentes serviços, consulte Amazon Resource Names (ARNs) no Referência geral da AWS.

  • security-group-arns— O ARN de um grupo de segurança do Amazon EC2 que pode ser aplicado às interfaces de rede da sub-rede preferida do sistema de arquivos.

  • ARegião da AWS — A região que você especifica é aquela em que seu sistema de arquivos Amazon FSx de destino está localizado.

Para criar uma localização do FSx for Lustre usando oAWS CLI

• Use o comando a seguir para criar uma localização do FSx for Lustre.

  aws datasync create-location-fsx-lustre \
      --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system:filesystem-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id

  Os seguintes parâmetros são obrigatórios nocreate-location-fsx-lustre comando.

  • fsx-filesystem-arn— O nome de recurso da Amazon (ARN) totalmente qualificado do sistema de arquivos para o qual você copia e do qual você copia.

  • security-group-arns— O ARN de um grupo de segurança do Amazon EC2 a ser aplicado às interfaces de rede da sub-rede preferida do sistema de arquivos.

Para criar um local do FSx para OpenZFS usando aAWS CLI

1. Copie o seguinte comando:

   $ aws datasync create-location-fsx-openzfs \
      --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
      --protocol NFS={}

2. Especificar as seguintes opções necessárias no comando:

   • Parafsx-filesystem-arn, especifique o nome de recurso da Amazon (ARN) totalmente qualificado do sistema de arquivos de localização (ARN) do sistema de arquivos de localização. Isso inclui oRegião da AWS local em que seu sistema de arquivos resideConta da AWS, seu ID e o ID do sistema de arquivos.

   • Parasecurity-group-arns, especifique o ARN do grupo de segurança do Amazon EC2 que fornece acesso às interfaces de rede do seu FSx para a sub-rede preferida do sistema de arquivos OpenZFS. Isso inclui oRegião da AWS local onde sua instância do Amazon EC2 resideConta da AWS, seu ID e o ID do grupo de segurança.

     Para obter mais informações sobre grupos de segurança, consulte Controle de acesso do sistema de arquivos com Amazon VPC no Guia do usuário do Amazon FSx para OpenZFS.

   • Paraprotocol, especificar o protocolo que o DataSync utiliza para acessar seu sistema de arquivos. (DataSync atualmente suporta apenas NFS.)

3. Execute o comando . Você recebe uma resposta mostrando a localização que acabou de criar.

   { 
       "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" 
   }

Para criar um local do FSx para ONTAP usando aAWS CLI

1. Copie o seguinte comando:

   $ aws datasync create-location-fsx-ontap \
      --storage-virtual-machine-arn arn:aws:fsx:region:account-id:storage-virtual-machine/fs-file-system-id \
      --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \
      --protocol data-transfer-protocol={}

2. Especificar as seguintes opções necessárias no comando:

   • Para o qualstorage-virtual-machine-arn, especifique o nome de recurso da Amazon (ARN) totalmente qualificado de uma máquina virtual de armazenamento (SVM) no sistema de arquivos para o qual e do qual você copia dados.

     Esse ARN inclui oRegião da AWS local em que seu sistema de arquivos reside, seusConta da AWS, o sistema de arquivos e os IDs SVM.

   • Parasecurity-group-arns, especifique os ARNs dos grupos de segurança do Amazon EC2 que fornecem acesso às interfaces de rede da sub-rede preferida do seu sistema de arquivos.

     Isso inclui oRegião da AWS local em que sua instância do Amazon EC2 resideConta da AWS, seus IDs e seus IDs de grupo de segurança. É possível especificar até cinco ARNs de grupos de segurança.

     Para obter mais informações sobre grupos de segurança, consulte Controle de acesso ao sistema de arquivos com Amazon VPC no Guia do usuário do Amazon FSx for NetApp ONTAP.

   • Paraprotocol, configure o protocolo que o DataSync utiliza para acessar o SVM do sistema de arquivos.

     • Para o NFS, você pode usar a configuração padrão:

       --protocol NFS={}

     • Para SMB, você deve especificar um nome de usuário e uma senha que possam acessar o SVM:

       --protocol SMB={User=smb-user,Password=smb-password}

3. Execute o comando .

   Você recebe uma resposta que mostra o local que acabou de criar.

   { 
       "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" 
   }

Para criar um local do S3 usando a CLI da

1. Crie uma política de confiança do IAM que permita assumir DataSync a função do IAM necessária para acessar seu bucket do S3.

   Veja a seguir um exemplo de política de confiança.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Service": "datasync.amazonaws.com"
         },
         "Action": "sts:AssumeRole"
       }
     ]
   }
   

2. Crie um arquivo temporário para a política do IAM, conforme mostrado no exemplo a seguir.

   $ ROLE_FILE=$(mktemp -t sync.iam.role.filename.json)
   $ IAM_ROLE_NAME='YourBucketAccessRole'
   
   $ cat<<EOF> ${ROLE_FILE}
   {
       "Version": "2012-10-17",
       "Statement": [{
           "Effect": "Allow",
           "Principal": {
               "Service": "datasync.amazonaws.com"
           },
           "Action": "sts:AssumeRole"
       }]
   }

3. Crie uma função do IAM e anexe a política a ela.

   O comando a seguir cria uma função do IAM e associa a política a ela.

   $ aws iam create-role --role-name ${IAM_ROLE_NAME} --assume-role-policy-document file://${ROLE_FILE}
   {
       "Role": {
           "Path": "/",
           "RoleName": "YourBucketAccessRole",
           "RoleId": "role-id",
           "Arn": "arn:aws:iam::account-id:role/YourBucketAccessRole",
           "CreateDate": "2018-07-27T02:49:23.117Z",
           "AssumeRolePolicyDocument": {
               "Version": "2012-10-17",
               "Statement": [{
                   "Effect": "Allow",
                   "Principal": {
                       "Service": "datasync.amazonaws.com"
                   },
                   "Action": "sts:AssumeRole"
               }]
           }
       }
   }

4. Permita que a função do IAM que você criou grave no bucket do S3.

   Anexe à função do IAM uma política do IAM que tenha permissões suficientes para acessar seu bucket do S3. O exemplo a seguir mostra as permissões mínimas necessárias DataSync para ler e gravar em um bucket do S3 em umRegião da AWS.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Action": [
                   "s3:GetBucketLocation",
                   "s3:ListBucket",
                   "s3:ListBucketMultipartUploads"
               ],
               "Effect": "Allow",
               "Resource": "YourS3BucketArn"
           },
           {
               "Action": [
                   "s3:AbortMultipartUpload",
                   "s3:DeleteObject",
                   "s3:GetObject",
                   "s3:ListMultipartUploadParts",
                   "s3:PutObjectTagging",
                   "s3:GetObjectTagging",
                   "s3:PutObject"
               ],
               "Effect": "Allow",
               "Resource": "YourS3BucketArn/*"
           }
       ]
   }

   Para associar a política à função do IAM, execute o comando a seguir.

   $ aws iam attach-role-policy \
       --role-name role-name  \
       --policy-arn 'arn:aws:iam::aws:policy/YourPolicyName'

   Para buckets do Amazon S3 ativadosAWS Outposts, use a política a seguir.

   {
       "Version": "2012-10-17",
       "Statement": [{
               "Action": [
                   "s3-outposts:ListBucket",
                   "s3-outposts:ListBucketMultipartUploads"
               ],
               "Effect": "Allow",
               "Resource": [
                   "s3OutpostsBucketArn",
                   "s3OutpostsAccessPointArn"
               ],
               "Condition": {
                   "StringLike": {
                       "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn"
                   }
               }
           },
           {
               "Action": [
                   "s3-outposts:AbortMultipartUpload",
                   "s3-outposts:DeleteObject",
                   "s3-outposts:GetObject",
                   "s3-outposts:ListMultipartUploadParts",
                   "s3-outposts:PutObjectTagging",
                   "s3-outposts:GetObjectTagging",
                   "s3-outposts:PutObject"
               ],
               "Effect": "Allow",
               "Resource": [
                   "s3OutpostsBucketArn/*",
                   "s3OutpostsAccessPointArn"
               ],
               "Condition": {
                   "StringLike": {
                       "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "s3-outposts:GetAccessPoint"
               ],
               "Resource": "s3OutpostsAccessPointArn"
           }
       ]
   }

5. Crie o local do S3.

   Use o seguinte comando para criar sua localização do Amazon S3.

   $ aws datasync create-location-s3 \
       --s3-bucket-arn 'arn:aws:s3:::DOC-EXAMPLE-BUCKET' \
       --s3-storage-class 'your-S3-storage-class' \
       --s3-config 'BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations' \
       --subdirectory /your-folder

   O comando retornará um ARN do local , semelhante ao mostrado a seguir.

   {
       "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d"
   }

   As informações do tipo de localização são codificadas noLocationUri. Neste exemplo, os3:// prefixo emLocationUri mostra o tipo do local.

   Se seu bucket do Amazon S3 estiver localizado em umAWS Outpost, você deverá implantar um agente do Amazon EC2 em seu Outpost. O agente deve estar em uma Virtual Private Cloud (VPC) que tenha permissão para acessar o ponto de acesso especificado no comando. O agente também deve ser ativado na região principal do Outpost e ser capaz de rotear para o Amazon S3 nosAWS Outposts endpoints do bucket. Para obter mais informações sobre como lançar um DataSync agente emAWS Outposts, consulteImplante seu agente em AWS Outposts.

   Use o seguinte comando para criar um local do Amazon S3 no seu Outpost.

   aws datasync create-location-s3 \
       --s3-bucket-arn access-point-arn \
       --s3-config BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations \
       --agent-arns arn-of-datasync-agent-in-vpc-that-can-access-your-s3-access-point