ConfigurandoAWS DataSync transferências com o Google Cloud Storage - AWS DataSync
Visão geralCustosPré-requisitosEtapa 1: criar uma chave HMAC para seu bucket do GoogleEtapa 2: Configurar sua redeEtapa 3: criar umDataSync agenteEtapa 4: criar um localDataSync de origem para seu bucket do Google Cloud StorageEtapa 5: criar um local deDataSync destino para seu bucket S3Etapa 6: Criar e iniciar umaDataSync tarefa

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

ConfigurandoAWS DataSync transferências com o Google Cloud Storage

O tutorial a seguir mostra como você pode usarAWS DataSync para migrar objetos de um bucket do Google Cloud Storage para um bucket do Amazon S3.

Visão geral

ComoDataSync se integra à API XML do Google Cloud Storage, você pode copiar objetos no Amazon S3 sem escrever código. A forma como isso funciona depende de onde você implanta oDataSync agente que facilita a transferência.

Agent in Google Cloud

  1. Você implanta umDataSync agente em seu ambiente do Google Cloud.

  2. O agente lê seu bucket do Google

  3. Os objetos do seu bucket do Google Cloud Storage se movem com segurança por meio do TLS 1.2 para oNuvem AWS usando um endpoint público.

  4. ODataSync serviço grava os dados no bucket do S3.

O diagrama a seguir ilustra a transferência.

Um exemploDataSync de transferência mostra como os dados do objeto são movidos de um bucket do Google Cloud Storage para um bucket S3. Primeiro, oDataSync agente é implantado em seu ambiente do Google Cloud. Em seguida, oDataSync agente lê o bucket do Google Cloud Storage. Os dados são movidos com segurança por meio de um endpoint público para oAWS, ondeDataSync grava os objetos em um bucket do S3 no mesmoRegião da AWS local em que você está usandoDataSync.
Agent in your VPC

  1. Você implanta umDataSync agente em uma nuvem privada virtual (VPC) em seuAWS ambiente.

  2. O agente lê seu bucket do Google

  3. Os objetos do seu bucket do Google Cloud Storage se movem com segurança por meio do TLS 1.2 para oNuvem AWS usando um endpoint VPC privado.

  4. ODataSync serviço grava os dados no bucket do S3.

O diagrama a seguir ilustra a transferência.

Um exemploDataSync de transferência mostra como os dados do objeto são movidos de um bucket do Google Cloud Storage para um bucket S3. Primeiro, oDataSync agente é implantado em uma VPC emAWS. Em seguida, oDataSync agente lê o bucket do Google Cloud Storage. Os dados se movem com segurança por meio de um endpoint VPC para oAWS, ondeDataSync gravam os objetos em um bucket do S3 daRegião da AWS mesma forma que o VPC.

Custos

As taxas associadas a essa migração incluem:

  • Executando uma instância de máquina virtual (VM) do Google Compute Engine (se você implantar seuDataSync agente no Google Cloud)

  • Executando uma instância do Amazon EC2 (se você implantar seuDataSync agente em uma VPC internaAWS)

  • Transferindo os dados usando DataSync

  • Transferência de dados do Google Cloud Storage

  • Armazenamento de dados no Amazon S3

Pré-requisitos

Antes de começar, faça o seguinte, se ainda não concluiu:

Etapa 1: criar uma chave HMAC para seu bucket do Google

DataSyncusa uma chave HMAC associada à sua conta de serviço do Google para autenticar e ler o bucket do qual você está transferindo dados. (Para obter instruções detalhadas sobre como criar chaves HMAC, consulte a documentação do Google Cloud Storage.)

Para criar uma chave HMAC

  1. Crie uma chave HMAC para sua conta de serviço do Google.

  2. Certifique-se de que sua conta de serviço do Google tenha pelo menosStorage Object Viewer permissões.

  3. Salve o ID de acesso e o segredo de sua chave HMAC em um local seguro.

    Você precisará desses itens posteriormente para configurar seu localDataSync de origem.

Etapa 2: Configurar sua rede

Os requisitos de rede para essa migração dependem de como você deseja implantar seuDataSync agente.

Se você quiser hospedar seuDataSync agente no Google Cloud, configure sua rede para permitirDataSync transferências por meio de um endpoint público.

Se você quiser hospedar seu agenteAWS, precisará de uma VPC com um endpoint de interface. DataSyncusa o endpoint VPC para facilitar a transferência.

Para configurar sua rede para um endpoint VPC

  1. Se você não tiver, crie uma VPC noRegião da AWS mesmo bucket do S3.

  2. Crie uma sub-rede privada para sua VPC.

  3. Crie um endpoint VPC paraDataSync usarAWS PrivateLink.

  4. Configure sua rede para permitirDataSync transferências por meio de um endpoint VPC.

    Para fazer as alterações de configuração necessárias, você pode modificar o security group que está associado com seu endpoint da VPC. Para obter mais informações, consulte Controle o tráfego para recursos usando grupos de segurança no Guia do usuário da Amazon VPC.

Etapa 3: criar umDataSync agente

Você precisa de umDataSync agente que possa acessar e ler seu bucket do Google Cloud Storage.

Nesse cenário, oDataSync agente é executado em seu ambiente do Google Cloud.

Antes de começar: instale a CLI do Google Cloud.

Para criar o agente para o Google Cloud

  1. Abra oAWS DataSync console em https://console.aws.amazon.com/datasync/.

  2. No painel de navegação à esquerda, escolha Agentes, e escolha Criar agente.

  3. Para Hypervisor, escolha VMware ESXi e escolha Baixar a imagem para baixar um.zip arquivo que contém o agente.

  4. Abra um terminal do . Descompactar a imagem executando o seguinte comando:

    unzip AWS-DataSync-Agent-VMWare.zip

  5. Extraia o conteúdo do.ova arquivo do agente começando comaws-datasync a execução do seguinte comando:

    tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova

  6. Importe o.vmdk arquivo do agente para o Google Cloud executando o seguinte comando da CLI do Google Cloud:

    gcloud compute images import aws-datasync-2-test \
   --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
   --os centos-7
    nota

    A importação do.vmdk arquivo pode levar até duas horas.

  7. Crie e inicie uma instância de VM para a imagem do agente que você acabou de importar.

    A instância precisa das seguintes configurações para seu agente. (Para obter instruções detalhadas sobre como criar uma instância, consulte a documentação do Google Cloud Compute Engine.)

    • Quanto ao tipo de máquina, escolha uma das seguintes opções:

      • e2-standard-8 — ParaDataSync tarefas que transferem até 20 milhões de arquivos.

      • e2-standard-16 — ParaDataSync tarefas que transferem mais de 20 milhões de arquivos.

    • Para as configurações do disco de inicialização, vá para a seção de imagens personalizadas. Em seguida, escolha a imagem doDataSync agente que você acabou de importar.

    • Para a configuração da conta de serviço, escolha sua conta de serviço do Google (a mesma conta que você usou na Etapa 1).

    • Para a configuração do firewall, escolha a opção para permitir tráfego HTTP (porta 80).

      Para ativar seuDataSync agente, a porta 80 deve estar aberta no agente. A porta não precisa ser acessível ao público. Depois de ativado,DataSync fecha a porta.

  8. Depois que a instância da VM estiver em execução, anote o respectivo endereço IP público.

    Você precisará desse endereço IP para ativar o agente.

  9. Retorne ao console do DataSync. Na tela Criar agente, na qual você baixou a imagem do agente, faça o seguinte para ativar seu agente:

    • Em Tipo de endpoint, escolha a opção de endpoints de serviço público (por exemplo, endpoints de serviço público no leste dos EUA, Ohio).

    • Em Chave de ativação, escolha Obter automaticamente a chave de ativação do seu agente.

    • Em Endereço do agente, insira o endereço IP público da instância de VM do agente que você acabou de criar.

    • Escolha Obter chave.

  10. Dê um nome ao seu agente e escolha Criar agente.

Seu agente está on-line e pronto para transferir dados.

Nesse cenário, o agente é executado como instância do Amazon EC2 em uma VPC associada com suaConta da AWS.

Antes de começar: Configure oAWS Command Line Interface (AWS CLI).

Para criar o agente para sua VPC

  1. Abra um terminal do . Certifique-se de configurar seuAWS CLI perfil para usar a conta associada ao seu bucket do S3.

  2. Copie o seguinte comando: vpc-regionSubstitua peloRegião da AWS local em que sua VPC reside (por exemplo,us-east-1).

    aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

  3. Execute o comando . No resultado, anote a"Value" propriedade.

    Esse valor é o ID da Imagem de máquina daDataSync Amazon (AMI) da região da. Por exemplo, uma ID de AMI poderia ter a aparência deami-1234567890abcdef0.

  4. Copie o seguinte URL. Novamente,vpc-region substitua peloRegião da AWS local em que sua VPC reside. Em seguida,ami-id substitua pelo ID da AMI que você guardou na etapa anterior.

    https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

  5. Cole o URL no navegador.

    A página de lançamento da instância do Amazon EC2 nasAWS Management Console telas.

  6. Em Tipo de instância, escolha uma das instâncias recomendadas do Amazon EC2 paraDataSync agentes.

  7. Em Key pair pair pair pair, escolha um par de chaves existente ou crie uma novo.

  8. Para Configurações de rede, escolha a VPC e a sub-rede em que você deseja implantar o agente.

  9. Escolha Iniciar instância.

  10. Depois que a instância do Amazon EC2 estiver em execução, escolha seu endpoint de VPC.

  11. Ative seu agente.

Etapa 4: criar um localDataSync de origem para seu bucket do Google Cloud Storage

Para configurar umDataSync local para seu bucket do Google Cloud Storage, você precisa do ID de acesso e do segredo da chave HMAC que você criou na Etapa 1.

Para criar o localDataSync de origem

  1. Abra oAWS DataSync console em https://console.aws.amazon.com/datasync/.

  2. No painel de navegação esquerdo, expanda Transferência de dados e escolha Localizações e Criar localização.

  3. Em Tipo de localização, escolha Armazenamento de objetos.

  4. Para Agentes, escolha o agente que você criou na Etapa 3.

  5. Em Servidor, insirastorage.googleapis.com.

  6. Em Nome do bucket, insira o nome do seu bucket do Google Cloud Storage.

  7. Expanda Additional settings (Configurações adicionais). Para Protocolo de servidor, escolha HTTPS. Em Porta de servidor, escolha 443.

  8. Role para baixo até a seção Autenticação. Certifique-se de que a caixa de seleção Exigir credenciais esteja marcada e faça o seguinte:

    • Em Chave de acesso, insira o ID de acesso da sua chave HMAC.

    • Em Chave secreta, insira o segredo da sua chave HMAC.

  9. Escolha Criar localização.

Etapa 5: criar um local deDataSync destino para seu bucket S3

Você precisa de umDataSync local para onde deseja que seus dados cheguem.

Para criar o localDataSync de destino

  1. Abra oAWS DataSync console em https://console.aws.amazon.com/datasync/.

  2. No painel de navegação esquerdo, expanda Transferência de dados e escolha Localizações e Criar localização.

  3. Crie umDataSync local para o bucket do S3.

    Se você implantou oDataSync agente em sua VPC, este tutorial pressupõe que o bucket do S3 está noRegião da AWS mesmo nível que sua VPC e seuDataSync agente.

Etapa 6: Criar e iniciar umaDataSync tarefa

Com seus locais de origem e destino configurados, você pode começar a mover seus dados para oAWS.

Para criar e iniciar aDataSync tarefa

  1. Abra oAWS DataSync console em https://console.aws.amazon.com/datasync/.

  2. No painel de navegação esquerdo, expanda Transferência de dados, escolha Tarefas e escolha Criar tarefa.

  3. Na página Configurar localização de origem, faça o seguinte:

    1. Escolha Escolher um local existente.

    2. Escolha o local de origem que você criou na Etapa 4 e escolha Avançar.

  4. Na página Configurar local de destino, faça o seguinte:

    1. Escolha Escolher um local existente.

    2. Escolha o local de destino que você criou na Etapa 5 e escolha Avançar.

  5. Na página Definir configurações, faça o seguinte:

    1. Em Configuração de transferência de dados, expanda Configurações adicionais e desmarque a caixa de seleção Copiar tags de objeto.

      Importante

      ComoDataSync se comunica com o Google Cloud Storage usando a API Amazon S3, há uma limitação que pode fazer com que suaDataSync tarefa falhe se você tentar copiar tags de objeto.

    2. Defina qualquer outra configuração de tarefa que você desejar e escolha Avançar.

  6. Na página Review, reveja suas configurações, e escolha Criar tarefa.

  7. Na página de detalhes da tarefa, escolha Iniciar e escolha uma das seguintes opções:

    • Para executar a tarefa sem modificação, escolha Iniciar com padrões.

    • Para modificar a tarefa antes de executá-la, escolha Iniciar com opções de substituição.

Quando sua tarefa terminar, você verá os objetos do seu bucket do Google Cloud Storage em seu bucket do S3.