AWS DataSync Übertragungen mit Google Cloud Storage konfigurieren - AWS DataSync
ÜbersichtKostenVoraussetzungenEinen HMAC-Schlüssel für Ihren Google Cloud Storage-Bucket erstellenSchritt 2: Konfigurieren Sie Ihr NetzwerkSchritt 3: Erstellen Sie einen Agenten DataSyncSchritt 4: Erstellen Sie einen DataSync Quellspeicherort für Ihren Google Cloud Storage-BucketSchritt 5: Erstellen Sie einen DataSync Zielort für Ihren S3-BucketSchritt 6: Eine Aufgabe erstellen und starten DataSync

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AWS DataSync Übertragungen mit Google Cloud Storage konfigurieren

Das folgende Tutorial zeigt, wie Sie AWS DataSync Objekte von einem Google Cloud Storage-Bucket in einen Amazon S3 S3-Bucket migrieren können.

Übersicht

Da es DataSync in die Google Cloud Storage XML-API integriert ist, können Sie Objekte in Amazon S3 kopieren, ohne Code schreiben zu müssen. Wie das funktioniert, hängt davon ab, wo Sie den DataSync Agenten einsetzen, der die Übertragung erleichtert.

Agent in Google Cloud

  1. Sie stellen einen DataSync Agenten in Ihrer Google Cloud-Umgebung bereit.

  2. Der Agent liest Ihren Google Cloud Storage-Bucket mithilfe eines Hash-basierten HMAC-Schlüssels (Message Authentication Code).

  3. Die Objekte aus Ihrem Google Cloud Storage-Bucket werden mithilfe eines öffentlichen Endpunkts sicher über TLS 1.3 in den AWS Cloud übertragen.

  4. Der DataSync Dienst schreibt die Daten in Ihren S3-Bucket.

Das folgende Diagramm veranschaulicht die Übertragung.

Eine DataSync Beispielübertragung zeigt, wie Objektdaten von einem Google Cloud Storage-Bucket in einen S3-Bucket übertragen werden. Zunächst wird der DataSync Agent in Ihrer Google Cloud-Umgebung bereitgestellt. Anschließend liest der DataSync Agent den Google Cloud Storage-Bucket. Die Daten werden sicher über einen öffentlichen Endpunkt in einen S3-Bucket übertragen AWS, wo sie in den gleichen S3-Bucket DataSync geschrieben werden AWS-Region , den Sie verwenden DataSync.
Agent in your VPC

  1. Sie stellen einen DataSync Agenten in einer Virtual Private Cloud (VPC) in Ihrer AWS Umgebung bereit.

  2. Der Agent liest Ihren Google Cloud Storage-Bucket mithilfe eines Hash-basierten HMAC-Schlüssels (Message Authentication Code).

  3. Die Objekte aus Ihrem Google Cloud Storage-Bucket werden AWS Cloud mithilfe eines privaten VPC-Endpunkts sicher über TLS 1.3 in den übertragen.

  4. Der DataSync Dienst schreibt die Daten in Ihren S3-Bucket.

Das folgende Diagramm veranschaulicht die Übertragung.

Eine DataSync Beispielübertragung zeigt, wie Objektdaten von einem Google Cloud Storage-Bucket in einen S3-Bucket übertragen werden. Zunächst wird der DataSync Agent in einer VPC bereitgestellt. AWS Anschließend liest der DataSync Agent den Google Cloud Storage-Bucket. Die Daten werden sicher über einen VPC-Endpunkt in einen VPC-Endpunkt übertragen AWS, wo die Objekte in einen S3-Bucket in derselben AWS-Region VPC DataSync geschrieben werden.

Kosten

Die mit dieser Migration verbundenen Gebühren beinhalten:

  • Ausführen einer virtuellen Maschine (VM) von Google Compute Engine (wenn Sie Ihren DataSync Agenten in Google Cloud bereitstellen)

  • Ausführen einer EC2Amazon-Instance (wenn Sie Ihren DataSync Agenten in einer VPC innerhalb AWS bereitstellen)

  • Übertragung der Daten über DataSync, einschließlich der Gebühren für Anfragen im Zusammenhang mit Google Cloud Storage und Amazon S3 (falls S3 einer Ihrer Übertragungsorte ist)

  • Übertragung von Daten aus Google Cloud Storage

  • Speichern von Daten in Amazon S3

Voraussetzungen

Bevor Sie beginnen, gehen Sie wie folgt vor, falls Sie dies noch nicht getan haben:

Einen HMAC-Schlüssel für Ihren Google Cloud Storage-Bucket erstellen

DataSync verwendet einen HMAC-Schlüssel, der mit Ihrem Google-Dienstkonto verknüpft ist, um sich bei dem Bucket zu authentifizieren und den Bucket zu lesen, aus dem Sie Daten übertragen. (Eine ausführliche Anleitung zum Erstellen von HMAC-Schlüsseln finden Sie in der Google Cloud Storage-Dokumentation.)

Um einen HMAC-Schlüssel zu erstellen

  1. Erstellen Sie einen HMAC-Schlüssel für Ihr Google-Dienstkonto.

  2. Stellen Sie sicher, dass Ihr Google-Dienstkonto mindestens über Storage Object Viewer Berechtigungen verfügt.

  3. Speichern Sie die Zugriffs-ID und das Geheimnis Ihres HMAC-Schlüssels an einem sicheren Ort.

    Sie benötigen diese Elemente später, um Ihren DataSync Quellstandort zu konfigurieren.

Schritt 2: Konfigurieren Sie Ihr Netzwerk

Die Netzwerkanforderungen für diese Migration hängen davon ab, wie Sie Ihren DataSync Agenten einsetzen möchten.

Wenn Sie Ihren DataSync Agenten in Google Cloud hosten möchten, konfigurieren Sie Ihr Netzwerk so, dass DataSync Übertragungen über einen öffentlichen Endpunkt möglich sind.

Wenn Sie Ihren Agenten hosten möchten AWS, benötigen Sie eine VPC mit einem Schnittstellenendpunkt. DataSync verwendet den VPC-Endpunkt, um die Übertragung zu erleichtern.

So konfigurieren Sie Ihr Netzwerk für einen VPC-Endpunkt

  1. Wenn Sie noch keine haben, erstellen Sie eine VPC in derselben Umgebung AWS-Region wie in Ihrem S3-Bucket.

  2. Erstellen Sie ein privates Subnetz für Ihre VPC.

  3. Erstellen Sie einen VPC-Serviceendpunkt für DataSync.

  4. Konfigurieren Sie Ihr Netzwerk so, dass DataSync Übertragungen über einen VPC-Serviceendpunkt möglich sind.

    Ändern Sie dazu die Sicherheitsgruppe, die Ihrem VPC-Dienstendpunkt zugeordnet ist.

Schritt 3: Erstellen Sie einen Agenten DataSync

Sie benötigen einen DataSync Agenten, der auf Ihren Google Cloud Storage-Bucket zugreifen und diesen lesen kann.

In diesem Szenario wird der DataSync Agent in Ihrer Google Cloud-Umgebung ausgeführt.

Bevor Sie beginnen: Installieren Sie die Google Cloud CLI.

Um den Agenten für Google Cloud zu erstellen

  1. Öffnen Sie die AWS DataSync Konsole unter https://console.aws.amazon.com/datasync/.

  2. Wählen Sie im linken Navigationsbereich Agents und anschließend Create Agent aus.

  3. Wählen Sie für Hypervisor die Option Image herunterladen aus VMware ESXi, um eine .zip Datei herunterzuladen, die den Agenten enthält.

  4. Öffnen Sie ein -Terminalfenster. Entpacken Sie das Image, indem Sie den folgenden Befehl ausführen:

    unzip AWS-DataSync-Agent-VMWare.zip

  5. Extrahieren Sie den Inhalt der .ova Agentendatei, aws-datasync indem Sie zunächst den folgenden Befehl ausführen:

    tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova

  6. Importieren Sie die .vmdk Agentendatei in Google Cloud, indem Sie den folgenden Google Cloud CLI-Befehl ausführen:

    gcloud compute images import aws-datasync-2-test \
   --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
   --os centos-7
    Anmerkung

    Das Importieren der .vmdk Datei kann bis zu zwei Stunden dauern.

  7. Erstellen und starten Sie eine VM-Instanz für das Agenten-Image, das Sie gerade importiert haben.

    Die Instanz benötigt die folgenden Konfigurationen für Ihren Agenten. (Detaillierte Anweisungen zum Erstellen einer Instanz finden Sie in der Google Cloud Compute Engine-Dokumentation.)

    • Wählen Sie für den Maschinentyp eine der folgenden Optionen aus:

      • e2-standard-8 — Für DataSync Aufgabenausführungen, die mit bis zu 20 Millionen Objekten arbeiten.

      • e2-standard-16 — Für DataSync Aufgabenausführungen, die mit mehr als 20 Millionen Objekten arbeiten.

    • Die Einstellungen für die Startdiskette finden Sie im Abschnitt Benutzerdefinierte Images. Wählen Sie dann das DataSync Agent-Image aus, das Sie gerade importiert haben.

    • Wählen Sie für die Einstellungen für das Dienstkonto Ihr Google-Dienstkonto aus (dasselbe Konto, das Sie in Schritt 1 verwendet haben).

    • Wählen Sie für die Firewall-Einstellung die Option, HTTP-Verkehr (Port 80) zuzulassen.

      Um Ihren DataSync Agenten zu aktivieren, muss Port 80 auf dem Agenten geöffnet sein. Der Port muss nicht öffentlich zugänglich sein. Nach der Aktivierung wird der Port DataSync geschlossen.

  8. Notieren Sie sich nach dem Ausführen der VM-Instanz ihre öffentliche IP-Adresse.

    Sie benötigen diese IP-Adresse, um den Agenten zu aktivieren.

  9. Gehen Sie zurück zur DataSync Konsole. Gehen Sie auf dem Bildschirm Create Agent (Agent erstellen), in den Sie das Agenten-Image heruntergeladen haben, wie folgt vor, um Ihren Agenten zu aktivieren:

    • Wählen Sie als Endpunkttyp die Option Public Service Endpoints aus (z. B. Public Service Endpoints in US East Ohio).

    • Wählen Sie unter Aktivierungsschlüssel die Option Automatisch den Aktivierungsschlüssel von Ihrem Agenten abrufen aus.

    • Geben Sie als Agentenadresse die öffentliche IP-Adresse der Agent-VM-Instanz ein, die Sie gerade erstellt haben.

    • Wählen Sie Schlüssel abrufen aus.

  10. Geben Sie Ihrem Agenten einen Namen und wählen Sie dann Create Agent aus.

Ihr Agent ist online und bereit, Daten zu übertragen.

In diesem Szenario wird der Agent als EC2 Amazon-Instance in einer VPC ausgeführt, die mit Ihrer AWS-Konto verknüpft ist.

Bevor Sie beginnen: Richten Sie die AWS Command Line Interface (AWS CLI) ein.

Um den Agenten für Ihre VPC zu erstellen

  1. Öffnen Sie ein -Terminalfenster. Stellen Sie sicher, dass Sie Ihr AWS CLI Profil so konfigurieren, dass es das Konto verwendet, das Ihrem S3-Bucket zugeordnet ist.

  2. Kopieren Sie den folgenden Befehl. vpc-regionErsetzen Sie durch den AWS-Region Ort, an dem sich Ihre VPC befindet (z. B.us-east-1).

    aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

  3. Führen Sie den Befehl aus. Notieren Sie sich in der Ausgabe die "Value" Eigenschaft.

    Dieser Wert ist die DataSync Amazon Machine Image (AMI) -ID der Region, die Sie angegeben haben. Eine AMI-ID könnte beispielsweise so aussehenami-1234567890abcdef0.

  4. Kopieren Sie die folgende URL. Ersetzen Sie erneut vpc-region durch den Ort, AWS-Region an dem sich Ihre VPC befindet. Ersetzen Sie es dann ami-id durch die AMI-ID, die Sie im vorherigen Schritt notiert haben.

    https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

  5. Fügen Sie die URL in einen Browser ein.

    Die Startseite der EC2 Amazon-Instance AWS Management Console wird angezeigt.

  6. Wählen Sie unter Instance-Typ eine der empfohlenen EC2 Amazon-Instances für DataSync Agenten aus.

  7. Wählen Sie für key pair ein vorhandenes Schlüsselpaar aus, oder erstellen Sie ein neues.

  8. Wählen Sie unter Netzwerkeinstellungen die VPC und das Subnetz aus, in denen Sie den Agenten bereitstellen möchten.

  9. Wählen Sie Launch Instance (Instance starten) aus.

  10. Sobald die EC2 Amazon-Instance läuft, wählen Sie Ihren VPC-Endpunkt aus.

  11. Aktivieren Sie Ihren Agenten.

Schritt 4: Erstellen Sie einen DataSync Quellspeicherort für Ihren Google Cloud Storage-Bucket

Um einen DataSync Speicherort für Ihren Google Cloud Storage-Bucket einzurichten, benötigen Sie die Zugriffs-ID und das Geheimnis für den HMAC-Schlüssel, den Sie in Schritt 1 erstellt haben.

Um den DataSync Quellspeicherort zu erstellen

  1. Öffnen Sie die AWS DataSync Konsole unter https://console.aws.amazon.com/datasync/.

  2. Erweitern Sie im linken Navigationsbereich die Option Datenübertragung und wählen Sie dann Standorte und Standort erstellen aus.

  3. Wählen Sie als Standorttyp die Option Objektspeicher aus.

  4. Wählen Sie für Agenten den Agenten aus, den Sie in Schritt 3 erstellt haben.

  5. Geben Sie für Server einstorage.googleapis.com.

  6. Geben Sie als Bucket-Namen den Namen Ihres Google Cloud Storage-Buckets ein.

  7. Erweitern Sie Additional settings (Zusätzliche Einstellungen). Wählen Sie als Serverprotokoll HTTPS aus. Wählen Sie 443 für Serverport aus.

  8. Scrollen Sie nach unten zum Abschnitt Authentifizierung. Vergewissern Sie sich, dass das Kontrollkästchen Anmeldeinformationen erforderlich aktiviert ist, und gehen Sie dann wie folgt vor:

    • Geben Sie unter Zugriffsschlüssel die Zugriffs-ID Ihres HMAC-Schlüssels ein.

    • Geben Sie unter Geheimer Schlüssel den geheimen Schlüssel Ihres HMAC-Schlüssels ein.

  9. Wählen Sie Standort erstellen aus.

Schritt 5: Erstellen Sie einen DataSync Zielort für Ihren S3-Bucket

Sie benötigen einen DataSync Ort, an dem Ihre Daten landen sollen.

Um den DataSync Zielort zu erstellen

  1. Öffnen Sie die AWS DataSync Konsole unter https://console.aws.amazon.com/datasync/.

  2. Erweitern Sie im linken Navigationsbereich die Option Datenübertragung und wählen Sie dann Standorte und Standort erstellen aus.

  3. Erstellen Sie einen DataSync Standort für den S3-Bucket.

    Wenn Sie den DataSync Agenten in Ihrer VPC bereitgestellt haben, wird in diesem Tutorial davon ausgegangen, dass sich der S3-Bucket in derselben AWS-Region VPC und DataSync Ihrem Agenten befindet.

Schritt 6: Eine Aufgabe erstellen und starten DataSync

Wenn Ihre Quell- und Zielorte konfiguriert sind, können Sie damit beginnen, Ihre Daten dorthin zu verschieben AWS.

Um die DataSync Aufgabe zu erstellen und zu starten

  1. Öffnen Sie die AWS DataSync Konsole unter https://console.aws.amazon.com/datasync/.

  2. Erweitern Sie im linken Navigationsbereich die Option Datenübertragung, wählen Sie dann Aufgaben und anschließend Aufgabe erstellen aus.

  3. Gehen Sie auf der Seite Quellspeicherort konfigurieren wie folgt vor:

    1. Wählen Sie „Bestehenden Standort auswählen“.

    2. Wählen Sie den Quellspeicherort aus, den Sie in Schritt 4 erstellt haben, und klicken Sie dann auf Weiter.

  4. Gehen Sie auf der Seite Zielort konfigurieren wie folgt vor:

    1. Wählen Sie „Bestehenden Standort auswählen“.

    2. Wählen Sie den Zielort aus, den Sie in Schritt 5 erstellt haben, und klicken Sie dann auf Weiter.

  5. Gehen Sie auf der Seite „Einstellungen konfigurieren“ wie folgt vor:

    1. Erweitern Sie unter Konfiguration der Datenübertragung den Eintrag Zusätzliche Einstellungen und deaktivieren Sie das Kontrollkästchen Objekt-Tags kopieren.

      Wichtig

      Da DataSync die Kommunikation mit Google Cloud Storage über die Amazon S3 S3-API erfolgt, gibt es eine Einschränkung, die dazu führen kann, dass Ihre DataSync Aufgabe fehlschlägt, wenn Sie versuchen, Objekt-Tags zu kopieren.

    2. Konfigurieren Sie alle anderen Aufgabeneinstellungen, die Sie möchten, und wählen Sie dann Weiter.

  6. Überprüfen Sie auf der Seite Überprüfen Ihre Einstellungen und wählen Sie dann Aufgabe erstellen aus.

  7. Wählen Sie auf der Detailseite der Aufgabe die Option Start und dann eine der folgenden Optionen aus:

    • Um die Aufgabe ohne Änderungen auszuführen, wählen Sie Mit Standardeinstellungen beginnen.

    • Um die Aufgabe vor der Ausführung zu ändern, wählen Sie Mit überschreibenden Optionen beginnen.

Wenn Ihre Aufgabe abgeschlossen ist, sehen Sie die Objekte aus Ihrem Google Cloud Storage-Bucket in Ihrem S3-Bucket.