Konfiguration vonAWS DataSync Übertragungen mit Azure Blob Storage - AWS DataSync
Zugreifen auf Azure Blob StorageBlob-TypenEinrichtungErstellen Sie IhrenDataSync AgentenIhren Azure Blob Storage-Übertragungsort erstellenIhren Azure Blob Storage-Übertragungsort anzeigenAktualisierung Ihres Azure Blob Storage-ÜbertragungsortsVerarbeiten von MetadatenEinschränkungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfiguration vonAWS DataSync Übertragungen mit Azure Blob Storage

Bei dieser Funktion handelt es sich um eine Vorversion von AWS DataSync, die Änderungen unterliegt.

Um Blobs (auch als Objekte bezeichnet) aus Azure Blob Storage zu übertragen, müssen Sie einenAWS DataSync Übertragungsort erstellen. Sie können Ihre Blobs dann in jedenAWS Speicherdienst verschieben, der diesDataSync unterstützt.

Zugreifen auf Azure Blob Storage

Um Ihre Objekte zu übertragen,DataSync benötigen Sie die Erlaubnis, Ihren Azure Blob Storage zu lesen. Ihre Objekte müssen sich außerdem in einer Zugriffsebene befinden, mit derDataSync Sie arbeiten können.

SAS-Token

Ein SAS-Token (Shared Access Signature) spezifiziert die Zugriffsberechtigungen für Ihren Blob-Speicher. (Weitere Informationen zu SAS finden Sie in der Azure Blob Storage-Dokumentation.)

Sie können SAS-Token auf verschiedenen Zugriffsebenen generieren. DataSyncunterstützt Tokens mit den folgenden Zugriffsebenen:

  • Account

  • Container

  • Ordner

UmDataSync den Zugriff zu gewähren, den es für Ihre Übertragung benötigt, muss Ihr SAS-Token mindestens über Lese- und Listenberechtigungen verfügen. Je nach Zugriffsebene müssen Sie das Token möglicherweise auch mit anderen Berechtigungen konfigurieren. Beispielsweise erfordert ein Token mit Zugriff auf Kontoebene mehr Berechtigungen als ein Token mit Zugriff auf Ordnerebene.

SAS-Token-Berechtigungen für den Zugriff auf Kontoebene

DataSyncerfordert, dass Sie ein Zugriffstoken auf Kontoebene mit den folgenden Berechtigungen konfigurieren:

  • Erlaubte Dienste — Blob

  • Zulässige Ressourcentypen — Container, Objekt (wenn Sie diese Berechtigungen nicht angeben,DataSync können Ihre Objektmetadaten nicht übertragen werden)

  • Erlaubte Berechtigungen — Lesen, Auflisten

  • Erlaubte Blob-Indexberechtigungen — Lesen/Schreiben (wenn Sie Objekt-Tags kopierenDataSync möchten)

SAS-Token-Berechtigungen für den Zugriff auf Container-Ebene

DataSyncerfordert, dass Sie ein Zugriffstoken auf Containerebene mit den folgenden Berechtigungen konfigurieren:

  • Lesen

  • Auflisten

  • Tag (wenn Sie Objekt-Tags kopierenDataSync möchten)

    Anmerkung

    Sie können die optionale Tag-Berechtigung nicht hinzufügen, wenn Sie ein SAS-Token im Azure-Portal generieren. Um die Berechtigung hinzuzufügen, generieren Sie das Token stattdessen mithilfe der Azure Storage Explorer-App oder generieren Sie ein SAS-Token, das Zugriff auf Kontoebene ermöglicht.

SAS-Token-Berechtigungen für den Zugriff auf Ordnerebene

Wenn Sie Azure Data Lake Storage Gen2 mit Ihrem Blob-Speicher verwenden, können SieDataSync ein SAS-Token bereitstellen, das nur den Zugriff auf einen bestimmten Ordner in Ihrem Container ermöglicht.

DataSyncerfordert, dass Sie ein Zugriffstoken auf Ordnerebene mit den folgenden Berechtigungen konfigurieren:

  • Lesen

  • Auflisten

Weitere Informationen zur Konfiguration dieser Art von Token finden Sie in der Azure Blob Storage-Dokumentation.

Wenn Sie Ihren Azure Blob Storage-Speicherort für erstellenDataSync, müssen Sie den vollständigen Pfad zu demselben Ordner angeben.

SAS-Verfallsrichtlinien

Stellen Sie sicher, dass Ihr SAS nicht abläuft, bevor Sie mit dem Abschluss Ihrer Übertragung rechnen. Informationen zur Konfiguration einer SAS-Ablaufrichtlinie finden Sie in der Azure Blob Storage-Dokumentation.

Wenn der SAS während der Übertragung abläuft, kann er nicht mehr auf Ihren Azure Blob Storage-Standort zugreifen (möglicherweiseDataSync wird ein Fehler beim Öffnen des Verzeichnisses angezeigt). In diesem Fall müssen Sie Ihren Standort mit einem neuen SAS-Token aktualisieren und IhreDataSync Aufgabe neu starten.

Zuzugansstufen

DataSynckann Azure Blob Storage-Objekte auf den Ebenen „Hot“ oder „Cold“ übertragen. Es überspringt die Übertragung von Objekten auf der Archivzugriffsebene. Sie müssen Objekte aus der Archivierungsebene auf die heiße oder kalte Ebene rehydrieren, bevor Sie sie übertragen können.

Blob-Typen

DataSynckann jeden Blob-Typ übertragen, einschließlich Block-, Page- und Append-Blobs. Weitere Informationen finden Sie in der Azure Blob Storage-Dokumentation.

Einrichtung

Derzeit können Sie diese Funktion nur mit derDataSync KonsoleAWS Command Line Interface, oder verwendenAWS SDK for Java 2.x.

Anmerkung

Wenn Sie dieDataSync Konsole verwenden, ist kein Setup erforderlich.

Einrichtung mit demAWS CLI

Die folgenden Anweisungen beschreiben, wie Sie die AWS Command Line Interface(AWS CLI) Version 2 einrichten, um diese Funktion zu verwenden.

Einrichten der AWS CLI

  1. Laden Sie dasDataSync API-Modell herunter und entpacken Sie die JSON-Datei.

  2. Führen Sie den folgenden Befehl aus, um das Dienstmodell zu IhrerAWS CLI Konfiguration hinzuzufügen.

    In diesem Beispiel wird eindatasync-azure-blob Dienstname erstellt. Sie können einen anderen Namen eingeben.

    aws configure add-model \
  --service-model file://datasync-service-model.json \
  --service-name datasync-azure-blob

Sobald Sie das Modell hinzugefügt haben, können Sie diese Funktion mit dem verwendenAWS CLI.

Einrichtung mit demAWS SDK for Java 2.x

In den folgenden Anweisungen wird beschrieben, wie Sie die einrichtenAWS SDK for Java 2.x, um diese Funktion zu verwenden.

Um das SDK for Java 2.x einzurichten

  1. Stellen Sie sicher, dass Sie dieAwsJavaSdk-DataSync-2.0.jar Datei haben. Wenn nicht, wenden Sie sich an IhrenDataSync Ansprechpartner.

  2. Überprüfen Sie in Ihrem Maven-Projekt diepom.xml Datei auf eine explizite Abhängigkeit vomDataSync Java SDK. Wenn es keine gibt, erstellen Sie die Abhängigkeit anhand des folgenden Beispiels:

    <dependency>
    <groupId>software.amazon.awssdk</groupId>
    <artifactId>datasync</artifactId>
    <version>2.17.290</version>
</dependency>

  3. Führen Sie den Befehl aus:

    mvn org.apache.maven.plugins:maven-install-plugin:3.0.0-M1:install-file \
    --batch-mode -Dfile=/AwsJavaSdk-DataSync-2.0.jar \
    -DgroupId=software.amazon.awssdk \
    -DartifactId=datasync \
    -Dversion=2.17.290 \
    -Dpackaging=jar

    Beachten Sie die folgenden Dinge:

    • Stellen Sie sicher, dass Sie den richtigen Pfad für dieAwsJavaSdk-DataSync-2.0.jar Datei verwenden.

    • Die2.17.290 Version ist ein Beispiel.

Erstellen Sie IhrenDataSync Agenten

Sie benötigen einenDataSync Agenten, der eine Verbindung zu Ihrem Azure Blob Storage-Container herstellen kann. Der Agent liest Ihren Behälter und erleichtert den Transport Ihrer ObjekteAWS.

So erstellen Sie einen Agenten

  1. Laden Sie einen Amazon-EC2-Agenten herunter und stellen Sie ihn in einer Virtual Private Cloud (VPC) in IhrerAWS Umgebung ein.

  2. Geben Sie einen VPC-Dienstendpunkt an, mit dem der Agent kommuniziertAWS.

  3. Konfigurieren Sie Ihr Netzwerk für die Arbeit mit VPC-Endpunkten.

  4. Aktiviere den Agenten.

Ihren Azure Blob Storage-Übertragungsort erstellen

Sie können so konfigurierenDataSync, dass ein vorhandener Azure Blob Storage-Container als Quellort für Ihre Übertragung verwendet wird.

Bevor Sie beginnen: Stellen Sie sicher, dass Sie wissen, wieDataSync auf Ihren Azure Blob Storage zugegriffen wird und wie die Zugriffsebenen für Blob-Speicher verwendet werden.

  1. Öffnen Sie dieAWS DataSync Konsole unter https://console.aws.amazon.com/datasync/.

  2. Erweitern Sie im linken Navigationsbereich die Option Datenübertragung und wählen Sie dann Standorte und Standort erstellen aus.

  3. Wählen Sie als Standorttyp Microsoft Azure Blob Storage aus.

  4. Wählen Sie für Agents denDataSync Agenten aus, der eine Verbindung mit Ihrem Azure Blob Storage-Container herstellen kann.

    Sie können mehr als einen Agenten auswählen. Weitere Informationen finden Sie unter Verwenden Sie mehrere AWS DataSync Agenten für Ihre Überweisung.

  5. Geben Sie als Container-URL die URL des Containers ein, der an Ihrer Übertragung beteiligt ist.

  6. Geben Sie für Ordner Pfadsegmente ein, wenn Sie Ihre Übertragung auf ein virtuelles Verzeichnis in Ihrem Container beschränken möchten (z. B./my/images).

    DataSynckopiert nur Objekte mit diesen Pfadsegmenten.

    Wichtig

    Wenn Ihr SAS-Token nur den Zugriff auf einen Ordner ermöglicht, müssen Sie hier den vollständigen Pfad zu diesem Ordner angeben, damit Ihre Übertragung funktioniert.

  7. Geben Sie als SAS-Token das SAS-Token ein, dasDataSync den Zugriff auf Ihren Blob-Speicher ermöglicht.

    Das Token ist Teil der SAS-URI-Zeichenfolge, die nach dem URI der Speicherressource und einem Fragezeichen steht. Ein Token sieht etwa folgendermaßen aus:

    sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  8. (Optional) Geben Sie Werte für die Felder Schlüssel und Wert ein, um den Standort zu kennzeichnen.

    Mithilfe von Tags können Sie IhreAWS Ressourcen verwalten, filtern und suchen. Wir empfehlen, zumindest ein Namensschild für Ihren Standort zu erstellen.

  9. Wählen Sie Standort erstellen.

Anmerkung

Die folgenden Anweisungen verwenden dendatasync-azure-blob Befehl, aber Sie können diesen Befehl auch anders benennen. Weitere Informationen finden Sie unter Einrichtung mit demAWS CLI.

  1. Kopieren Sie den folgendencreate-location-azure-blob Befehl:

    aws datasync-azure-blob create-location-azure-blob \
  --container-url "https://path/to/container" \
  --authentication-type "SAS" \
  --sas-configuration '{
      "Token": "your-sas-token"
    }' \
  --agent-arns my-datasync-agent-arn \
  --subdirectory "/path/to/my/data" \
  --tags [{"Key": "key1","Value": "value1"}]

  2. Geben Sie für den--container-url Parameter die URL des Azure Blob Storage-Containers an, der an Ihrer Übertragung beteiligt ist.

  3. Geben Sie für den--authentication-type Parameter anSAS.

  4. Geben Sie für dieToken Option des--sas-configuration Parameters das SAS-Token an, dasDataSync den Zugriff auf Ihren Blob-Speicher ermöglicht.

    Das Token ist Teil der SAS-URI-Zeichenfolge, die nach dem URI der Speicherressource und einem Fragezeichen steht. Ein Token sieht etwa folgendermaßen aus:

    sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  5. Geben Sie--agent-arns unter den Amazon-Ressourcennamen (ARN) desDataSync Agents an, der eine Verbindung zu Ihrem Container herstellen kann.

    Ein Beispiel für einen Agent-ARN:arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

    Sie können mehr als einen Agenten angeben. Weitere Informationen finden Sie unter Verwenden Sie mehrere AWS DataSync Agenten für Ihre Überweisung.

  6. Geben Sie für den--subdirectory Parameter Pfadsegmente an, wenn Sie Ihre Übertragung auf ein virtuelles Verzeichnis in Ihrem Container beschränken möchten (z. B./my/images).

    DataSynckopiert nur Objekte mit diesen Pfadsegmenten.

    Wichtig

    Wenn Ihr SAS-Token nur den Zugriff auf ein Unterverzeichnis (oder einen Ordner) ermöglicht, müssen Sie hier den vollständigen Pfad zu diesem Unterverzeichnis angeben, damit Ihre Übertragung funktioniert.

  7. (Optional) Geben Sie--tags unter Parameter Schlüssel-Wert-Paare an, mit denen Sie Ihren Standort verwalten, filtern und suchen können.

    Wir empfehlen, ein Namensschild für Ihren Standort zu erstellen.

  8. Führen Sie den Befehl create-location-azure-blob aus.

    Sie erhalten eine Antwort, die Ihnen den ARN des von Ihnen erstellten Standorts zeigt. Beispiel:

    { 
    "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh" 
}

Ihren Azure Blob Storage-Übertragungsort anzeigen

Sie können Details zu Ihrem vorhandenen Azure Blob Storage-Standort abrufen.

  1. Öffnen Sie dieAWS DataSync Konsole unter https://console.aws.amazon.com/datasync/.

  2. Wählen Sie im linken Navigationsbereich die Option Standorte aus.

  3. Wählen Sie Ihren Azure Blob Storage-Standort.

    Sie können Details zu Ihrem Standort einsehen, einschließlich allerDataSync Aufgaben, die ihn verwenden.

Anmerkung

Die folgenden Anweisungen verwenden dendatasync-azure-blob Befehl, aber Sie können diesen Befehl auch anders benennen. Weitere Informationen finden Sie unter Einrichtung mit demAWS CLI.

  1. Kopieren Sie den folgendendescribe-location-azure-blob Befehl:

    aws datasync-azure-blob describe-location-azure-blob \
  --location-arn "your-azure-blob-location-arn"

  2. Geben Sie für den--location-arn Parameter den ARN für den Azure Blob Storage-Standort an, den Sie erstellt haben.

  3. Führen Sie den Befehl describe-location-azure-blob aus.

    Sie erhalten eine Antwort, die Ihnen Details zu Ihrem Standort zeigt. Beispiel:

    {
    "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh",
    "LocationUri": "azure-blob://my-user.blob.core.windows.net/container-1",
    "AuthenticationType": "SAS",
    "Subdirectory": "/my/images",
    "AgentArns": ["arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb"],
}

Aktualisierung Ihres Azure Blob Storage-Übertragungsorts

Bei Bedarf können Sie die Konfiguration Ihres Standorts ändern.

Anmerkung

Das kannst du mit derDataSync Konsole nicht machen.

Anmerkung

Die folgenden Anweisungen verwenden dendatasync-azure-blob Befehl, aber Sie können diesen Befehl auch anders benennen. Weitere Informationen finden Sie unter Einrichtung mit demAWS CLI.

  1. Kopieren Sie den folgendenupdate-location-azure-blob Befehl:

    aws datasync-azure-blob update-location-azure-blob \
  --location-arn "your-azure-blob-location-arn" \
  --authentication-type "SAS" \
  --sas-configuration '{
      "Token": "your-sas-token"
    }' \
  --agent-arns my-datasync-agent-arn \
  --subdirectory "/path/to/my/data"

  2. Geben Sie für den--location-arn Parameter den ARN für den Azure Blob Storage-Standort an, den Sie aktualisieren.

  3. Geben Sie für den--authentication-type Parameter anSAS.

  4. Geben Sie für dieToken Option des--sas-configuration Parameters das SAS-Token an, dasDataSync den Zugriff auf Ihren Blob-Speicher ermöglicht.

    Das Token ist Teil der SAS-URI-Zeichenfolge, die nach dem URI der Speicherressource und einem Fragezeichen steht. Ein Token sieht etwa folgendermaßen aus:

    sp=r&st=2022-12-20T14:54:52Z&se=2022-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=qCBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  5. Geben Sie--agent-arns unter den Amazon-Ressourcennamen (ARN) desDataSync Agents an, den Sie mit Ihrem Container verbinden möchten.

    Ein Beispiel für einen Agent-ARN:arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

    Sie können mehr als einen Agenten angeben. Weitere Informationen finden Sie unter Verwenden Sie mehrere AWS DataSync Agenten für Ihre Überweisung.

  6. Geben Sie für den--subdirectory Parameter Pfadsegmente an, wenn Sie Ihre Übertragung auf ein virtuelles Verzeichnis in Ihrem Container beschränken möchten (z. B./my/images).

    DataSynckopiert nur Objekte mit diesen Pfadsegmenten.

    Wichtig

    Wenn Ihr SAS-Token nur den Zugriff auf ein Unterverzeichnis (oder einen Ordner) ermöglicht, müssen Sie hier den vollständigen Pfad zu diesem Unterverzeichnis angeben, damit Ihre Übertragung funktioniert.

Verarbeiten von Metadaten

WieDataSync mit Metadaten bei der Übertragung von Azure Blob Storage umgegangen wird, hängt von Ihrem Zielstandort ab.

Wenn dein Ziel ist DataSynckann

  • Amazon S3

Kopieren Sie die folgenden Metadaten in das Ziel:

  • Benutzerdefinierte Objektmetadaten

  • Objekt-Tags

  • Die folgenden systemdefinierten Objektmetadaten:

    • Content-Disposition

    • Content-Encoding

    • Content-Language

    • Content-Type

    Hinweis:DataSync Kopiert Systemmetadaten für alle Objekte während einer ersten Übertragung. Wenn Sie Ihre Aufgabe so konfigurieren, dass nur Daten übertragen werden, die sich geändert haben,DataSync werden bei nachfolgenden Übertragungen keine Systemmetadaten kopiert, es sei denn, der Inhalt oder die Benutzermetadaten eines Objekts wurden ebenfalls geändert.

  • Amazon EFS

  • FSx for Lustre

  • FSx für OpenZFS

  • FSx für ONTAP (mit NFS)

Wenden Sie Standard-POSIX-Metadaten auf die Zieldateien und -ordner an. Dieser Ansatz umfasst die Verwendung der standardmäßigen POSIX-Benutzer-ID- und Gruppen-ID-Werte.

  • FSx für Windows File Server

  • FSx für ONTAP (mit SMB)

Wenden Sie die folgenden Metadaten auf das Ziel an:

  • Datei- und Ordnerzeitstempel

  • Eigentümerschaft, die auf dem Windows-Benutzer basiert, den Sie bei der Erstellung IhresDataSync Zielstandorts angegeben haben

  • Vom übergeordneten Verzeichnis übernommene Berechtigungen

Einschränkungen

Die folgenden Einschränkungen gelten derzeit beim Verschieben von Daten aus Azure Blob Storage mitDataSync:

  • Sie können einen Azure Blob Storage-Standort in allen AWS-Regionunterstützten RegionenDataSync außer den RegionenAWS GovCloud (US) und China erstellen.

  • Sie können Azure Blob Storage nur als Quellspeicherort verwenden.

  • Bei der Übertragung zu Amazon S3DataSync werden keine Azure Blob Storage-Objekte übertragen, die größer als 5 TB sind.

  • Bei der Übertragung zu Amazon S3DataSync werden keine Azure Blob Storage-Objekte übertragen, deren Metadaten 2 KB überschreiten.