Jobs zum Exportieren von Daten aus Amazon S3 mit einem Snowball Edge-Gerät - AWS Snowball Edge Leitfaden für Entwickler

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Jobs zum Exportieren von Daten aus Amazon S3 mit einem Snowball Edge-Gerät

Anmerkung

Tags und Metadaten werden NOT derzeit unterstützt, d. h. alle Tags und Metadaten würden beim Exportieren von Objekten aus S3-Buckets entfernt.

Ihre Datenquelle für einen Exportauftrag sind ein oder mehrere Amazon S3 S3-Buckets. Nachdem die Daten für einen Auftragsteil von Amazon S3 auf ein AWS Snowball Edge Gerät übertragen wurden, können Sie einen Auftragsbericht herunterladen. Dieser Bericht führt die Objekte auf, bei denen die Übertragung auf das Gerät fehlgeschlagen ist. Weitere Informationen hierzu finden Sie in den Erfolgs- und Fehlerprotokollen zu Ihrem Auftrag.

Sie können für jeden Exportauftrag eine beliebige Anzahl von Objekten exportieren und dabei so viele Geräte verwenden, wie für den Abschluss der Übertragung erforderlich sind. Die Teile jedes AWS Snowball Edge Geräts für den Auftrag eines Exportauftrags werden nacheinander geliefert. Die nachfolgenden Geräte werden an Sie versendet, nachdem der vorherige Teil des Auftrags den AWS Status In Bearbeitung erhalten hat.

Wenn Sie Objekte mithilfe des Amazon S3 S3-Adapters oder des Bereitstellungspunkts von einem Gerät in Ihr lokales Datenziel kopieren, werden diese Objekte als Dateien gespeichert. NFS Beim Kopieren von Objekten an einen Speicherort, der bereits Dateien enthält, werden vorhandene Dateien gleichen Namens überschrieben. Die Export-Auftragsart umfasst außerdem lokale Datenverarbeitungs- und Speicherfunktionalität. Diese Funktion verwendet die Dateischnittstelle oder den Amazon S3 S3-Adapter zum Lesen und Schreiben von Daten und löst Lambda-Funktionen aus, die auf lokal auf dem AWS Snowball Edge Gerät ausgeführten Amazon S3 PUT API S3-Objektaktionen basieren.

Wenn wir AWS ein zurückgesandtes Gerät erhalten, löschen wir es gemäß den NIST 800-88-Standards vollständig.

Wichtig

Daten, die Sie auf ein Snow-Gerät exportieren möchten, müssen sich in Amazon S3 befinden. Alle Daten Amazon S3 Glacier , die Sie auf das Snow-Gerät exportieren möchten, müssen aufgetaut oder in die Speicherklasse S3 verschoben werden, bevor sie exportiert werden können. Tun Sie dies, bevor Sie den Snow-Exportauftrag erstellen.

Ändern, aktualisieren oder löschen Sie die exportierten Amazon S3 S3-Objekte erst, wenn Sie überprüfen können, ob alle Ihre Inhalte für den gesamten Job an Ihr lokales Datenziel kopiert wurden.

Wenn Sie einen Exportauftrag erstellen, können Sie einen gesamten Amazon S3 S3-Bucket oder einen bestimmten Bereich von Objektschlüsseln exportieren.

Verwenden von Amazon S3 S3-Objektschlüsseln beim Exportieren von Daten auf ein Snowball Edge-Gerät

Wenn Sie einen Exportauftrag in der Managementkonsole für die AWS Snow-Familieoder mit der Auftragsverwaltung erstellenAPI, können Sie einen gesamten Amazon S3 S3-Bucket oder einen bestimmten Bereich von Objektschlüsseln exportieren. Objektschlüsselnamen sind eindeutige Bezeichner für ein Objekt in einem Bucket. Um einen Bereich zu exportieren, definieren Sie die Länge des Bereichs entweder durch die Angabe des Bereichsanfangs oder des Bereichsendes (beide Werte gehören zum Bereich) oder durch beide Angaben.

Die Bereiche sind binär nach UTF -8 sortiert. UTF-8 Binärdaten werden wie folgt sortiert:

  • Die Zahlen 0—9 stehen vor englischen Groß- und Kleinbuchstaben.

  • Englische Großbuchstaben werden vor englischen Kleinbuchstaben eingeordnet.

  • Englische Kleinbuchstaben werden nach englischen Großbuchstaben und Ziffern eingeordnet.

  • Sonderzeichen werden zwischen den anderen Zeichensätzen eingeordnet.

Weitere Informationen zu den Besonderheiten von -8 finden Sie unter UTF -8 auf Wikipedia. UTF

Beispiele für die Verwendung von Amazon S3 S3-Objektschlüsseln beim Exportieren von Daten auf ein Snowball Edge-Gerät

Gehen Sie davon aus, dass Sie über einen Bucket verfügen, der die folgenden Objekte und Präfixe enthält, die in binärer Reihenfolge UTF -8 sortiert sind:

  • 01

  • Aardvark

  • Aardwolf

  • Aasvogel/apple

  • aasVogel/Arrow/Object1

  • Aasvogel/Pfeil/Objekt2

  • Aasvogel/banana

  • Aasvogel/Banker/Objekt 1

  • Aasvogel/Banker/Objekt2

  • Aasvogel/cherry

  • Banana

  • Car

Anfang des angegebenen Bereichs Ende des angegebenen Bereichs Objekte in dem Bereich, der exportiert werden soll
(Keine) (Keine) Alle Objekte in Ihrem Bucket
(Keine) Aasvogel

01

Aardvark

Aardwolf

Aasvogel/apple

aasVogel/Arrow/Object1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

(Keine) Aasvogel/banana

01

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel (Keine)

Aasvogel/apple

Aasvogel/Pfeil/Objekt1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

Banana

Car

Aardwolf (Keine)

Aardwolf

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

Banana

Car

Aar (Keine)

Aardvark

Aardwolf

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

Banana

Car

car (Keine)

Es werden keine Objekte exportiert. Sie erhalten außerdem eine Fehlermeldung, wenn Sie versuchen, den Auftrag zu erstellen. Beachten Sie, dass das Auto unter Car nach -8 Binärwerten sortiert ist. UTF

Aar Aarrr

Aardvark

Aardwolf

AAS/Vogel/Pfeil

Aasvogel/Arrox

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/apple Aasvogel/banana

Aasvogel/apple

Aasvogel/Pfeil/Objekt1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/apple Aasvogel/Bankier

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/apple Aasvogel/cherry

Aasvogel/apple

Aasvogel/Pfeil/Objekt 1

Aasvogel/Pfeil/Objekt2

Aasvogel/banana

Aasvogel/Banker/Objekt 1

Aasvogel/Banker/Objekt2

Aasvogel/cherry

Angenommen, Sie haben diese drei Buckets und möchten alle Objekte aus Ordner2 kopieren.

  • s3://bucket/folder1/

  • s3://bucket/folder2/

  • s3://bucket/folder3/

Der angegebene Bereich beginnt Ende des angegebenen Bereichs Objekte in dem Bereich, der exportiert werden soll
Ordner2/ Ordner2/ Alle Objekte im Bucket Folder2.

Bewährte Methoden für Jobs, die Daten von Amazon S3 auf ein Snowball Edge-Gerät exportieren

  • Stellen Sie sicher, dass sich die Daten in Amazon S3 befinden, und stapeln Sie kleine Dateien, bevor Sie den Job bestellen

  • Stellen Sie sicher, dass die Schlüsselbereiche in der Exportauftragsdefinition angegeben sind, wenn Sie Millionen von Objekten in Ihrem Bucket haben

  • Aktualisieren Sie Objektschlüssel, um den Schrägstrich im Namen zu entfernen, da Objekte mit abschließenden Schrägstrichen im Namen (/oder\) nicht an Snowball Edge übertragen werden

  • Für S3-Buckets beträgt die Objektlängenbeschränkung 255 Zeichen.

  • Für S3-Buckets, für die Version aktiviert ist, wird nur die aktuelle Version von Objekten exportiert.

  • Löschmarken werden nicht exportiert.