Migration großer Datenmengen mit AWS Snow Family devices - AWS Snowball Edge Leitfaden für Entwickler

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Migration großer Datenmengen mit AWS Snow Family devices

Die Migration großer Datenmengen von lokalen Standorten erfordert eine sorgfältige Planung, Orchestrierung und Ausführung, um sicherzustellen, dass Ihre Daten erfolgreich migriert werden. AWS

Wir empfehlen, dass Sie vor Beginn der Migration über eine Datenmigrationsstrategie verfügen, um mögliche Terminüberschreitungen, Budgetüberschreitungen und Migrationsfehler zu vermeiden. AWS Snow Services hilft Ihnen dabei, Ihre großen Datenmigrationsprojekte über die Funktion Snow Family Large Data Migration Manager (LDMM) in der Managementkonsole für die AWS Snow-Familie zu platzieren, zu bestellen und nachzuverfolgen.

Die Themen Planen Sie Ihren großen Transfer und Kalibrierung einer großen Übertragung beschreiben einen manuellen Datenmigrationsprozess. Sie können die manuellen Schritte mithilfe des LDMM-Migrationsplans von Snow Family optimieren.

Planen Sie Ihren großen Transfer

Wir empfehlen Ihnen, große Datenübertragungen zwischen den AWS Snowball Edge Geräten, die Sie vor Ort haben, und Ihren Servern anhand der Richtlinien in den folgenden Abschnitten zu planen und zu kalibrieren.

Schritt 1: Verstehen Sie, was Sie in die Cloud verlagern

Bevor Sie Ihren ersten Job mit der erstellen Managementkonsole für die AWS Snow-Familie, sollten Sie sich Gedanken über die Datenmenge machen, die Sie übertragen müssen, wo sie derzeit gespeichert sind und an welches Ziel Sie sie übertragen möchten. Bei Datenübertragungen, die ein Petabyte oder mehr umfassen, erleichtert diese administrative Verwaltung die Ankunft Ihrer Snow Family-Geräte erheblich.

Wenn Sie Daten AWS Cloud zum ersten Mal in die migrieren, empfehlen wir Ihnen, ein Cloud-Migrationsmodell zu entwerfen. Die Cloud-Migration erfolgt nicht über Nacht. Es erfordert einen sorgfältigen Planungsprozess, um sicherzustellen, dass alle Systeme wie erwartet funktionieren.

Nach diesem Schritt sollten Sie wissen, welche Menge an Daten Sie insgesamt in die Cloud verschieben werden.

Schritt 2: Berechnen Sie Ihre Zielübertragungsrate

Es ist wichtig, abzuschätzen, wie schnell Sie Daten auf die Snow Family-Geräte übertragen können, die mit jedem Ihrer Server verbunden sind. Diese geschätzte Geschwindigkeit in MB/s bestimmt, wie schnell Sie die Daten mithilfe Ihrer lokalen Netzwerkinfrastruktur von Ihrer Datenquelle auf Snowball Edge-Geräte übertragen können.

Anmerkung

Für große Datenübertragungen empfehlen wir die Verwendung der Amazon S3 S3-Datenübertragungsmethode. Sie müssen diese Option auswählen, wenn Sie Geräte im bestellen Managementkonsole für die AWS Snow-Familie.

Um eine Basisübertragungsrate zu ermitteln, übertragen Sie einen kleinen Teil Ihrer Daten auf das Snowball Edge-Gerät oder übertragen Sie eine 10-GB-Beispieldatei und beobachten Sie den Durchsatz.

Denken Sie bei der Festlegung Ihrer Zielübertragungsgeschwindigkeit daran, dass Sie den Durchsatz verbessern können, indem Sie Ihre Umgebung, einschließlich der Netzwerkkonfiguration, optimieren, indem Sie die Netzwerkgeschwindigkeit, die Größe der zu übertragenden Dateien und die Geschwindigkeit, mit der Daten von Ihren lokalen Servern gelesen werden können, ändern. Der Amazon S3 S3-Adapter kopiert Daten so schnell auf Geräte der Snow Family, wie es Ihre Bedingungen zulassen.

Schritt 3: Ermitteln Sie, wie viele Snow Family-Geräte Sie benötigen

Ermitteln Sie anhand der Gesamtdatenmenge, die Sie in die Cloud verschieben möchten, der geschätzten Übertragungsgeschwindigkeit und der Anzahl der Tage, in die Sie die Daten verschieben möchten AWS, wie viele Snow Family-Geräte Sie für Ihre groß angelegte Datenmigration benötigen. Je nach Gerätetyp verfügen Snowball Edge-Geräte über etwa 39,5 TB, 80 TB oder 210 TB nutzbaren Speicherplatz. Wenn Sie beispielsweise 300 TB Daten auf AWS mehr als 10 Tage verschieben möchten und eine Übertragungsgeschwindigkeit von 250 MB/s haben, benötigen Sie 4 Snowball Edge-Geräte. Wenn weniger als 40 TB an Daten noch übertragen werden müssen, werden AWS Snowcone Geräte (mit 14 TB nutzbarem Speicherplatz) empfohlen.

Anmerkung

Das AWS Snow Family devices LDMM bietet einen Assistenten, mit dem Sie abschätzen können, wie viele AWS Snow Family devices dieser Geräte gleichzeitig unterstützt werden können. Weitere Informationen finden Sie unter Erstellen eines Migrationsplans für umfangreiche Daten.

Schritt 4: Erstellen Sie Ihre Jobs

Nachdem Sie wissen, wie viele Snow Family-Geräte Sie benötigen, müssen Sie für jedes Gerät einen Importauftrag erstellen. Die Erstellung mehrerer Jobs wird durch das Snow Family LDMM vereinfacht. Weitere Informationen finden Sie unter Platzieren Sie Ihren nächsten Auftrag.

Anmerkung

Sie können Ihre nächste Bestellung aufgeben und sie automatisch zu Ihrem Plan hinzufügen, und zwar direkt aus dem Zeitplan für empfohlene Auftragsbestellungen. Weitere Informationen finden Sie unter Empfohlener Zeitplan für die Auftragsbestellung.

Schritt 5: Teilen Sie Ihre Daten in Übertragungssegmente auf

Als bewährte Methode für große Datenübertragungen mit mehreren Aufträgen empfehlen wir, Ihre Daten logisch in mehrere kleinere, besser verwaltbare Datensätze aufzuteilen. Auf diese Weise können Sie jede Partition gleichzeitig oder mehrere Partitionen parallel übertragen. Achten Sie bei der Planung Ihrer Partitionen darauf, dass die Daten für die Partitionen zusammen auf die Geräte der Snow Family für die jeweilige Aufgabe passen. Sie können Ihre Übertragung beispielsweise auf eine der folgenden Arten in Partitionen unterteilen:

  • Sie können 10 Partitionen mit jeweils 8 TB für einen Snowball Edge erstellen.

  • Bei großen Dateien kann jede Datei bis zur Größenbeschränkung von 5 TB für Objekte in Amazon S3 eine individuelle Partition sein.

  • Jede Partition kann eine andere Größe haben, und jede einzelne Partition kann aus derselben Art von Daten bestehen, z. B. kleine Dateien in einer Partition, komprimierte Archive in einer anderen, große Dateien in einer anderen Partition usw. Dieser Ansatz kann Ihnen helfen, Ihre durchschnittliche Übertragungsrate für verschiedene Dateitypen zu ermitteln.

Anmerkung

Metadatenoperationen werden für jede übertragene Datei ausgeführt. Dieser Aufwand ist derselbe, unabhängig von der Dateigröße. Daher erzielen Sie eine schnellere Leistung, wenn Sie kleine Dateien zu einem größeren Paket komprimieren, Ihre Dateien stapeln oder größere Einzeldateien übertragen.

Das Erstellen von Datenübertragungssegmenten kann es Ihnen erleichtern, Übertragungsprobleme schnell zu lösen, da es komplex sein kann, eine große, heterogene Übertragung zu beheben, nachdem die Übertragung einen Tag oder länger dauert.

Wenn Sie mit der Planung Ihrer Datenübertragung im Petabyte-Bereich fertig sind, empfehlen wir Ihnen, einige Segmente von Ihrem Server auf das Snow Family-Gerät zu übertragen, um Ihre Geschwindigkeit und Gesamtübertragungszeit zu kalibrieren.