Migration großer Datenmengen mit AWS Snow Family devices - AWS Snowball Edge Leitfaden für Entwickler

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Migration großer Datenmengen mit AWS Snow Family devices

Die Migration großer Datenmengen von lokalen Standorten erfordert eine sorgfältige Planung, Orchestrierung und Ausführung, um sicherzustellen, dass Ihre Daten erfolgreich migriert werden. AWS

Wir empfehlen, dass Sie vor Beginn der Migration über eine Datenmigrationsstrategie verfügen, um mögliche Terminüberschreitungen, Budgetüberschreitungen und Migrationsfehler zu vermeiden. AWS Snow Services hilft Ihnen dabei, Ihre großen Datenmigrationsprojekte über die Funktion Snow Family Large Data Migration Manager (LDMM) in der zu platzieren, zu bestellen und nachzuverfolgen Managementkonsole für die AWS Snow-Familie.

Die Themen Planen Sie Ihren großen Transfer mit Snow Family-Geräten und Kalibrierung einer großen Übertragung mit Snow Family-Geräten beschreiben einen manuellen Datenmigrationsprozess. Sie können die manuellen Schritte mithilfe des LDMM Migrationsplans für Snow Family optimieren.

Planen Sie Ihren großen Transfer mit Snow Family-Geräten

Wir empfehlen Ihnen, große Datenübertragungen zwischen den AWS Snowball Edge Geräten, die Sie vor Ort haben, und Ihren Servern anhand der Richtlinien in den folgenden Abschnitten zu planen und zu kalibrieren.

Schritt 1: Verstehen Sie, was Sie in die Cloud verlagern

Bevor Sie Ihren ersten Job mit der erstellen Managementkonsole für die AWS Snow-Familie, sollten Sie sich Gedanken über die Datenmenge machen, die Sie übertragen müssen, wo sie derzeit gespeichert sind und an welches Ziel Sie sie übertragen möchten. Bei Datenübertragungen, die ein Petabyte oder mehr umfassen, erleichtert diese administrative Verwaltung die Ankunft Ihrer Snow Family-Geräte erheblich.

Wenn Sie Daten AWS Cloud zum ersten Mal in die migrieren, empfehlen wir Ihnen, ein Cloud-Migrationsmodell zu entwerfen. Die Cloud-Migration erfolgt nicht über Nacht. Es erfordert einen sorgfältigen Planungsprozess, um sicherzustellen, dass alle Systeme wie erwartet funktionieren.

Nach diesem Schritt sollten Sie wissen, welche Menge an Daten Sie insgesamt in die Cloud verschieben werden.

Schritt 2: Berechnen Sie Ihre Zielübertragungsrate

Es ist wichtig, abzuschätzen, wie schnell Sie Daten auf die Snow Family-Geräte übertragen können, die mit jedem Ihrer Server verbunden sind. Diese geschätzte Geschwindigkeit in MB/s bestimmt, wie schnell Sie die Daten mithilfe Ihrer lokalen Netzwerkinfrastruktur von Ihrer Datenquelle auf Snowball Edge-Geräte übertragen können.

Anmerkung

Für große Datenübertragungen empfehlen wir die Verwendung der Amazon S3 S3-Datenübertragungsmethode. Sie müssen diese Option auswählen, wenn Sie Geräte im bestellen Managementkonsole für die AWS Snow-Familie.

Um eine Basisübertragungsrate zu ermitteln, übertragen Sie einen kleinen Teil Ihrer Daten auf das Snowball Edge-Gerät oder übertragen Sie eine 10-GB-Beispieldatei und beobachten Sie den Durchsatz.

Denken Sie bei der Festlegung Ihrer Zielübertragungsgeschwindigkeit daran, dass Sie den Durchsatz verbessern können, indem Sie Ihre Umgebung, einschließlich der Netzwerkkonfiguration, optimieren, indem Sie die Netzwerkgeschwindigkeit, die Größe der zu übertragenden Dateien und die Geschwindigkeit, mit der Daten von Ihren lokalen Servern gelesen werden können, ändern. Der Amazon S3 S3-Adapter kopiert Daten so schnell auf Geräte der Snow Family, wie es Ihre Bedingungen zulassen.

Schritt 3: Ermitteln Sie, wie viele Snow Family-Geräte Sie benötigen

Ermitteln Sie anhand der Gesamtdatenmenge, die Sie in die Cloud verschieben möchten, der geschätzten Übertragungsgeschwindigkeit und der Anzahl der Tage, in die Sie die Daten verschieben möchten AWS, wie viele Snow Family-Geräte Sie für Ihre groß angelegte Datenmigration benötigen. Je nach Gerätetyp verfügen Snowball Edge-Geräte über etwa 39,5 TB oder 210 TB nutzbaren Speicherplatz. Wenn Sie beispielsweise 300 TB Daten auf AWS mehr als 10 Tage verschieben möchten und eine Übertragungsgeschwindigkeit von 250 MB/s haben, benötigen Sie 2 Snowball Edge-Geräte mit 210 TB Speicher.

Anmerkung

Der AWS Snow Family devices LDMM bietet einen Assistenten, mit dem Sie abschätzen können, wie viele AWS Snow Family devices dieser Geräte gleichzeitig unterstützt werden können. Weitere Informationen finden Sie unter Erstellen eines großen Datenmigrationsplans mit Snow Family-Geräten.

Schritt 4: Erstellen Sie Ihre Jobs

Nachdem Sie wissen, wie viele Snow Family-Geräte Sie benötigen, müssen Sie für jedes Gerät einen Importauftrag erstellen. Die Erstellung mehrerer Jobs wird durch die Snow Family vereinfachtLDMM. Weitere Informationen finden Sie unter Platzieren Sie Ihren nächsten Auftrag.

Anmerkung

Sie können Ihre nächste Auftragsbestellung aufgeben und sie automatisch zu Ihrem Plan hinzufügen, und zwar direkt aus dem empfohlenen Zeitplan für Auftragsbestellungen. Weitere Informationen finden Sie unter Empfohlener Zeitplan für die Auftragsbestellung.

Schritt 5: Teilen Sie Ihre Daten in Übertragungssegmente auf

Als bewährte Methode für große Datenübertragungen mit mehreren Aufträgen empfehlen wir, dass Sie Ihre Daten logisch in mehrere kleinere, besser verwaltbare Datensätze aufteilen. Auf diese Weise können Sie jede Partition gleichzeitig oder mehrere Partitionen parallel übertragen. Achten Sie bei der Planung Ihrer Partitionen darauf, dass die Daten für die Partitionen zusammen auf die Geräte der Snow Family für die jeweilige Aufgabe passen. Sie können Ihre Übertragung beispielsweise auf eine der folgenden Arten in Partitionen unterteilen:

  • Sie können beispielsweise 10 Partitionen mit jeweils 20 TB für die Verwendung mit einem Snowball Edge-Gerät mit 210 TB Speicher erstellen.

  • Bei großen Dateien kann jede Datei bis zur Größenbeschränkung von 5 TB für Objekte in Amazon S3 eine individuelle Partition sein.

  • Jede Partition kann eine andere Größe haben, und jede einzelne Partition kann aus derselben Art von Daten bestehen, z. B. kleine Dateien in einer Partition, komprimierte Archive in einer anderen, große Dateien in einer anderen Partition usw. Dieser Ansatz kann Ihnen helfen, Ihre durchschnittliche Übertragungsrate für verschiedene Dateitypen zu ermitteln.

Anmerkung

Metadatenoperationen werden für jede übertragene Datei ausgeführt. Dieser Aufwand ist derselbe, unabhängig von der Dateigröße. Daher erzielen Sie eine schnellere Leistung, wenn Sie kleine Dateien zu einem größeren Paket komprimieren, Ihre Dateien stapeln oder größere Einzeldateien übertragen.

Das Erstellen von Datenübertragungssegmenten kann es Ihnen erleichtern, Übertragungsprobleme schnell zu lösen, da es komplex sein kann, eine große, heterogene Übertragung zu beheben, nachdem die Übertragung einen Tag oder länger andauert.

Wenn Sie mit der Planung Ihrer Datenübertragung im Petabyte-Bereich fertig sind, empfehlen wir Ihnen, einige Segmente von Ihrem Server auf das Snow Family-Gerät zu übertragen, um Ihre Geschwindigkeit und Gesamtübertragungszeit zu kalibrieren.