Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Was ist Amazon FSx for Lustre?

FSxfor Lustre macht es einfach und kostengünstig, das beliebte, leistungsstarke Lustre-Dateisystem zu starten und auszuführen. Sie verwenden Lustre für Workloads, bei denen es auf Geschwindigkeit ankommt, wie z. B. maschinelles Lernen, Hochleistungsrechnen (HPC), Videoverarbeitung und Finanzmodellierung.

Das Open-Source-Dateisystem Lustre wurde für Anwendungen entwickelt, die schnellen Speicher benötigen — bei denen Sie möchten, dass Ihr Speicher mit Ihrer Rechenleistung Schritt hält. Lustre wurde entwickelt, um das Problem der schnellen und kostengünstigen Verarbeitung der ständig wachsenden Datensätze der Welt zu lösen. Es ist ein weit verbreitetes Dateisystem, das für die schnellsten Computer der Welt entwickelt wurde. Es bietet Latenzen von unter einer Millisekunde, bis zu Hunderten von Durchsätzen und bis zu Millionen GBps von. IOPS Weitere Informationen zu Lustre finden Sie auf der Lustre-Website.

Als vollständig verwalteter Service FSx erleichtert Amazon Ihnen die Verwendung von Lustre für Workloads, bei denen es auf die Speichergeschwindigkeit ankommt. FSxfor Lustre beseitigt die herkömmliche Komplexität der Einrichtung und Verwaltung von Lustre-Dateisystemen, sodass Sie innerhalb von Minuten ein kampferprobtes Hochleistungsdateisystem einrichten und ausführen können. Es bietet auch mehrere Bereitstellungsoptionen, sodass Sie die Kosten an Ihre Bedürfnisse anpassen können.

FSxfor Lustre ist POSIX -konform, sodass Sie Ihre aktuellen Linux-basierten Anwendungen verwenden können, ohne Änderungen vornehmen zu müssen. FSxfor Lustre bietet eine native Dateisystemschnittstelle und funktioniert wie jedes Dateisystem mit Ihrem Linux-Betriebssystem. Es bietet auch read-after-write Konsistenz und unterstützt das Sperren von Dateien.

Mehrere Bereitstellungsoptionen

Amazon FSx for Lustre bietet eine Auswahl an Scratch-Dateisystemen und persistenten Dateisystemen, um unterschiedlichen Datenverarbeitungsanforderungen gerecht zu werden. Scratch-Dateisysteme eignen sich ideal für die temporäre Speicherung und die kurzfristige Verarbeitung von Daten. Daten werden nicht repliziert und bleiben auch dann nicht erhalten, wenn ein Dateiserver ausfällt. Persistente Dateisysteme eignen sich ideal für längerfristige Speicherung und Workloads, bei denen der Durchsatz im Vordergrund steht. In persistenten Dateisystemen werden Daten repliziert, und Dateiserver werden ersetzt, wenn sie ausfallen. Weitere Informationen finden Sie unter Bereitstellungsoptionen FSx für Lustre-Dateisysteme.

Mehrere Speicheroptionen

Amazon FSx for Lustre bietet eine Auswahl an Speichertypen für SSD Solid-State-Laufwerke () und Festplattenlaufwerke (HDD), die für unterschiedliche Datenverarbeitungsanforderungen optimiert sind:

Wenn Sie ein Dateisystem mit der HDD Speicheroption bereitstellen, können Sie optional einen schreibgeschützten SSD Cache bereitstellen, der auf 20 Prozent Ihrer Speicherkapazität ausgelegt ist. HDD Dies bietet Latenzen von unter einer Millisekunde und mehr für Dateien, auf die häufig zugegriffen wird. IOPS Sowohl SSD basierte als auch basierte Dateisysteme werden mit HDD basierten Metadatenservern ausgestattet. SSD Daher werden alle Metadatenoperationen, die den Großteil der Dateisystemoperationen ausmachen, mit Latenzen von unter einer Millisekunde ausgeführt.

Weitere Informationen zur Leistung dieser Speicheroptionen finden Sie unter. Leistung von Amazon FSx for Lustre

FSxfür Lustre und Datenrepositorien

Sie können FSx für Lustre-Dateisysteme Links zu Datenrepositorys auf Amazon S3 oder zu lokalen Datenspeichern herstellen.

FSxfür die Integration des Lustre S3-Datenrepositorys

FSxfor Lustre lässt sich in Amazon S3 integrieren und erleichtert Ihnen so die Verarbeitung von Cloud-Datensätzen mithilfe des Lustre-Hochleistungsdateisystems. Wenn ein FSx for Lustre-Dateisystem mit einem Amazon S3 S3-Bucket verknüpft ist, stellt es S3-Objekte transparent als Dateien dar. Amazon FSx importiert bei der Erstellung des Dateisystems Auflistungen aller vorhandenen Dateien in Ihrem S3-Bucket. Amazon FSx kann auch Angebote von Dateien importieren, die dem Daten-Repository hinzugefügt wurden, nachdem das Dateisystem erstellt wurde. Sie können die Importeinstellungen an Ihre Workflow-Anforderungen anpassen. Das Dateisystem ermöglicht es Ihnen auch, Dateisystemdaten zurück nach S3 zu schreiben. Datenrepository-Aufgaben vereinfachen die Übertragung von Daten und Metadaten zwischen Ihrem FSx for Lustre-Dateisystem und seinem dauerhaften Daten-Repository auf Amazon S3. Weitere Informationen erhalten Sie unter Verwenden von Datenrepositorys mit Amazon FSx for Lustre und Datenrepository-Aufgaben.

FSxfür Lustre und lokale Datenrepositorien

Mit Amazon FSx for Lustre können Sie Ihre Datenverarbeitungs-Workloads von lokalen auf die verteilen, AWS Cloud indem Sie Daten mit oder importieren. AWS Direct Connect AWS VPN Weitere Informationen finden Sie unter Amazon FSx mit Ihren lokalen Daten verwenden.

Zugriff FSx für Lustre-Dateisysteme

Sie können die Compute-Instance-Typen und Linux Amazon Machine Images (AMIs), die mit einem einzigen FSx for Lustre-Dateisystem verbunden sind, beliebig kombinieren.

Auf Amazon FSx for Lustre-Dateisysteme kann über Rechen-Workloads zugegriffen werden, die auf Amazon Elastic Compute Cloud (AmazonEC2) -Instances, Docker-Containern von Amazon Elastic Container Service (AmazonECS) und Containern ausgeführt werden, die auf Amazon Elastic Kubernetes Service (Amazon) ausgeführt werden. EKS

Amazon FSx for Lustre ist mit den beliebtesten Linux-Betriebssystemen kompatibelAMIs, darunter Amazon Linux 2023 und Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu und Linux. SUSE Der Lustre-Client ist in Amazon Linux 2023 und Amazon Linux 2 enthalten. Für RHEL CentOS und Ubuntu bietet ein AWS Lustre-Client-Repository Clients, die mit diesen Betriebssystemen kompatibel sind.

Mit FSx for Lustre können Sie Ihre rechenintensiven Workloads von lokalen Standorten auf die verteilen, indem Sie Daten über oder importieren. AWS Cloud AWS Direct Connect AWS Virtual Private Network Sie können lokal auf Ihr FSx Amazon-Dateisystem zugreifen, Daten nach Bedarf in Ihr Dateisystem kopieren und rechenintensive Workloads auf In-Cloud-Instances ausführen.

Weitere Informationen zu den Clients, Recheninstanzen und Umgebungen, von denen aus Sie auf Lustre-Dateisysteme zugreifen FSx können, finden Sie unter. Zugreifen auf Dateisysteme

Integrationen mit Diensten AWS

Amazon FSx for Lustre lässt sich in Amazon SageMaker als Eingabedatenquelle integrieren. Wenn Sie SageMaker mit FSx for Lustre verwenden, werden Ihre Trainingsaufgaben für maschinelles Lernen beschleunigt, da der erste Download-Schritt von Amazon S3 entfällt. Darüber hinaus werden Ihre Gesamtbetriebskosten (TCO) reduziert, da Sie das wiederholte Herunterladen gängiger Objekte für iterative Jobs auf demselben Datensatz vermeiden und so Kosten für S3-Anfragen sparen. Weitere Informationen finden Sie unter Was ist? SageMaker im Amazon SageMaker Developer Guide. Eine Anleitung zur Verwendung von Amazon FSx for Lustre als Datenquelle für finden Sie im AWS Machine Learning SageMaker Learning-Blog unter Beschleunigen Sie das Training auf Amazon SageMaker mithilfe von Amazon FSx for Lustre und EFS Amazon-Dateisystemen.

FSxfor Lustre lässt sich in die Verwendung von Launch Templates integrieren AWS Batch . EC2 AWS Batch ermöglicht die Ausführung von Batch-Computing-Workloads auf dem AWS Cloud, darunter Hochleistungsrechnen (HPC), maschinelles Lernen (ML) und andere asynchrone Workloads. AWS Batch passt die Größe der Instanzen automatisch und dynamisch auf der Grundlage der Anforderungen an die Arbeitsressourcen an. Weitere Informationen finden Sie unter Was ist AWS Batch? im AWS Batch Benutzerhandbuch.

FSxfor Lustre lässt sich in integrieren AWS ParallelCluster. AWS ParallelCluster ist ein AWS unterstütztes Open-Source-Cluster-Management-Tool, das zur Bereitstellung und Verwaltung von Clustern verwendet wird. HPC Es kann automatisch Dateisysteme FSx für Lustre erstellen oder vorhandene Dateisysteme während des Clustererstellungsprozesses verwenden.

Sicherheits und Compliance

FSxFür Lustre-Dateisysteme wird die Verschlüsselung im Ruhezustand und bei der Übertragung unterstützt. Amazon verschlüsselt Dateisystemdaten im Ruhezustand FSx automatisch mithilfe von Schlüsseln, die in AWS Key Management Service (AWS KMS) verwaltet werden. Übertragene Daten werden in bestimmten Dateisystemen auch automatisch verschlüsselt, AWS-Regionen wenn sie über unterstützte EC2 Amazon-Instances abgerufen werden. Weitere Informationen zur Datenverschlüsselung in FSx Lustre, einschließlich Informationen darüber, AWS-Regionen wo die Verschlüsselung von Daten bei der Übertragung unterstützt wird, finden Sie unterDatenverschlüsselung in Amazon FSx for Lustre. Amazon FSx wurde daraufhin bewertet, ob es die SOC Zertifizierungen ISODSS, PCI - und erfüllt, und ist HIPAA berechtigt. Weitere Informationen finden Sie unter Sicherheit in Amazon FSx for Lustre.

Annahmen

In diesem Leitfaden gehen wir von den folgenden Annahmen aus:

Preise für Amazon FSx for Lustre

Bei Amazon FSx for Lustre fallen keine Hardware- oder Softwarekosten im Voraus an. Sie zahlen nur für die genutzten Ressourcen, ohne Mindestverpflichtungen, Einrichtungskosten oder zusätzliche Gebühren. Informationen zu den Preisen und Gebühren im Zusammenhang mit dem Service finden Sie unter Amazon FSx for Lustre Pricing.

Foren von Amazon FSx for Lustre

Wenn Sie bei der Nutzung von Amazon FSx for Lustre auf Probleme stoßen, schauen Sie in den Foren nach.

Verwenden Sie Amazon FSx for Lustre zum ersten Mal?

Wenn Sie Amazon FSx for Lustre zum ersten Mal verwenden, empfehlen wir Ihnen, die folgenden Abschnitte der Reihe nach zu lesen: