[fsx] Abschnitt - AWS ParallelCluster

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

[fsx] Abschnitt

Definiert die Konfigurationseinstellungen für ein angehängtes FSx for Lustre-Dateisystem. Weitere Informationen finden Sie unter Amazon FSx CreateFileSystem in der Amazon FSx API-Referenz.

Wenn dasalinux2,centos7, oder base_os ubuntu2004 istubuntu1804, wird FSx for Lustre unterstützt.

Wenn Sie Amazon Linux verwenden, muss es sich beim Kernel um eine 4.14.104-78.84.amzn1.x86_64 oder eine neuere Version handeln. Anweisungen finden Sie unter Installation des Lustre-Clients im Amazon FSx for Lustre-Benutzerhandbuch.

Anmerkung

FSx for Lustre wird derzeit nicht unterstützt, wenn es awsbatch als Scheduler verwendet wird.

Anmerkung

Die Unterstützung für FSx for Lustre on centos8 wurde in AWS ParallelCluster Version 2.10.4 entfernt. Unterstützung für FSx for Lustre on ubuntu2004 wurde in AWS ParallelCluster Version 2.11.0 hinzugefügt. Unterstützung für FSx for Lustre on centos8 wurde in AWS ParallelCluster Version 2.10.0 hinzugefügt. Unterstützung für FSx for Lustre aufalinux2,ubuntu1604, und ubuntu1804 wurde in AWS ParallelCluster Version 2.6.0 hinzugefügt. Unterstützung für FSx for Lustre on centos7 wurde in AWS ParallelCluster Version 2.4.0 hinzugefügt.

Bei Verwendung eines vorhandenen Dateisystems muss es einer Sicherheitsgruppe zugeordnet sein, die eingehenden TCP-Datenverkehr zu Port „988“ erlaubt. Wenn Sie die Quelle 0.0.0.0/0 auf eine Sicherheitsgruppenregel setzen, erhalten Sie Client-Zugriff von allen IP-Bereichen innerhalb Ihrer VPC-Sicherheitsgruppe für das Protokoll und den Portbereich für diese Regel. Um den Zugriff auf Ihre Dateisysteme weiter einzuschränken, empfehlen wir, restriktivere Quellen für Ihre Sicherheitsgruppenregeln zu verwenden. Sie können beispielsweise spezifischere CIDR-Bereiche, IP-Adressen oder Sicherheitsgruppen-IDs verwenden. Dies geschieht automatisch, wenn vpc_security_group_id nicht verwendet wird.

Um ein vorhandenes Amazon FSx-Dateisystem für dauerhaften Langzeitspeicher zu verwenden, der unabhängig vom Cluster-Lebenszyklus ist, geben Sie fsx_fs_id Folgendes an.

Wenn Sie nichts angebenfsx_fs_id, AWS ParallelCluster wird das FSx for Lustre-Dateisystem anhand der [fsx] Einstellungen erstellt, wenn der Cluster erstellt wird, und löscht das Dateisystem und die Daten, wenn der Cluster gelöscht wird.

Weitere Informationen finden Sie unter Bewährte Methoden: Umstellung eines Clusters auf eine neue AWS ParallelCluster Minor- oder Patch-Version.

Das Format ist[fsx fsx-name]. fsx-name muss mit einem Buchstaben beginnen, darf nicht mehr als 30 Zeichen enthalten und darf nur Buchstaben, Zahlen, Bindestriche (-) und Unterstriche (_) enthalten.

[fsx fs] shared_dir = /fsx fsx_fs_id = fs-073c3803dca3e28a6

Verwenden Sie zum Erstellen und Konfigurieren eines neuen Dateisystems die folgenden Parameter:

[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://bucket/folder import_path = s3://bucket weekly_maintenance_start_time = 1:00:00

auto_import_policy

(Optional) Gibt die automatische Importrichtlinie an, die Änderungen im S3-Bucket widerspiegelt, der zur Erstellung des FSx for Lustre-Dateisystems verwendet wurde. Die folgenden Werte sind möglich:

NEW

FSx for Lustre importiert automatisch Verzeichnislisten aller neuen Objekte, die dem verknüpften S3-Bucket hinzugefügt wurden und die derzeit nicht im FSx for Lustre-Dateisystem existieren.

NEW_CHANGED

FSx for Lustre importiert automatisch Datei- und Verzeichnislisten aller neuen Objekte, die dem S3-Bucket hinzugefügt werden, sowie aller vorhandenen Objekte, die im S3-Bucket geändert wurden.

Dies entspricht der AutoImportPolicyImmobilie. Weitere Informationen finden Sie unter Automatisches Importieren von Updates aus Ihrem S3-Bucket im Amazon FSx for Lustre-Benutzerhandbuch. Wenn der auto_import_policy Parameter angegeben ist, dürfen die automatic_backup_retention_days fsx_backup_id Parameter copy_tags_to_backupsdaily_automatic_backup_start_time,, und nicht angegeben werden.

Wenn die auto_import_policy Einstellung nicht angegeben ist, sind automatische Importe deaktiviert. FSx for Lustre aktualisiert nur Datei- und Verzeichnislisten aus dem verknüpften S3-Bucket, wenn das Dateisystem erstellt wird.

auto_import_policy = NEW_CHANGED
Anmerkung

Unterstützung für auto_import_policy wurde in AWS ParallelCluster Version 2.10.0 hinzugefügt.

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

automatic_backup_retention_days

(Optional) Gibt die Anzahl der Tage an, an denen automatische Backups aufbewahrt werden sollen. Dies gilt nur für die Verwendung mit PERSISTENT_1 Bereitstellungstypen. Wenn der automatic_backup_retention_days Parameter angegeben ist, dürfen die auto_import_policy imported_file_chunk_size Parameter export_pathimport_path,, und nicht angegeben werden. Dies entspricht der AutomaticBackupRetentionDaysImmobilie.

Der Standardwert lautet 0. Diese Einstellung deaktiviert automatische Backups. Die möglichen Werte sind Ganzzahlen zwischen 0 und einschließlich 35.

automatic_backup_retention_days = 35
Anmerkung

Unterstützung für automatic_backup_retention_days wurde in AWS ParallelCluster Version 2.8.0 hinzugefügt.

Richtlinie aktualisieren: Diese Einstellung kann während eines Updates geändert werden.

copy_tags_to_backups

(Optional) Gibt an, ob Tags für das Dateisystem in die Backups kopiert werden. Dies gilt nur für die Verwendung mit PERSISTENT_1 Bereitstellungstypen. Wenn der copy_tags_to_backups Parameter angegeben wird, automatic_backup_retention_days muss er mit einem Wert größer als 0 angegeben werden, und die imported_file_chunk_size Parameter auto_import_policy export_pathimport_path,, und dürfen nicht angegeben werden. Dies entspricht der CopyTagsToBackupsImmobilie.

Der Standardwert ist false.

copy_tags_to_backups = true
Anmerkung

Unterstützung für copy_tags_to_backups wurde in AWS ParallelCluster Version 2.8.0 hinzugefügt.

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

daily_automatic_backup_start_time

(Optional) Gibt die Tageszeit (UTC) an, um automatische Backups zu starten. Dies gilt nur für die Verwendung mit PERSISTENT_1 Bereitstellungstypen. Wenn der daily_automatic_backup_start_time Parameter angegeben wird, automatic_backup_retention_days muss er mit einem Wert größer als 0 angegeben werden, und die imported_file_chunk_size Parameter auto_import_policy export_pathimport_path,, und dürfen nicht angegeben werden. Dies entspricht der DailyAutomaticBackupStartTimeImmobilie.

Das Format istHH:MM, wobei HH die mit Null aufgefüllte Stunde des Tages (0-23) und die mit Null MM aufgefüllte Minute der Stunde ist. 1:03 Uhr UTC ist beispielsweise wie folgt.

daily_automatic_backup_start_time = 01:03

Der Standardwert ist eine zufällige Zeit zwischen 00:00 und23:59.

Anmerkung

Unterstützung für daily_automatic_backup_start_time wurde in AWS ParallelCluster Version 2.8.0 hinzugefügt.

Richtlinie aktualisieren: Diese Einstellung kann während eines Updates geändert werden.

data_compression_type

(Optional) Gibt den FSx for Lustre-Datenkomprimierungstyp an. Dies entspricht der DataCompressionTypeImmobilie. Weitere Informationen finden Sie unter FSx for Lustre-Datenkomprimierung im Amazon FSx for Lustre-Benutzerhandbuch.

Der einzige gültige Wert ist LZ4. Um die Datenkomprimierung zu deaktivieren, entfernen Sie den data_compression_typeParameter.

data_compression_type = LZ4
Anmerkung

Unterstützung für data_compression_type wurde in AWS ParallelCluster Version 2.11.0 hinzugefügt.

Richtlinie aktualisieren: Diese Einstellung kann während eines Updates geändert werden.

deployment_type

(Optional) Gibt den Bereitstellungstyp FSx for Lustre an. Dies entspricht der DeploymentTypeImmobilie. Weitere Informationen finden Sie unter FSx for Lustre-Bereitstellungsoptionen im Amazon FSx for Lustre-Benutzerhandbuch. Wählen Sie einen Scratch-Bereitstellungstyp für die temporäre Speicherung und die kurzfristigere Verarbeitung von Daten. SCRATCH_2ist die neueste Generation von Scratch-Dateisystemen. Es bietet einen höheren Burst-Durchsatz als den Basisdurchsatz und die Verschlüsselung von Daten während der Übertragung.

Die gültigen Werte sind SCRATCH_1, SCRATCH_2 und PERSISTENT_1.

SCRATCH_1

Der Standard-Bereitstellungstyp für FSx for Lustre. Bei diesem Bereitstellungstyp hat die storage_capacity-Einstellung mögliche Werte von 1200, 2400 und von einem beliebigen Vielfachen von 3600. Unterstützung für SCRATCH_1 wurde in AWS ParallelCluster Version 2.4.0 hinzugefügt.

SCRATCH_2

Die neueste Generation von Scratch-Dateisystemen. Es unterstützt bis zu das Sechsfache des Basisdurchsatzes für hohe Workloads. Es unterstützt auch die Verschlüsselung von Daten während der Übertragung für unterstützte Instance-Typen, sofern unterstütztAWS-Regionen. Weitere Informationen finden Sie unter Verschlüsseln von Daten während der Übertragung im Amazon FSx for Lustre-Benutzerhandbuch. Bei diesem Bereitstellungstyp hat die storage_capacity-Einstellung mögliche Werte von 1200 und von einem beliebigen Vielfachen von 2400. Unterstützung für SCRATCH_2 wurde in AWS ParallelCluster Version 2.6.0 hinzugefügt.

PERSISTENT_1

Konzipiert für längerfristige Speicherung. Die Dateiserver sind hochverfügbar und die Daten werden innerhalb der AWS Availability Zone der Dateisysteme repliziert. Es unterstützt die Verschlüsselung von Daten während der Übertragung für unterstützte Instance-Typen. Bei diesem Bereitstellungstyp hat die storage_capacity-Einstellung mögliche Werte von 1200 und von einem beliebigen Vielfachen von 2400. Unterstützung für PERSISTENT_1 wurde in AWS ParallelCluster Version 2.6.0 hinzugefügt.

Der Standardwert ist SCRATCH_1.

deployment_type = SCRATCH_2
Anmerkung

Unterstützung für deployment_type wurde in AWS ParallelCluster Version 2.6.0 hinzugefügt.

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

drive_cache_type

(Optional) Gibt an, dass das Dateisystem über einen SSD-Laufwerkcache verfügt. Dies kann nur gesetzt werden, wenn die storage_type Einstellung auf gesetzt istHDD. Dies entspricht der DriveCacheTypeImmobilie. Weitere Informationen finden Sie unter FSx for Lustre-Bereitstellungsoptionen im Amazon FSx for Lustre-Benutzerhandbuch.

Der einzige gültige Wert ist READ. Um den Cache des SSD-Laufwerks zu deaktivieren, geben Sie die drive_cache_type Einstellung nicht an.

drive_cache_type = READ
Anmerkung

Unterstützung für drive_cache_type wurde in AWS ParallelCluster Version 2.10.0 hinzugefügt.

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

export_path

(Optional) Gibt den Amazon S3-Pfad an, in den das Stammverzeichnis Ihres Dateisystems exportiert wird. Wenn der export_path Parameter angegeben ist, dürfen die automatic_backup_retention_days fsx_backup_id Parameter copy_tags_to_backupsdaily_automatic_backup_start_time,, und nicht angegeben werden. Dies entspricht der ExportPathImmobilie. Dateidaten und Metadaten werden nicht automatisch in die exportiertexport_path. Informationen zum Exportieren von Daten und Metadaten finden Sie unter Exportieren von Änderungen in das Datenrepository im Amazon FSx for Lustre-Benutzerhandbuch.

Standardmäßig wird s3://import-bucket/FSxLustre[creation-timestamp] verwendet, wobei import-bucket der im Parameter import_path angegebene Bucket ist.

export_path = s3://bucket/folder

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

fsx_backup_id

(Optional) Gibt die ID des Backups an, das für die Wiederherstellung des Dateisystems aus einer vorhandenen Sicherung verwendet werden soll. Wenn der fsx_backup_id Parameter angegeben ist, dürfen die auto_import_policy per_unit_storage_throughput Parameter deployment_type export_pathfsx_kms_key_id,import_path,imported_file_chunk_size,storage_capacity,, und nicht angegeben werden. Diese Parameter werden aus dem Backup gelesen. Darüber hinaus dürfen die imported_file_chunk_size Parameter auto_import_policy export_pathimport_path,, und nicht angegeben werden.

Dies entspricht der BackupIdImmobilie.

fsx_backup_id = backup-fedcba98
Anmerkung

Unterstützung für fsx_backup_id wurde in AWS ParallelCluster Version 2.8.0 hinzugefügt.

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

fsx_fs_id

(Optional) Hängt ein vorhandenes FSx for Lustre-Dateisystem an.

Wenn diese Option angegeben ist, werden nur die fsx_fs_id Einstellungen shared_dir und im [fsx]Abschnitt verwendet und alle anderen Einstellungen im [fsx]Abschnitt werden ignoriert.

fsx_fs_id = fs-073c3803dca3e28a6

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

fsx_kms_key_id

( Optional) Gibt die Schlüssel-ID Ihres vom Kunden verwalteten AWS Key Management Service-(AWS KMS)-Schlüssels an.

Diese ID wird verwendet, um die Daten in Ihrem Dateisystem im Ruhezustand zu verschlüsseln.

Diese Einstellung muss mit einer benutzerdefinierten ec2_iam_role verwendet werden. Weitere Informationen finden Sie unter Festplattenverschlüsselung mit einem benutzerdefinierten KMS-Schlüssel. Dies entspricht dem KmsKeyIdParameter in der Amazon FSx API-Referenz.

fsx_kms_key_id = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
Anmerkung

Unterstützung für fsx_kms_key_id wurde in AWS ParallelCluster Version 2.6.0 hinzugefügt.

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

import_path

(Optional) Gibt den S3-Bucket an, aus dem Daten in das Dateisystem geladen und als Export-Bucket verwendet werden sollen. Weitere Informationen finden Sie unter export_path. Wenn Sie den import_path Parameter angeben, dürfen die automatic_backup_retention_days fsx_backup_id Parameter copy_tags_to_backupsdaily_automatic_backup_start_time,, und nicht angegeben werden. Dies entspricht dem ImportPathParameter in der Amazon FSx API-Referenz.

Der Import findet bei der Cluster-Erstellung statt. Weitere Informationen finden Sie unter Importieren von Daten aus Ihrem Datenrepository im Amazon FSx for Lustre-Benutzerhandbuch. Beim Import werden nur Dateimetadaten (Name, Eigentum, Zeitstempel und Berechtigungen) importiert. Dateidaten werden erst aus dem S3-Bucket importiert, wenn auf die Datei zum ersten Mal zugegriffen wird. Informationen zum Vorladen des Dateiinhalts finden Sie unter Vorladen von Dateien in Ihr Dateisystem im Amazon FSx for Lustre-Benutzerhandbuch.

Wenn kein Wert angegeben wird, ist das Dateisystem leer.

import_path = s3://bucket

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

imported_file_chunk_size

(Optional) Bestimmt die Anzahl der Stripes und die maximale Datenmenge für jede Datei (in MiB), die auf einer einzelnen physischen Festplatte gespeichert ist, für Dateien, die aus einem Datenrepository importiert werden (mithilfe vonimport_path). Die maximale Anzahl von Datenträgern, über die eine einzelne Datei als Stripeset zugeordnet werden kann, ist durch die Gesamtzahl der Datenträger begrenzt, aus denen sich das Dateisystem zusammensetzt. Wenn der imported_file_chunk_size Parameter angegeben ist, dürfen die automatic_backup_retention_days fsx_backup_id Parameter copy_tags_to_backupsdaily_automatic_backup_start_time,, und nicht angegeben werden. Dies entspricht der ImportedFileChunkSizeImmobilie.

Die Standardgröße für Chunks ist 1024 (1 GiB) und kann bis zu 512.000 MiB (500 GiB) betragen. Amazon S3-Objekte haben eine maximale Größe von 5 TB.

imported_file_chunk_size = 1024

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

per_unit_storage_throughput

(Erforderlich für PERSISTENT_1-Bereitstellungstypen) Beschreibt für den deployment_type = PERSISTENT_1-Bereitstellungstyp den Lese- und Schreibdurchsatz für jeweils 1 Tebibyte (TiB) Speicher in MB/s/TiB. Die Dateisystem-Durchsatzkapazität wird durch Multiplizieren der Dateisystem-Speicherkapazität (TiB) mit dem per_unit_storage_throughput (MB/s/TiB) berechnet. Bei einem Dateisystem mit 2,4 TiB ergibt die Bereitstellung von 50 MB/s/TiB von per_unit_storage_throughput einen Dateisystem-Durchsatz von 120 MB/s. Sie zahlen den Durchsatz, den Sie bereitstellen. Dies entspricht der PerUnitStorageThroughputImmobilie.

Die möglichen Werte hängen vom Wert der storage_type Einstellung ab.

storage_type = SSD

Die möglichen Werte lauten 50, 100, 200.

storage_type = HDD

Die möglichen Werte sind 12, 40.

per_unit_storage_throughput = 200
Anmerkung

Unterstützung für per_unit_storage_throughput wurde in AWS ParallelCluster Version 2.6.0 hinzugefügt.

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

shared_dir

(Erforderlich) Definiert den Mount-Punkt für das FSx for Lustre-Dateisystem auf den Kopf- und Rechenknoten.

Verwenden Sie NONE oder nicht /NONE als gemeinsames Verzeichnis.

Im folgenden Beispiel wird das Dateisystem unter /fsx gemountet.

shared_dir = /fsx

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

storage_capacity

(Erforderlich) Gibt die Speicherkapazität des Dateisystems in GiB an. Dies entspricht der StorageCapacityImmobilie.

Die möglichen Werte für die Speicherkapazität variieren je nach deployment_type-Einstellung.

SCRATCH_1

Die möglichen Werte sind 1200, 2400 und ein beliebiges Vielfaches von 3600.

SCRATCH_2

Die möglichen Werte sind 1200 und ein beliebiges Vielfaches von 2400.

PERSISTENT_1

Die möglichen Werte variieren je nach den Werten anderer Einstellungen.

storage_type = SSD

Die möglichen Werte sind 1200 und ein beliebiges Vielfaches von 2400.

storage_type = HDD

Die möglichen Werte variieren je nach Einstellung der per_unit_storage_throughput Einstellung.

per_unit_storage_throughput = 12

Die möglichen Werte sind ein beliebiges Vielfaches von 6000.

per_unit_storage_throughput = 40

Die möglichen Werte sind ein beliebiges Vielfaches von 1800.

storage_capacity = 7200
Anmerkung

Für die AWS ParallelCluster Versionen 2.5.0 und 2.5.1 wurden mögliche Werte von 1200, 2400 und ein beliebiges Vielfaches von 3600 storage_capacity unterstützt. Für Versionen vor AWS ParallelCluster Version 2.5.0 storage_capacity galt eine Mindestgröße von 3600.

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

storage_type

(Optional) Gibt den Speichertyp des Dateisystems an. Dies entspricht der StorageTypeImmobilie. Die möglichen Werte sind SSD und HDD. Der Standardwert ist SSD.

Der Speichertyp ändert die möglichen Werte anderer Einstellungen.

storage_type = SSD

Gibt einen Speichertyp für Sold-State-Drive (SSD) an.

storage_type = SSDändert die möglichen Werte mehrerer anderer Einstellungen.

drive_cache_type

Diese Einstellung kann nicht angegeben werden.

deployment_type

Diese Einstellung kann auf SCRATCH_1SCRATCH_2, oder gesetzt werdenPERSISTENT_1.

per_unit_storage_throughput

Diese Einstellung muss angegeben werden, wenn deployment_type auf PERSISTENT_1 gesetzt wird. Die möglichen Werte sind 50, 100 oder 200.

storage_capacity

Diese Einstellung muss angegeben werden. Die möglichen Werte variieren je nachdeployment_type.

deployment_type = SCRATCH_1

storage_capacitykann 1200, 2400 oder ein beliebiges Vielfaches von 3600 sein.

deployment_type = SCRATCH_2 oder deployment_type = PERSISTENT_1

storage_capacitykann 1200 oder ein beliebiges Vielfaches von 2400 sein.

storage_type = HDD

Gibt einen Speichertyp für ein Festplattenlaufwerk (HDD) an.

storage_type = HDDändert die möglichen Werte anderer Einstellungen.

drive_cache_type

Diese Einstellung kann angegeben werden.

deployment_type

Diese Einstellung muss auf gesetzt seinPERSISTENT_1.

per_unit_storage_throughput

Diese Einstellung muss angegeben werden. Die möglichen Werte sind 12 oder 40.

storage_capacity

Diese Einstellung muss angegeben werden. Die möglichen Werte variieren je nach per_unit_storage_throughput Einstellung.

storage_capacity = 12

storage_capacitykann ein beliebiges Vielfaches von 6000 sein.

storage_capacity = 40

storage_capacitykann ein beliebiges Vielfaches von 1800 sein.

storage_type = SSD
Anmerkung

Unterstützung für die storage_typeEinstellung wurde in AWS ParallelCluster Version 2.10.0 hinzugefügt.

Aktualisierungsrichtlinie: Wenn diese Einstellung geändert wird, ist das Update nicht zulässig.

weekly_maintenance_start_time

(Optional) Gibt den bevorzugten Zeitpunkt zum Durchführen der wöchentlichen Wartung in koordinierter Weltzeit (UTC) an. Dies entspricht der WeeklyMaintenanceStartTimeImmobilie.

Das Format ist [Wochentag]: [Stunde des Tages]:[Minute der Stunde]. Montag um Mitternacht sieht beispielsweise wie folgt aus.

weekly_maintenance_start_time = 1:00:00

Richtlinie aktualisieren: Diese Einstellung kann während eines Updates geändert werden.