Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Sezione [fsx]
Definisce le impostazioni di configurazione per un file system FSx for Lustre collegato. Per ulteriori informazioni, consulta Amazon FSx CreateFileSystem nella Guida di riferimento dell'API Amazon FSx.
Se base_os isalinux2
,, o centos7
ubuntu1804
ubuntu2004
, FSx for Lustre è supportato.
Quando si utilizza Amazon Linux, il kernel deve essere 4.14.104-78.84.amzn1.x86_64
o una versione successiva. Per istruzioni, consulta Installazione del client lustre nella Guida per l'utente di Amazon FSx for Lustre.
Nota
FSx for Lustre non è attualmente supportato quando viene utilizzato awsbatch
come scheduler.
Nota
Il supporto per FSx for Lustre on centos8
è stato rimosso nella AWS ParallelCluster versione 2.10.4. Il supporto per FSx for Lustre on ubuntu2004
è stato aggiunto nella AWS ParallelCluster versione 2.11.0. Il supporto per FSx for Lustre on centos8
è stato aggiunto nella AWS ParallelCluster versione 2.10.0. Supporto per FSx for Lustre on alinux2
ubuntu1604
, ed ubuntu1804
è stato aggiunto nella AWS ParallelCluster versione 2.6.0. Il supporto per FSx for Lustre on centos7
è stato aggiunto nella AWS ParallelCluster versione 2.4.0.
Se si utilizza un file system esistente, deve essere associato a un gruppo di sicurezza che consenta il traffico TCP in entrata alla porta 988
. L'impostazione dell'origine 0.0.0.0/0
su una regola del gruppo di sicurezza fornisce l'accesso del client da tutti gli intervalli IP all'interno del gruppo di sicurezza VPC per il protocollo e l'intervallo di porte per quella regola. Per limitare ulteriormente l'accesso ai file system, ti consigliamo di utilizzare fonti più restrittive per le regole del gruppo di sicurezza. Ad esempio, puoi utilizzare intervalli CIDR, indirizzi IP o ID dei gruppi di sicurezza più specifici. Questa operazione viene eseguita automaticamente quando non si utilizza vpc_security_group_id.
Per utilizzare un file system Amazon FSx esistente per uno storage permanente a lungo termine indipendente dal ciclo di vita del cluster, specificafsx_fs_id.
Se non lo specificatefsx_fs_id, AWS ParallelCluster crea il file system FSx for Lustre dalle [fsx]
impostazioni al momento della creazione del cluster ed elimina il file system e i dati quando il cluster viene eliminato.
Per ulteriori informazioni, consulta Procedure consigliate: spostare un cluster a una nuova AWS ParallelCluster versione secondaria o patch.
Il formato è[fsx
. fsx-name
]fsx-name
deve iniziare con una lettera, contenere non più di 30 caratteri e contenere solo lettere, numeri, trattini (-) e caratteri di sottolineatura (_).
[fsx fs] shared_dir = /fsx fsx_fs_id =
fs-073c3803dca3e28a6
Per creare e configurare un nuovo file system, utilizza i parametri seguenti:
[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://
bucket/folder
import_path = s3://bucket
weekly_maintenance_start_time = 1:00:00
Argomenti
- auto_import_policy
- automatic_backup_retention_days
- copy_tags_to_backups
- daily_automatic_backup_start_time
- data_compression_type
- deployment_type
- drive_cache_type
- export_path
- fsx_backup_id
- fsx_fs_id
- fsx_kms_key_id
- import_path
- imported_file_chunk_size
- per_unit_storage_throughput
- shared_dir
- storage_capacity
- storage_type
- weekly_maintenance_start_time
auto_import_policy
(Facoltativo) Specifica la politica di importazione automatica per riflettere le modifiche nel bucket S3 utilizzato per creare il file system FSx for Lustre. Di seguito sono riportati i valori possibili:
NEW
-
FSx for Lustre importa automaticamente gli elenchi di directory di tutti i nuovi oggetti aggiunti al bucket S3 collegato che attualmente non esistono nel file system FSx for Lustre.
NEW_CHANGED
-
FSx for Lustre importa automaticamente gli elenchi di file e directory di tutti i nuovi oggetti aggiunti al bucket S3 e di tutti gli oggetti esistenti che vengono modificati nel bucket S3.
Corrisponde alla AutoImportPolicyproprietà. Per ulteriori informazioni, consulta Importazione automatica degli aggiornamenti dal tuo bucket S3 nella Guida per l'utente di Amazon FSx for Lustre. Quando il auto_import_policy parametro è specificato, i fsx_backup_id parametri automatic_backup_retention_dayscopy_tags_to_backups,daily_automatic_backup_start_time, e non devono essere specificati.
Se l'auto_import_policy
impostazione non è specificata, le importazioni automatiche sono disabilitate. FSx for Lustre aggiorna solo gli elenchi di file e directory dal bucket S3 collegato quando viene creato il file system.
auto_import_policy = NEW_CHANGED
Nota
Il supporto per auto_import_policy è stato aggiunto nella AWS ParallelCluster versione 2.10.0.
automatic_backup_retention_days
(Facoltativo) Specifica il numero di giorni per conservare i backup automatici. Questo è valido solo per l'uso con i tipi PERSISTENT_1
di distribuzione. Quando il automatic_backup_retention_days parametro è specificato, i imported_file_chunk_size parametri auto_import_policyexport_path,import_path, e non devono essere specificati. Corrisponde alla AutomaticBackupRetentionDaysproprietà.
Il valore predefinito è 0. Questa impostazione disattiva i backup automatici. I valori possibili sono numeri interi compresi tra 0 e 35 inclusi.
automatic_backup_retention_days = 35
Nota
Il supporto per automatic_backup_retention_days è stato aggiunto nella AWS ParallelCluster versione 2.8.0.
Politica di aggiornamento: questa impostazione può essere modificata durante un aggiornamento.
copy_tags_to_backups
(Facoltativo) Specifica se i tag del file system vengono copiati nei backup. Questo è valido solo per l'uso con i tipi PERSISTENT_1
di distribuzione. Quando il copy_tags_to_backups parametro è specificato, automatic_backup_retention_days deve essere specificato con un valore maggiore di 0 e i imported_file_chunk_size parametriauto_import_policy, export_pathimport_path, e non devono essere specificati. Corrisponde alla CopyTagsToBackupsproprietà.
Il valore di default è false
.
copy_tags_to_backups = true
Nota
Il supporto per copy_tags_to_backups è stato aggiunto nella AWS ParallelCluster versione 2.8.0.
daily_automatic_backup_start_time
(Facoltativo) Specifica l'ora del giorno (UTC) per avviare i backup automatici. Questo è valido solo per l'uso con i tipi PERSISTENT_1
di distribuzione. Quando il daily_automatic_backup_start_time parametro è specificato, automatic_backup_retention_days deve essere specificato con un valore maggiore di 0 e i imported_file_chunk_size parametriauto_import_policy, export_pathimport_path, e non devono essere specificati. Corrisponde alla DailyAutomaticBackupStartTimeproprietà.
Il formato èHH:MM
, dove HH
è l'ora del giorno con riempimento zero (0-23) e MM
è il minuto dell'ora con riempimento zero. Ad esempio, la 1:03 UTC è la seguente.
daily_automatic_backup_start_time = 01:03
Il valore predefinito è un tempo casuale compreso tra 00:00
e23:59
.
Nota
Il supporto per daily_automatic_backup_start_time è stato aggiunto nella AWS ParallelCluster versione 2.8.0.
Politica di aggiornamento: questa impostazione può essere modificata durante un aggiornamento.
data_compression_type
(Facoltativo) Specifica il tipo di compressione dei dati FSx for Lustre. Corrisponde alla DataCompressionTypeproprietà. Per ulteriori informazioni, consulta la compressione dei dati di FSx for Lustre nella Guida per l'utente di Amazon FSx for Lustre.
L'unico valore valido è LZ4
. Per disattivare la compressione dei dati, rimuovi il data_compression_typeparametro.
data_compression_type = LZ4
Nota
Il supporto per data_compression_type è stato aggiunto nella AWS ParallelCluster versione 2.11.0.
Politica di aggiornamento: questa impostazione può essere modificata durante un aggiornamento.
deployment_type
(Facoltativo) Specifica il tipo di implementazione FSx for Lustre. Corrisponde alla DeploymentTypeproprietà. Per ulteriori informazioni, consulta le opzioni di implementazione di FSx for Lustre nella Guida per l'utente di Amazon FSx for Lustre. Scegli un tipo di implementazione virtuale per l'archiviazione temporanea e l'elaborazione a breve termine dei dati. SCRATCH_2
è l'ultima generazione di file system scratch. Offre una velocità di burst più elevata rispetto alla velocità effettiva di base e la crittografia dei dati in transito.
I valori validi sono SCRATCH_1
, SCRATCH_2
e PERSISTENT_1
.
SCRATCH_1
-
Il tipo di distribuzione predefinito per FSx for Lustre. Con questo tipo di distribuzione, l'impostazione storage_capacity ha valori possibili pari a 1200, 2400 e qualsiasi multiplo di 3600. Il supporto per
SCRATCH_1
è stato aggiunto nella AWS ParallelCluster versione 2.4.0. SCRATCH_2
-
L'ultima generazione di file system scratch. Supporta fino a sei volte la velocità effettiva di base per carichi di lavoro con picchi di lavoro. Supporta anche la crittografia in transito dei dati per i tipi di istanza supportati in SupportatiRegioni AWS. Per ulteriori informazioni, consulta la sezione Crittografia dei dati in transito nella Guida per l'utente di Amazon FSx for Lustre. Con questo tipo di distribuzione, l'impostazione storage_capacity ha valori possibili pari a 1200 e qualsiasi multiplo di 2400. Il supporto per
SCRATCH_2
è stato aggiunto nella AWS ParallelCluster versione 2.6.0. PERSISTENT_1
-
Progettato per uno storage a lungo termine. I file server sono altamente disponibili e i dati vengono replicati all'interno della zona di AWS disponibilità dei file system. Supporta la crittografia in transito dei dati per i tipi di istanze supportati. Con questo tipo di distribuzione, l'impostazione storage_capacity ha valori possibili pari a 1200 e qualsiasi multiplo di 2400. Il supporto per
PERSISTENT_1
è stato aggiunto nella AWS ParallelCluster versione 2.6.0.
Il valore di default è SCRATCH_1
.
deployment_type = SCRATCH_2
Nota
Il supporto per deployment_type è stato aggiunto nella AWS ParallelCluster versione 2.6.0.
drive_cache_type
(Facoltativo) Specifica che il file system dispone di una cache dell'unità SSD. Questa opzione può essere impostata solo se l'storage_typeimpostazione è impostata suHDD
. Corrisponde alla DriveCacheTypeproprietà. Per ulteriori informazioni, consulta le opzioni di implementazione di FSx for Lustre nella Guida per l'utente di Amazon FSx for Lustre.
L'unico valore valido è READ
. Per disattivare la cache dell'unità SSD, non specificare l'drive_cache_type
impostazione.
drive_cache_type = READ
Nota
Il supporto per drive_cache_type è stato aggiunto nella AWS ParallelCluster versione 2.10.0.
export_path
(Facoltativo) Specifica il percorso Amazon S3 in cui viene esportata la cartella principale del file system. Quando il export_path parametro è specificato, i fsx_backup_id parametri automatic_backup_retention_dayscopy_tags_to_backups,daily_automatic_backup_start_time, e non devono essere specificati. Corrisponde alla ExportPathproprietà. I dati e i metadati dei file non vengono esportati automaticamente in. export_path
Per informazioni sull'esportazione di dati e metadati, consulta Esportazione delle modifiche all'archivio dati nella Guida per l'utente di Amazon FSx for Lustre.
Il valore predefinito è s3://
, dove import-bucket
/FSxLustre[creation-timestamp]
è il bucket fornito nel parametro import_path.import-bucket
export_path = s3://
bucket/folder
fsx_backup_id
(Facoltativo) Specifica l'ID del backup da utilizzare per ripristinare il file system da un backup esistente. Quando il fsx_backup_id parametro è specificato, i per_unit_storage_throughput parametri auto_import_policydeployment_type, export_pathfsx_kms_key_id,import_path,imported_file_chunk_size,storage_capacity, e non devono essere specificati. Questi parametri vengono letti dal backup. Inoltre, i imported_file_chunk_size parametri auto_import_policyexport_path,import_path, e non devono essere specificati.
Corrisponde alla BackupIdproprietà.
fsx_backup_id = backup-fedcba98
Nota
Il supporto per fsx_backup_id è stato aggiunto nella AWS ParallelCluster versione 2.8.0.
fsx_fs_id
(Facoltativo) Collega un file system FSx for Lustre esistente.
Se viene specificata questa opzione, vengono utilizzate solo le fsx_fs_id impostazioni shared_dir and nella [fsx]sezione e tutte le altre impostazioni nella [fsx]sezione vengono ignorate.
fsx_fs_id = fs-073c3803dca3e28a6
fsx_kms_key_id
( Facoltativo) Specificare l'ID chiave della chiave gestita dal cliente AWS Key Management Service (AWS KMS).
Questa chiave viene utilizzata per crittografare i dati memorizzati su disco su un file system.
Questo deve essere usato con un ec2_iam_role personalizzato. Per ulteriori informazioni, consulta Crittografia del disco con una chiave KMS personalizzata. Corrisponde al KmsKeyIdparametro nell'Amazon FSx API Reference.
fsx_kms_key_id =
xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
Nota
Il supporto per fsx_kms_key_id è stato aggiunto nella AWS ParallelCluster versione 2.6.0.
import_path
(Facoltativo) Specifica il bucket S3 da cui caricare i dati nel file system e fungere da bucket di esportazione. Per ulteriori informazioni, consulta export_path. Se si specifica il import_path parametro, i fsx_backup_id parametri automatic_backup_retention_dayscopy_tags_to_backups,daily_automatic_backup_start_time, e non devono essere specificati. Corrisponde al ImportPathparametro nell'Amazon FSx API Reference.
L'importazione viene implementata a livello di creazione del cluster. Per ulteriori informazioni, consulta Importazione di dati dal tuo archivio di dati nella Guida per l'utente di Amazon FSx for Lustre. Durante l'importazione, vengono importati solo i metadati del file (nome, proprietà, timestamp e autorizzazioni). I dati del file non vengono importati dal bucket S3 fino al primo accesso al file. Per informazioni sul precaricamento del contenuto dei file, consulta Precaricamento dei file nel file system nella Guida per l'utente di Amazon FSx for Lustre.
Se non viene fornito un valore, il file system è vuoto.
import_path = s3://
bucket
imported_file_chunk_size
(Facoltativo) Determina il numero di stripe e la quantità massima di dati per ogni file (in MiB) archiviato su un singolo disco fisico per i file importati da un archivio di dati (utilizzando). import_path Il numero massimo di dischi su cui un singolo file può essere distribuito è limitato al numero totale di dischi che compongono il file system. Quando il imported_file_chunk_size parametro è specificato, i fsx_backup_id parametri automatic_backup_retention_dayscopy_tags_to_backups,daily_automatic_backup_start_time, e non devono essere specificati. Corrisponde alla ImportedFileChunkSizeproprietà.
La dimensione predefinita del blocco è 1024
(1 GiB) e può arrivare fino a 512.000 MiB (500 GiB). Gli oggetti Amazon S3 hanno una dimensione massima di 5 TB.
imported_file_chunk_size = 1024
per_unit_storage_throughput
( Obbligatorio per i tipi di distribuzione PERSISTENT_1
) Per il tipo di distribuzione deployment_type = PERSISTENT_1
, viene descritto il throughput effettivo di lettura e scrittura per ogni tebibyte (TiB) di archiviazione, in MB/S/Tib. La capacità di throughput del file system viene calcolata moltiplicando la capacità di storage del file system (TiB) per per_unit_storage_throughput (MB/s/Tib). Per un file system 2.4 TiB, il provisioning di 50 MB/s/tiB di per_unit_storage_throughput genera 120 MB/s di throughput del file system. Si paga per la quantità di throughput fornita. Corrisponde alla PerUnitStorageThroughputproprietà.
I valori possibili dipendono dal valore dell'storage_typeimpostazione.
storage_type = SSD
-
I valori possibili sono 50, 100, 200.
storage_type = HDD
-
I valori possibili sono 12, 40.
per_unit_storage_throughput = 200
Nota
Il supporto per per_unit_storage_throughput è stato aggiunto nella AWS ParallelCluster versione 2.6.0.
shared_dir
(Obbligatorio) Definisce il punto di montaggio per il file system FSx for Lustre sulla testina e sui nodi di calcolo.
Non utilizzare NONE
o /NONE
come directory condivisa.
L'esempio seguente monta il file system in /fsx
.
shared_dir = /fsx
storage_capacity
(Obbligatorio) Specifica la capacità di storage del file system in GiB. Corrisponde alla StorageCapacityproprietà.
I valori possibili della capacità di storage variano in base all'impostazione deployment_type.
SCRATCH_1
-
I valori possibili sono 1200, 2400 e qualsiasi multiplo di 3600.
SCRATCH_2
-
I valori possibili sono 1200 e qualsiasi multiplo di 2400.
PERSISTENT_1
-
I valori possibili variano in base ai valori di altre impostazioni.
storage_type = SSD
-
I valori possibili sono 1200 e qualsiasi multiplo di 2400.
storage_type = HDD
-
I valori possibili variano in base all'impostazione dell'per_unit_storage_throughputimpostazione.
per_unit_storage_throughput = 12
-
I valori possibili sono un qualsiasi multiplo di 6000.
per_unit_storage_throughput = 40
-
I valori possibili sono un qualsiasi multiplo di 1800.
storage_capacity = 7200
Nota
Per le AWS ParallelCluster versioni 2.5.0 e 2.5.1, storage_capacity supportavano i possibili valori di 1200, 2400 e qualsiasi multiplo di 3600. Per le versioni precedenti alla AWS ParallelCluster versione 2.5.0, storage_capacity aveva una dimensione minima di 3600.
storage_type
(Facoltativo) Specifica il tipo di archiviazione del file system. Corrisponde alla StorageTypeproprietà. I valori possibili sono SSD
e HDD
. Il valore di default è SSD
.
Il tipo di archiviazione modifica i possibili valori di altre impostazioni.
storage_type = SSD
-
Specifica un tipo di storage SSD (Sold-State Drive).
storage_type = SSD
modifica i valori possibili di diverse altre impostazioni.- drive_cache_type
-
Questa impostazione non può essere specificata.
- deployment_type
-
Questa impostazione può essere impostata su
SCRATCH_1
,SCRATCH_2
, oPERSISTENT_1
. - per_unit_storage_throughput
-
Questa impostazione deve essere specificata se deployment_type è impostato su
PERSISTENT_1
. I valori possibili sono 50, 100 o 200. - storage_capacity
-
Questa impostazione deve essere specificata. I valori possibili variano in base adeployment_type.
deployment_type = SCRATCH_1
-
storage_capacitypuò essere 1200, 2400 o qualsiasi multiplo di 3600.
deployment_type = SCRATCH_2
odeployment_type = PERSISTENT_1
-
storage_capacitypuò essere 1200 o qualsiasi multiplo di 2400.
storage_type = HDD
-
Specifica un tipo di archiviazione su disco rigido (HDD).
storage_type = HDD
modifica i valori possibili di altre impostazioni.- drive_cache_type
-
Questa impostazione può essere specificata.
- deployment_type
-
Questa impostazione deve essere impostata su
PERSISTENT_1
. - per_unit_storage_throughput
-
Questa impostazione deve essere specificata. I valori possibili sono 12 o 40.
- storage_capacity
-
Questa impostazione deve essere specificata. I valori possibili variano in base all'per_unit_storage_throughputimpostazione.
storage_capacity = 12
-
storage_capacitypuò essere un multiplo qualsiasi di 6000.
storage_capacity = 40
-
storage_capacitypuò essere un multiplo qualsiasi di 1800.
storage_type = SSD
Nota
Il supporto per l'storage_typeimpostazione è stato aggiunto nella AWS ParallelCluster versione 2.10.0.
weekly_maintenance_start_time
(Opzionale) Specifica un orario prescelto per eseguire la manutenzione settimanale, nel fuso orario UTC. Corrisponde alla WeeklyMaintenanceStartTimeproprietà.
Il formato è [giorno della settimana]: [ora del giorno]: [minuto dell'ora]. Ad esempio, Lunedì a mezzanotte è il seguente.
weekly_maintenance_start_time = 1:00:00
Politica di aggiornamento: questa impostazione può essere modificata durante un aggiornamento.