Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Sección [fsx]
Define las opciones de configuración de un sistema de archivos FSx para Lustre asociado. Para obtener más información, consulte Amazon FSx CreateFileSystem en la Referencia de la API de Amazon FSx.
Si el base_os es alinux2
, centos7
, ubuntu1804
o ubuntu2004
, es compatible con FSx para Lustre.
Si se utiliza Amazon Linux, el núcleo debe ser de la versión 4.14.104-78.84.amzn1.x86_64
o posterior. Para obtener instrucciones, consulte Instalación del cliente Lustre en la Guía del usuario de Amazon FSx para Lustre.
nota
FSx para Lustre no se admite actualmente cuando se usa awsbatch
como programador.
nota
Se ha eliminado la compatibilidad de FSx for Lustre en centos8
en AWS ParallelCluster versión 2.2.1. Se ha agregado la compatibilidad de ubuntu2004
en AWS ParallelCluster versión 2.11.1. Se ha agregado la compatibilidad de centos8
en AWS ParallelCluster versión 2.10.1. Se ha agregado la compatibilidad de FSx for Lustre en alinux2
, ubuntu1604
y ubuntu1804
en AWS ParallelCluster versión 2.6.0. Se ha agregado la compatibilidad de centos7
en AWS ParallelCluster versión 2.4.1.
Si se usa un sistema de archivos ya existente, debe asociarse a un grupo de seguridad que permita el tráfico TCP de entrada a través del puerto 988
. Establecer el origen en 0.0.0.0/0
en una regla de grupo de seguridad proporciona acceso cliente desde todos los intervalos IP del grupo de seguridad de VPC para el protocolo y el intervalo de puertos de esa regla. Para limitar aún más el acceso a los sistemas de archivos, recomendamos utilizar orígenes más restrictivos para las reglas de grupo de seguridad. Por ejemplo, puede usar rangos de CIDR, direcciones IP o ID de grupos de seguridad más específicos. Esto se realiza automáticamente si no se usa vpc_security_group_id.
Si desea utilizar un sistema de archivos Amazon FSx existente para un almacenamiento permanente a largo plazo que sea independiente del ciclo de vida del clúster, especifique fsx_fs_id.
Si no lo especificafsx_fs_id, AWS ParallelCluster crea el sistema de archivos FSx for Lustre a [fsx]
partir de la configuración al crear el clúster y elimina el sistema de archivos y los datos cuando se elimina el clúster.
Para obtener más información, consulte Mejores prácticas: trasladar un clúster a un nuevo AWS ParallelCluster versión secundaria o de parche.
El formato es [fsx
. fsx-name
]fsx-name
debe comenzar por una letra, contener no más de 30 caracteres y solo letras, números, guiones (-) y guiones bajos (_).
[fsx fs] shared_dir = /fsx fsx_fs_id =
fs-073c3803dca3e28a6
Para crear y configurar un nuevo sistema de archivos, use los siguientes parámetros:
[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://
bucket/folder
import_path = s3://bucket
weekly_maintenance_start_time = 1:00:00
Temas
- auto_import_policy
- automatic_backup_retention_days
- copy_tags_to_backups
- daily_automatic_backup_start_time
- data_compression_type
- deployment_type
- drive_cache_type
- export_path
- fsx_backup_id
- fsx_fs_id
- fsx_kms_key_id
- import_path
- imported_file_chunk_size
- per_unit_storage_throughput
- shared_dir
- storage_capacity
- storage_type
- weekly_maintenance_start_time
auto_import_policy
(Opcional) Especifica la política de importación automática para reflejar los cambios en el bucket de S3 utilizado para crear el sistema de archivos FSx para Lustre. Los valores posibles son los siguientes:
NEW
-
FSx para Lustre importa automáticamente descripciones de directorio de cualquier objeto nuevo agregado al bucket de S3 vinculado que no exista actualmente en el sistema de archivos FSx para Lustre.
NEW_CHANGED
-
FSx para Lustre importa automáticamente descripciones de archivos y directorios de cualquier objeto nuevo agregado al bucket de S3 y de cualquier objeto existente que se cambie en el bucket de S3.
Esto corresponde a la propiedad AutoImportPolicy. Para obtener más información, consulte Importar automáticamente actualizaciones desde su bucket de S3 en la Guía del usuario de Amazon FSx para Lustre. Cuando se especifica el parámetro auto_import_policy, no se deben especificar los parámetros automatic_backup_retention_days, copy_tags_to_backups, daily_automatic_backup_start_time y fsx_backup_id.
Si no se especifica la configuración auto_import_policy
, las importaciones automáticas están deshabilitadas. FSx para Lustre solo actualiza las descripciones de archivos y directorios desde el bucket de S3 vinculado cuando se crea el sistema de archivos.
auto_import_policy = NEW_CHANGED
nota
Se ha agregado compatibilidad para auto_import_policy en AWS ParallelCluster versión 2.10.0.
Política de actualización: si se cambia esta configuración, no se permite la actualización.
automatic_backup_retention_days
(Opcional) Especifica el número de días que se conservan las copias de seguridad automáticas. Solo es válido para su uso con tipos de implementación PERSISTENT_1
. Cuando se especifica el parámetro automatic_backup_retention_days, no se deben especificar los parámetros auto_import_policy, export_path, import_path y imported_file_chunk_size. Esto corresponde a la propiedad AutomaticBackupRetentionDays.
El valor predeterminado es 0. Este ajuste deshabilita las copias de seguridad automáticas. Los valores posibles son números enteros entre 0 y 35, ambos inclusive.
automatic_backup_retention_days = 35
nota
Se ha agregado compatibilidad para automatic_backup_retention_days en AWS ParallelCluster versión 2.8.0.
Política de actualización: esta configuración se puede cambiar durante una actualización.
copy_tags_to_backups
(Opcional) Especifica si las etiquetas del sistema de archivos se copian en las copias de seguridad. Solo es válido para su uso con tipos de implementación PERSISTENT_1
. Cuando se especifica el copy_tags_to_backups parámetro, se automatic_backup_retention_days debe especificar con un valor superior a 0 y no se deben especificar los parámetros auto_import_policy, export_path, import_path y imported_file_chunk_size. Esto corresponde a la propiedad CopyTagsToBackups.
El valor predeterminado es false
.
copy_tags_to_backups = true
nota
Se ha agregado compatibilidad para copy_tags_to_backups en AWS ParallelCluster versión 2.8.0.
Política de actualización: si se cambia esta configuración, no se permite la actualización.
daily_automatic_backup_start_time
(Opcional) Especifica la hora del día (UTC) para iniciar las copias de seguridad automáticas. Solo es válido para su uso con tipos de implementación PERSISTENT_1
. Cuando se especifica el daily_automatic_backup_start_time parámetro, se automatic_backup_retention_days debe especificar con un valor superior a 0 y no se deben especificar imported_file_chunk_size los parámetros auto_import_policy export_pathimport_path,, y. Esto corresponde a la propiedad DailyAutomaticBackupStartTime.
El formato es HH:MM
, donde HH
es la hora de relleno cero del día (0-23), y MM
es el minuto de la hora con relleno cero. Por ejemplo, a las 1:03 a.m. UTC es la siguiente.
daily_automatic_backup_start_time = 01:03
El valor predeterminado es un tiempo aleatorio entre 00:00
y23:59
.
nota
Se ha agregado compatibilidad para daily_automatic_backup_start_time en AWS ParallelCluster versión 2.8.0.
Política de actualización: esta configuración se puede cambiar durante una actualización.
data_compression_type
(Opcional) Especifica el tipo de compresión de datos FSx for Lustre. Esto corresponde a la propiedad DataCompressionType. Para obtener más información, consulte Compresión de datos de FSx para Lustre en la Guía del usuario de Amazon FSx para Lustre.
El único valor válido es LZ4
. Para deshabilitar la compresión de datos, elimine el parámetro. data_compression_type
data_compression_type = LZ4
nota
Se ha agregado compatibilidad para data_compression_type en AWS ParallelCluster versión 211.0.
Política de actualización: esta configuración se puede cambiar durante una actualización.
deployment_type
(Opcional) Especifica el tipo de despliegue de FSx for Lustre. Esto corresponde a la propiedad DeploymentType. Para más información, consulte Opciones de implementación de FSx para Lustre en la Guía del usuario de Amazon FSx para Lustre. Elija un tipo de implementación temporal para el almacenamiento temporal y el procesamiento de datos a corto plazo. SCRATCH_2
es la última generación de sistemas de archivos temporales. Ofrece mayor rendimiento de ráfagas en comparación con el rendimiento de referencia y cifrado en tránsito de datos.
Los valores válidos son SCRATCH_1
, SCRATCH_2
y PERSISTENT_1
.
SCRATCH_1
-
El tipo de implementación predeterminado de FSx para Lustre. Con este tipo de implementación, los valores posibles de storage_capacity son 1200, 2400 y cualquier múltiplo de 3600. Se ha agregado compatibilidad para
SCRATCH_1
en AWS ParallelCluster versión 2.4.0. SCRATCH_2
-
La última generación de sistemas de archivos temporales. Soporta hasta seis veces el rendimiento básico para cargas de trabajo con picos de actividad. También admite el cifrado de datos en tránsito para los tipos de instancias compatibles, si es compatible. Regiones de AWS Para obtener más información, consulte Cifrado de datos en tránsito en la Guía del usuario de Amazon FSx para Lustre. Con este tipo de implementación, los valores posibles de storage_capacity son 1200 y cualquier múltiplo de 2400. Se ha agregado compatibilidad para
SCRATCH_2
en AWS ParallelCluster versión 2.6.0. PERSISTENT_1
-
Diseñado para el almacenamiento a largo plazo. Los servidores de archivos son de alta disponibilidad, y los datos se replican dentro de la misma Zona de Disponibilidad en la que se encuentra el sistema de archivos. Admite el cifrado en tránsito de datos para los tipos de instancia compatibles. Con este tipo de implementación, los valores posibles de storage_capacity son 1200 y cualquier múltiplo de 2400. Se ha agregado compatibilidad para
PERSISTENT_1
en AWS ParallelCluster versión 2.6.0.
El valor predeterminado es SCRATCH_1
.
deployment_type = SCRATCH_2
nota
Se ha agregado compatibilidad para deployment_type en AWS ParallelCluster versión 2.6.0.
Política de actualización: si se cambia esta configuración, no se permite la actualización.
drive_cache_type
(Opcional) Especifica que el sistema de archivos tiene una memoria caché de unidad SSD. Esto solo debe configurarse si el ajuste storage_type se establece a HDD
. Esto corresponde a la propiedad DriveCachetype. Para más información, consulte Opciones de implementación de FSx para Lustre en la Guía del usuario de Amazon FSx para Lustre.
El único valor válido es READ
. Para deshabilitar la memoria caché de la unidad SSD, no especifique la configuración. drive_cache_type
drive_cache_type = READ
nota
Se ha agregado compatibilidad para drive_cache_type en AWS ParallelCluster versión 2.10.0.
Política de actualización: si se cambia esta configuración, no se permite la actualización.
export_path
(Opcional) Especifica la ruta de Amazon S3 a la que se exporta la raíz del sistema de archivos. Cuando se especifica el export_path parámetro, no se deben especificar fsx_backup_id los parámetrosdaily_automatic_backup_start_time,, y. automatic_backup_retention_days copy_tags_to_backups Esto corresponde a la propiedad ExportPath. Los datos y metadatos del archivo no se exportan automáticamente alexport_path
. Para obtener información sobre la exportación de datos y metadatos, consulte Exportación de cambios al repositorio de datos en la Guía del usuario de Amazon FSx for Lustre.
El valor predeterminado es s3://
, donde import-bucket
/FSxLustre[creation-timestamp]
es el bucket que se proporciona en el parámetro import_path.import-bucket
export_path = s3://
bucket/folder
Política de actualización: si se cambia esta configuración, no se permite la actualización.
fsx_backup_id
(Opcional) Especifica el ID de la copia de seguridad que utilizar para restaurar el sistema de archivos a partir de una copia de seguridad existente. Cuando se especifica el fsx_backup_id parámetroauto_import_policy,deployment_type, export_pathfsx_kms_key_id,import_path, imported_file_chunk_sizestorage_capacity, y per_unit_storage_throughput no deben especificarse. Estos parámetros se leen de la copia de seguridad. Además, no se deben especificar imported_file_chunk_size los parámetrosimport_path,, y. auto_import_policy export_path
Esto corresponde a la propiedad BackUpid.
fsx_backup_id = backup-fedcba98
nota
Se ha agregado compatibilidad para fsx_backup_id en AWS ParallelCluster versión 2.8.0.
Política de actualización: si se cambia esta configuración, no se permite la actualización.
fsx_fs_id
(Opcional) Asocia un sistema de archivos de FSx para Lustre ya existente.
Si se especifica esta opción, solo se utilizarán los valores de shared_dir y fsx_fs_id de la sección [fsx] y se omitirán todos los demás valores de la sección [fsx].
fsx_fs_id = fs-073c3803dca3e28a6
Política de actualización: si se cambia esta configuración, no se permite la actualización.
fsx_kms_key_id
(Opcional) Especifica el ID de clave de la clave administrada por el cliente de AWS Key Management Service (AWS KMS).
Esta clave se utiliza para cifrar los datos de su sistema de archivos en reposo.
Debe utilizarse con un ec2_iam_role personalizado. Para obtener más información, consulte Cifrado de disco con una clave KMS personalizada. Esto corresponde al parámetro KmsKeyId de la Referencia de la API de Amazon FSx.
fsx_kms_key_id =
xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
nota
Se ha agregado compatibilidad para fsx_kms_key_id en AWS ParallelCluster versión 2.6.0.
Política de actualización: si se cambia esta configuración, no se permite la actualización.
import_path
(Opcional) Especifica el bucket de S3 que se utiliza para cargar datos desde el sistema de archivos y sirve como bucket exportador. Para obtener más información, consulte export_path. Si especifica el import_path parámetro, no se automatic_backup_retention_days deben especificar fsx_backup_id los parámetros copy_tags_to_backupsdaily_automatic_backup_start_time,, y. Esto corresponde al parámetro ImportPath de la Referencia de la API de Amazon FSx.
La importación se produce al crear el clúster. Para obtener más información, consulte Importar datos del repositorio de datos en la Guía del usuario de Amazon FSx for Lustre. Al importar, solo se importan los metadatos del archivo (nombre, propiedad, fecha y permisos). Los datos del archivo no se importan desde el bucket de S3 hasta que se accede al archivo por primera vez. Para obtener información sobre la precarga del contenido de los archivos, consulte Carga previa de archivos en el sistema de archivos en la Guía del usuario de Amazon FSx for Lustre.
Si no se proporciona un valor, el sistema de archivos está vacío.
import_path = s3://
bucket
Política de actualización: si se cambia esta configuración, no se permite la actualización.
imported_file_chunk_size
(Opcional) Determina la cantidad de fragmentos y la cantidad máxima de datos por archivo (en MiB) que se almacenan en un único disco físico, para los archivos que se importan desde un repositorio de datos (con import_path). El número máximo de discos en los que un único archivo se puede fraccionar está limitado por el número total de los discos que forman el sistema de archivos. Cuando se especifica el imported_file_chunk_size parámetro, no se deben especificar fsx_backup_id los parámetros automatic_backup_retention_days copy_tags_to_backupsdaily_automatic_backup_start_time,, y. Esto corresponde a la propiedad ImportedFileChunkSize.
El valor predeterminado de fragmento es 1024
(1 GiB) y puede llegar hasta 512 000 MiB (500 GiB). Los objetos de Amazon S3 tienen un tamaño máximo de 5 TB.
imported_file_chunk_size = 1024
Política de actualización: si se cambia esta configuración, no se permite la actualización.
per_unit_storage_throughput
(Necesario para los tipos de implementación PERSISTENT_1
) Para el tipo de implementación deployment_type = PERSISTENT_1
, describe el rendimiento de lectura y escritura por cada 1 tebibyte (TiB) de almacenamiento, en MB/s/TiB. La capacidad de rendimiento del sistema de archivos se calcula multiplicando la capacidad de almacenamiento del sistema (TiB) por per_unit_storage_throughput (MB/s/TiB). Para un sistema de almacenamiento de 2,4 TiB, el aprovisionamiento de 50 MB/s/TiB per_unit_storage_throughput produce una velocidad del sistema de archivos de 120 MB/s. Usted paga la cantidad de rendimiento aprovisionada. Esto corresponde a la propiedad perUnitStorageThroughput.
Los valores posibles dependen del valor del storage_type ajuste.
storage_type = SSD
-
Los valores posibles son 50, 100 y 200.
storage_type = HDD
-
Los valores posibles son 12 o 40.
per_unit_storage_throughput = 200
nota
Se ha agregado compatibilidad para per_unit_storage_throughput en AWS ParallelCluster versión 2.6.0.
Política de actualización: si se cambia esta configuración, no se permite la actualización.
shared_dir
(Obligatorio) Define el punto de montaje para el sistema de archivos FSx para Lustre del nodo principal y los nodos de computación.
No utilice NONE
o /NONE
como directorio compartido.
En el siguiente ejemplo se monta el sistema de archivos en /fsx
.
shared_dir = /fsx
Política de actualización: si se cambia esta configuración, no se permite la actualización.
storage_capacity
(Obligatorio) Especifica la capacidad de almacenamiento del sistema de archivos, en GiB. Esto corresponde a la propiedad StorageCapacity.
Los valores posibles de capacidad de almacenamiento varían en función del valor de deployment_type.
SCRATCH_1
-
Los valores posibles son 1200, 2400 y cualquier múltiplo de 3600.
SCRATCH_2
-
Los valores posibles son 1200 y cualquier múltiplo de 2400.
PERSISTENT_1
-
Los valores posibles varían en función del valor de otros ajustes.
storage_type = SSD
-
Los valores posibles son 1200 y cualquier múltiplo de 2400.
storage_type = HDD
-
Los valores posibles varían en función del per_unit_storage_throughput establecimiento.
per_unit_storage_throughput = 12
-
Los valores posibles son cualquier múltiplo de 6000.
per_unit_storage_throughput = 40
-
Los valores posibles son cualquier múltiplo de 1800.
storage_capacity = 7200
nota
Para AWS ParallelCluster versión 2.5.0 y 2.5.1, storage_capacity admite los valores 1200, 2400 y cualquier múltiplo de 3600. Para las versiones anteriores a AWS ParallelCluster versión 2.5.0, storage_capacity tenía un tamaño mínimo de 3600.
Política de actualización: si se cambia esta configuración, no se permite la actualización.
storage_type
(Opcional) Especifica el tipo de almacenamiento del sistema de archivos. Esto corresponde a la propiedad StorageType. Los valores posibles son SSD
y HDD
. El valor predeterminado es SSD
.
El tipo de almacenamiento cambia los valores posibles de otras configuraciones.
storage_type = SSD
-
Especifica el tipo de almacenamiento de unidades de estado sólido (SSD).
storage_type = SSD
cambia los valores posibles de varios otros ajustes.- drive_cache_type
-
Este ajuste no se puede especificar.
- deployment_type
-
Este ajuste se puede establecer en
SCRATCH_1
,SCRATCH_2
oPERSISTENT_1
. - per_unit_storage_throughput
-
Este valor debe especificarse si deployment_type está establecido en
PERSISTENT_1
. Los valores posibles son 50, 10 o 200. - storage_capacity
-
Este valor debe especificarse. Los valores posibles varían en función del deployment_type.
deployment_type = SCRATCH_1
-
storage_capacity puede ser 1200, 2400 o cualquier múltiplo de 3600.
deployment_type = SCRATCH_2
odeployment_type = PERSISTENT_1
-
storage_capacity puede ser 1200, 2400 o cualquier múltiplo de 2400.
storage_type = HDD
-
Especifica el tipo de almacenamiento de una unidad de disco duro (HDD).
storage_type = HDD
cambia los valores posibles de otros ajustes.- drive_cache_type
-
Este ajuste se puede especificar.
- deployment_type
-
Este ajuste debe establecerse en
PERSISTENT_1
. - per_unit_storage_throughput
-
Este valor debe especificarse. Los valores posibles son 12 o 40.
- storage_capacity
-
Este valor debe especificarse. Los valores posibles varían en función del valor de per_unit_storage_throughput.
storage_capacity = 12
-
storage_capacity puede ser cualquier múltiplo de 6000.
storage_capacity = 40
-
storage_capacity puede ser cualquier múltiplo de 1800.
storage_type = SSD
nota
La compatibilidad con la storage_type sección se añadió en versión 2.10.0.
Política de actualización: si se cambia esta configuración, no se permite la actualización.
weekly_maintenance_start_time
(Opcional) Especifica una hora preferida para realizar el mantenimiento semanal, en la zona horaria UTC. Esto corresponde a la propiedad WeeklyMaintenanceStartTime.
El formato es [día de la semana]: [hora del día]: [minuto]. Por ejemplo, lunes a medianoche es lo siguiente.
weekly_maintenance_start_time = 1:00:00
Política de actualización: esta configuración se puede cambiar durante una actualización.