Sección [fsx] - AWS ParallelCluster

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Sección [fsx]

Define las opciones de configuración de un sistema de archivos FSx para Lustre asociado. Para obtener más información, consulte Amazon FSx CreateFileSystem en la Referencia de la API de Amazon FSx.

Si el base_os es alinux2, centos7, ubuntu1804 o ubuntu2004, es compatible con FSx para Lustre.

Si se utiliza Amazon Linux, el núcleo debe ser de la versión 4.14.104-78.84.amzn1.x86_64 o posterior. Para obtener instrucciones, consulte Instalación del cliente Lustre en la Guía del usuario de Amazon FSx para Lustre.

nota

FSx para Lustre no se admite actualmente cuando se usa awsbatch como programador.

nota

Se ha eliminado la compatibilidad de FSx for Lustre en centos8 en AWS ParallelCluster versión 2.2.1. Se ha agregado la compatibilidad de ubuntu2004 en AWS ParallelCluster versión 2.11.1. Se ha agregado la compatibilidad de centos8 en AWS ParallelCluster versión 2.10.1. Se ha agregado la compatibilidad de FSx for Lustre en alinux2, ubuntu1604 y ubuntu1804 en AWS ParallelCluster versión 2.6.0. Se ha agregado la compatibilidad de centos7 en AWS ParallelCluster versión 2.4.1.

Si se usa un sistema de archivos ya existente, debe asociarse a un grupo de seguridad que permita el tráfico TCP de entrada a través del puerto 988. Establecer el origen en 0.0.0.0/0 en una regla de grupo de seguridad proporciona acceso cliente desde todos los intervalos IP del grupo de seguridad de VPC para el protocolo y el intervalo de puertos de esa regla. Para limitar aún más el acceso a los sistemas de archivos, recomendamos utilizar orígenes más restrictivos para las reglas de grupo de seguridad. Por ejemplo, puede usar rangos de CIDR, direcciones IP o ID de grupos de seguridad más específicos. Esto se realiza automáticamente si no se usa vpc_security_group_id.

Si desea utilizar un sistema de archivos Amazon FSx existente para un almacenamiento permanente a largo plazo que sea independiente del ciclo de vida del clúster, especifique fsx_fs_id.

Si no lo especificafsx_fs_id, AWS ParallelCluster crea el sistema de archivos FSx for Lustre a [fsx] partir de la configuración al crear el clúster y elimina el sistema de archivos y los datos cuando se elimina el clúster.

Para obtener más información, consulte Mejores prácticas: trasladar un clúster a un nuevo AWS ParallelCluster versión secundaria o de parche.

El formato es [fsx fsx-name]. fsx-name debe comenzar por una letra, contener no más de 30 caracteres y solo letras, números, guiones (-) y guiones bajos (_).

[fsx fs] shared_dir = /fsx fsx_fs_id = fs-073c3803dca3e28a6

Para crear y configurar un nuevo sistema de archivos, use los siguientes parámetros:

[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://bucket/folder import_path = s3://bucket weekly_maintenance_start_time = 1:00:00

auto_import_policy

(Opcional) Especifica la política de importación automática para reflejar los cambios en el bucket de S3 utilizado para crear el sistema de archivos FSx para Lustre. Los valores posibles son los siguientes:

NEW

FSx para Lustre importa automáticamente descripciones de directorio de cualquier objeto nuevo agregado al bucket de S3 vinculado que no exista actualmente en el sistema de archivos FSx para Lustre.

NEW_CHANGED

FSx para Lustre importa automáticamente descripciones de archivos y directorios de cualquier objeto nuevo agregado al bucket de S3 y de cualquier objeto existente que se cambie en el bucket de S3.

Esto corresponde a la propiedad AutoImportPolicy. Para obtener más información, consulte Importar automáticamente actualizaciones desde su bucket de S3 en la Guía del usuario de Amazon FSx para Lustre. Cuando se especifica el parámetro auto_import_policy, no se deben especificar los parámetros automatic_backup_retention_days, copy_tags_to_backups, daily_automatic_backup_start_time y fsx_backup_id.

Si no se especifica la configuración auto_import_policy, las importaciones automáticas están deshabilitadas. FSx para Lustre solo actualiza las descripciones de archivos y directorios desde el bucket de S3 vinculado cuando se crea el sistema de archivos.

auto_import_policy = NEW_CHANGED
nota

Se ha agregado compatibilidad para auto_import_policy en AWS ParallelCluster versión 2.10.0.

Política de actualización: si se cambia esta configuración, no se permite la actualización.

automatic_backup_retention_days

(Opcional) Especifica el número de días que se conservan las copias de seguridad automáticas. Solo es válido para su uso con tipos de implementación PERSISTENT_1. Cuando se especifica el parámetro automatic_backup_retention_days, no se deben especificar los parámetros auto_import_policy, export_path, import_path y imported_file_chunk_size. Esto corresponde a la propiedad AutomaticBackupRetentionDays.

El valor predeterminado es 0. Este ajuste deshabilita las copias de seguridad automáticas. Los valores posibles son números enteros entre 0 y 35, ambos inclusive.

automatic_backup_retention_days = 35
nota

Se ha agregado compatibilidad para automatic_backup_retention_days en AWS ParallelCluster versión 2.8.0.

Política de actualización: esta configuración se puede cambiar durante una actualización.

copy_tags_to_backups

(Opcional) Especifica si las etiquetas del sistema de archivos se copian en las copias de seguridad. Solo es válido para su uso con tipos de implementación PERSISTENT_1. Cuando se especifica el copy_tags_to_backups parámetro, se automatic_backup_retention_days debe especificar con un valor superior a 0 y no se deben especificar los parámetros auto_import_policy, export_path, import_path y imported_file_chunk_size. Esto corresponde a la propiedad CopyTagsToBackups.

El valor predeterminado es false.

copy_tags_to_backups = true
nota

Se ha agregado compatibilidad para copy_tags_to_backups en AWS ParallelCluster versión 2.8.0.

Política de actualización: si se cambia esta configuración, no se permite la actualización.

daily_automatic_backup_start_time

(Opcional) Especifica la hora del día (UTC) para iniciar las copias de seguridad automáticas. Solo es válido para su uso con tipos de implementación PERSISTENT_1. Cuando se especifica el daily_automatic_backup_start_time parámetro, se automatic_backup_retention_days debe especificar con un valor superior a 0 y no se deben especificar imported_file_chunk_size los parámetros auto_import_policy export_pathimport_path,, y. Esto corresponde a la propiedad DailyAutomaticBackupStartTime.

El formato es HH:MM, donde HH es la hora de relleno cero del día (0-23), y MM es el minuto de la hora con relleno cero. Por ejemplo, a las 1:03 a.m. UTC es la siguiente.

daily_automatic_backup_start_time = 01:03

El valor predeterminado es un tiempo aleatorio entre 00:00 y23:59.

nota

Se ha agregado compatibilidad para daily_automatic_backup_start_time en AWS ParallelCluster versión 2.8.0.

Política de actualización: esta configuración se puede cambiar durante una actualización.

data_compression_type

(Opcional) Especifica el tipo de compresión de datos FSx for Lustre. Esto corresponde a la propiedad DataCompressionType. Para obtener más información, consulte Compresión de datos de FSx para Lustre en la Guía del usuario de Amazon FSx para Lustre.

El único valor válido es LZ4. Para deshabilitar la compresión de datos, elimine el parámetro. data_compression_type

data_compression_type = LZ4
nota

Se ha agregado compatibilidad para data_compression_type en AWS ParallelCluster versión 211.0.

Política de actualización: esta configuración se puede cambiar durante una actualización.

deployment_type

(Opcional) Especifica el tipo de despliegue de FSx for Lustre. Esto corresponde a la propiedad DeploymentType. Para más información, consulte Opciones de implementación de FSx para Lustre en la Guía del usuario de Amazon FSx para Lustre. Elija un tipo de implementación temporal para el almacenamiento temporal y el procesamiento de datos a corto plazo. SCRATCH_2 es la última generación de sistemas de archivos temporales. Ofrece mayor rendimiento de ráfagas en comparación con el rendimiento de referencia y cifrado en tránsito de datos.

Los valores válidos son SCRATCH_1, SCRATCH_2 y PERSISTENT_1.

SCRATCH_1

El tipo de implementación predeterminado de FSx para Lustre. Con este tipo de implementación, los valores posibles de storage_capacity son 1200, 2400 y cualquier múltiplo de 3600. Se ha agregado compatibilidad para SCRATCH_1 en AWS ParallelCluster versión 2.4.0.

SCRATCH_2

La última generación de sistemas de archivos temporales. Soporta hasta seis veces el rendimiento básico para cargas de trabajo con picos de actividad. También admite el cifrado de datos en tránsito para los tipos de instancias compatibles, si es compatible. Regiones de AWS Para obtener más información, consulte Cifrado de datos en tránsito en la Guía del usuario de Amazon FSx para Lustre. Con este tipo de implementación, los valores posibles de storage_capacity son 1200 y cualquier múltiplo de 2400. Se ha agregado compatibilidad para SCRATCH_2 en AWS ParallelCluster versión 2.6.0.

PERSISTENT_1

Diseñado para el almacenamiento a largo plazo. Los servidores de archivos son de alta disponibilidad, y los datos se replican dentro de la misma Zona de Disponibilidad en la que se encuentra el sistema de archivos. Admite el cifrado en tránsito de datos para los tipos de instancia compatibles. Con este tipo de implementación, los valores posibles de storage_capacity son 1200 y cualquier múltiplo de 2400. Se ha agregado compatibilidad para PERSISTENT_1 en AWS ParallelCluster versión 2.6.0.

El valor predeterminado es SCRATCH_1.

deployment_type = SCRATCH_2
nota

Se ha agregado compatibilidad para deployment_type en AWS ParallelCluster versión 2.6.0.

Política de actualización: si se cambia esta configuración, no se permite la actualización.

drive_cache_type

(Opcional) Especifica que el sistema de archivos tiene una memoria caché de unidad SSD. Esto solo debe configurarse si el ajuste storage_type se establece a HDD. Esto corresponde a la propiedad DriveCachetype. Para más información, consulte Opciones de implementación de FSx para Lustre en la Guía del usuario de Amazon FSx para Lustre.

El único valor válido es READ. Para deshabilitar la memoria caché de la unidad SSD, no especifique la configuración. drive_cache_type

drive_cache_type = READ
nota

Se ha agregado compatibilidad para drive_cache_type en AWS ParallelCluster versión 2.10.0.

Política de actualización: si se cambia esta configuración, no se permite la actualización.

export_path

(Opcional) Especifica la ruta de Amazon S3 a la que se exporta la raíz del sistema de archivos. Cuando se especifica el export_path parámetro, no se deben especificar fsx_backup_id los parámetrosdaily_automatic_backup_start_time,, y. automatic_backup_retention_days copy_tags_to_backups Esto corresponde a la propiedad ExportPath. Los datos y metadatos del archivo no se exportan automáticamente alexport_path. Para obtener información sobre la exportación de datos y metadatos, consulte Exportación de cambios al repositorio de datos en la Guía del usuario de Amazon FSx for Lustre.

El valor predeterminado es s3://import-bucket/FSxLustre[creation-timestamp], donde import-bucket es el bucket que se proporciona en el parámetro import_path.

export_path = s3://bucket/folder

Política de actualización: si se cambia esta configuración, no se permite la actualización.

fsx_backup_id

(Opcional) Especifica el ID de la copia de seguridad que utilizar para restaurar el sistema de archivos a partir de una copia de seguridad existente. Cuando se especifica el fsx_backup_id parámetroauto_import_policy,deployment_type, export_pathfsx_kms_key_id,import_path, imported_file_chunk_sizestorage_capacity, y per_unit_storage_throughput no deben especificarse. Estos parámetros se leen de la copia de seguridad. Además, no se deben especificar imported_file_chunk_size los parámetrosimport_path,, y. auto_import_policy export_path

Esto corresponde a la propiedad BackUpid.

fsx_backup_id = backup-fedcba98
nota

Se ha agregado compatibilidad para fsx_backup_id en AWS ParallelCluster versión 2.8.0.

Política de actualización: si se cambia esta configuración, no se permite la actualización.

fsx_fs_id

(Opcional) Asocia un sistema de archivos de FSx para Lustre ya existente.

Si se especifica esta opción, solo se utilizarán los valores de shared_dir y fsx_fs_id de la sección [fsx] y se omitirán todos los demás valores de la sección [fsx].

fsx_fs_id = fs-073c3803dca3e28a6

Política de actualización: si se cambia esta configuración, no se permite la actualización.

fsx_kms_key_id

(Opcional) Especifica el ID de clave de la clave administrada por el cliente de AWS Key Management Service (AWS KMS).

Esta clave se utiliza para cifrar los datos de su sistema de archivos en reposo.

Debe utilizarse con un ec2_iam_role personalizado. Para obtener más información, consulte Cifrado de disco con una clave KMS personalizada. Esto corresponde al parámetro KmsKeyId de la Referencia de la API de Amazon FSx.

fsx_kms_key_id = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
nota

Se ha agregado compatibilidad para fsx_kms_key_id en AWS ParallelCluster versión 2.6.0.

Política de actualización: si se cambia esta configuración, no se permite la actualización.

import_path

(Opcional) Especifica el bucket de S3 que se utiliza para cargar datos desde el sistema de archivos y sirve como bucket exportador. Para obtener más información, consulte export_path. Si especifica el import_path parámetro, no se automatic_backup_retention_days deben especificar fsx_backup_id los parámetros copy_tags_to_backupsdaily_automatic_backup_start_time,, y. Esto corresponde al parámetro ImportPath de la Referencia de la API de Amazon FSx.

La importación se produce al crear el clúster. Para obtener más información, consulte Importar datos del repositorio de datos en la Guía del usuario de Amazon FSx for Lustre. Al importar, solo se importan los metadatos del archivo (nombre, propiedad, fecha y permisos). Los datos del archivo no se importan desde el bucket de S3 hasta que se accede al archivo por primera vez. Para obtener información sobre la precarga del contenido de los archivos, consulte Carga previa de archivos en el sistema de archivos en la Guía del usuario de Amazon FSx for Lustre.

Si no se proporciona un valor, el sistema de archivos está vacío.

import_path = s3://bucket

Política de actualización: si se cambia esta configuración, no se permite la actualización.

imported_file_chunk_size

(Opcional) Determina la cantidad de fragmentos y la cantidad máxima de datos por archivo (en MiB) que se almacenan en un único disco físico, para los archivos que se importan desde un repositorio de datos (con import_path). El número máximo de discos en los que un único archivo se puede fraccionar está limitado por el número total de los discos que forman el sistema de archivos. Cuando se especifica el imported_file_chunk_size parámetro, no se deben especificar fsx_backup_id los parámetros automatic_backup_retention_days copy_tags_to_backupsdaily_automatic_backup_start_time,, y. Esto corresponde a la propiedad ImportedFileChunkSize.

El valor predeterminado de fragmento es 1024 (1 GiB) y puede llegar hasta 512 000 MiB (500 GiB). Los objetos de Amazon S3 tienen un tamaño máximo de 5 TB.

imported_file_chunk_size = 1024

Política de actualización: si se cambia esta configuración, no se permite la actualización.

per_unit_storage_throughput

(Necesario para los tipos de implementación PERSISTENT_1) Para el tipo de implementación deployment_type = PERSISTENT_1, describe el rendimiento de lectura y escritura por cada 1 tebibyte (TiB) de almacenamiento, en MB/s/TiB. La capacidad de rendimiento del sistema de archivos se calcula multiplicando la capacidad de almacenamiento del sistema (TiB) por per_unit_storage_throughput (MB/s/TiB). Para un sistema de almacenamiento de 2,4 TiB, el aprovisionamiento de 50 MB/s/TiB per_unit_storage_throughput produce una velocidad del sistema de archivos de 120 MB/s. Usted paga la cantidad de rendimiento aprovisionada. Esto corresponde a la propiedad perUnitStorageThroughput.

Los valores posibles dependen del valor del storage_type ajuste.

storage_type = SSD

Los valores posibles son 50, 100 y 200.

storage_type = HDD

Los valores posibles son 12 o 40.

per_unit_storage_throughput = 200
nota

Se ha agregado compatibilidad para per_unit_storage_throughput en AWS ParallelCluster versión 2.6.0.

Política de actualización: si se cambia esta configuración, no se permite la actualización.

shared_dir

(Obligatorio) Define el punto de montaje para el sistema de archivos FSx para Lustre del nodo principal y los nodos de computación.

No utilice NONE o /NONE como directorio compartido.

En el siguiente ejemplo se monta el sistema de archivos en /fsx.

shared_dir = /fsx

Política de actualización: si se cambia esta configuración, no se permite la actualización.

storage_capacity

(Obligatorio) Especifica la capacidad de almacenamiento del sistema de archivos, en GiB. Esto corresponde a la propiedad StorageCapacity.

Los valores posibles de capacidad de almacenamiento varían en función del valor de deployment_type.

SCRATCH_1

Los valores posibles son 1200, 2400 y cualquier múltiplo de 3600.

SCRATCH_2

Los valores posibles son 1200 y cualquier múltiplo de 2400.

PERSISTENT_1

Los valores posibles varían en función del valor de otros ajustes.

storage_type = SSD

Los valores posibles son 1200 y cualquier múltiplo de 2400.

storage_type = HDD

Los valores posibles varían en función del per_unit_storage_throughput establecimiento.

per_unit_storage_throughput = 12

Los valores posibles son cualquier múltiplo de 6000.

per_unit_storage_throughput = 40

Los valores posibles son cualquier múltiplo de 1800.

storage_capacity = 7200
nota

Para AWS ParallelCluster versión 2.5.0 y 2.5.1, storage_capacity admite los valores 1200, 2400 y cualquier múltiplo de 3600. Para las versiones anteriores a AWS ParallelCluster versión 2.5.0, storage_capacity tenía un tamaño mínimo de 3600.

Política de actualización: si se cambia esta configuración, no se permite la actualización.

storage_type

(Opcional) Especifica el tipo de almacenamiento del sistema de archivos. Esto corresponde a la propiedad StorageType. Los valores posibles son SSD y HDD. El valor predeterminado es SSD.

El tipo de almacenamiento cambia los valores posibles de otras configuraciones.

storage_type = SSD

Especifica el tipo de almacenamiento de unidades de estado sólido (SSD).

storage_type = SSD cambia los valores posibles de varios otros ajustes.

drive_cache_type

Este ajuste no se puede especificar.

deployment_type

Este ajuste se puede establecer en SCRATCH_1, SCRATCH_2 oPERSISTENT_1.

per_unit_storage_throughput

Este valor debe especificarse si deployment_type está establecido en PERSISTENT_1. Los valores posibles son 50, 10 o 200.

storage_capacity

Este valor debe especificarse. Los valores posibles varían en función del deployment_type.

deployment_type = SCRATCH_1

storage_capacity puede ser 1200, 2400 o cualquier múltiplo de 3600.

deployment_type = SCRATCH_2 o deployment_type = PERSISTENT_1

storage_capacity puede ser 1200, 2400 o cualquier múltiplo de 2400.

storage_type = HDD

Especifica el tipo de almacenamiento de una unidad de disco duro (HDD).

storage_type = HDD cambia los valores posibles de otros ajustes.

drive_cache_type

Este ajuste se puede especificar.

deployment_type

Este ajuste debe establecerse en PERSISTENT_1.

per_unit_storage_throughput

Este valor debe especificarse. Los valores posibles son 12 o 40.

storage_capacity

Este valor debe especificarse. Los valores posibles varían en función del valor de per_unit_storage_throughput.

storage_capacity = 12

storage_capacity puede ser cualquier múltiplo de 6000.

storage_capacity = 40

storage_capacity puede ser cualquier múltiplo de 1800.

storage_type = SSD
nota

La compatibilidad con la storage_type sección se añadió en versión 2.10.0.

Política de actualización: si se cambia esta configuración, no se permite la actualización.

weekly_maintenance_start_time

(Opcional) Especifica una hora preferida para realizar el mantenimiento semanal, en la zona horaria UTC. Esto corresponde a la propiedad WeeklyMaintenanceStartTime.

El formato es [día de la semana]: [hora del día]: [minuto]. Por ejemplo, lunes a medianoche es lo siguiente.

weekly_maintenance_start_time = 1:00:00

Política de actualización: esta configuración se puede cambiar durante una actualización.