Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
# Rendimiento de Amazon FSx for Lustre
En este capítulo se proporcionan temas sobre el rendimiento de Amazon FSx for Lustre, incluidos algunos consejos y recomendaciones importantes para maximizar el rendimiento de su sistema de archivos.
**Topics**
+ [Descripción general de](#performance-overview)
+ [¿Cómo funcionan FSx los sistemas de archivos de Lustre](#how-lustre-fs-work)
+ [Rendimiento de los metadatos del sistema de archivos](#dne-metadata-performance)
+ [Rendimiento de las instancias de clientes individuales](#throughput-clients)
+ [Disposición de almacenamiento del sistema de archivos](#storage-layout)
+ [Fragmentación de datos en su sistema de archivos](#striping-data)
+ [Supervisión del rendimiento y uso](#performance-monitoring)
+ [Características de rendimiento de las clases de almacenamiento en SSD y HDD](ssd-storage.md)
+ [Características de rendimiento de la clase de almacenamiento Intelligent-Tiering](intelligent-tiering-file-systems.md)
+ [Consejos de rendimiento](performance-tips.md)
## Descripción general de
Amazon FSx for Lustre, basado en Lustre el popular sistema de archivos de alto rendimiento, ofrece un rendimiento de escalado horizontal que aumenta linealmente con el tamaño del sistema de archivos. Lustrelos sistemas de archivos se escalan horizontalmente en varios discos y servidores de archivos. Este escalado proporciona a cada cliente acceso directo a los datos almacenados en cada disco para eliminar muchos de los cuellos de botella presentes en los sistemas de archivos tradicionales. Amazon FSx for Lustre se basa en la arquitectura Lustre escalable para soportar altos niveles de rendimiento en un gran número de clientes.
## ¿Cómo funcionan FSx los sistemas de archivos de Lustre
Cada uno FSx de los sistemas de archivos de Lustre consta de los servidores de archivos con los que se comunican los clientes y de un conjunto de discos conectados a cada servidor de archivos que almacena los datos. Cada servidor de archivos emplea un caché en memoria rápido para mejorar el rendimiento de los datos a los que se accede con más frecuencia. Según la clase de almacenamiento, el servidor de archivos se puede aprovisionar con una caché de lectura de la SSD opcional. Cuando un cliente accede a los datos almacenados en la caché en memoria o SSD, el servidor de archivos no necesita leerlos del disco, lo que reduce la latencia y aumenta el rendimiento total que se puede obtener. El siguiente diagrama ilustra las rutas de una operación de escritura, una operación de lectura servida desde el disco y una operación de lectura servida desde la caché en memoria o SSD.
![\[FSx para la arquitectura de rendimiento Lustre.\]](http://docs.aws.amazon.com/es_es/fsx/latest/LustreGuide/images/LustrePerfDiagram.png)
Cuando se leen datos almacenados en la caché en memoria o SSD del servidor de archivos, el rendimiento del sistema de archivos viene determinado por el rendimiento de la red. Cuando se escriben datos en el sistema de archivos, o cuando se leen datos que no están almacenados en la caché en memoria, el rendimiento del sistema de archivos viene determinado por el menor entre el rendimiento de la red y el rendimiento del disco.
Para obtener más información sobre el rendimiento de la red, el rendimiento del disco y las características de IOPS de las clases de almacenamiento SSD y HDD, consulte [Características de rendimiento de las clases de almacenamiento en SSD y HDD](ssd-storage.md) y [Características de rendimiento de la clase de almacenamiento Intelligent-Tiering](intelligent-tiering-file-systems.md).
## Rendimiento de los metadatos del sistema de archivos
Las operaciones de E/S por segundo (IOPS) de los metadatos del sistema de archivos determinan la cantidad de archivos y directorios que puede crear, enumerar, leer y eliminar por segundo.
Los sistemas de archivos Persistent 2 le permiten aprovisionar las IOPS de metadatos independientemente de la capacidad de almacenamiento y proporcionan una mayor visibilidad de la cantidad y el tipo de IOPS de metadatos que incorporan las instancias de cliente al sistema de archivos. Con los sistemas de archivos SSD, las IOPS de metadatos se aprovisionan automáticamente en función de la capacidad de almacenamiento que aprovisione. El modo automático no es compatible con los sistemas de archivos Intelligent-Tiering.
En FSx el caso de los sistemas de archivos Lustre Persistent 2, la cantidad de IOPS de metadatos que aprovisione y el tipo de operación de metadatos determinan la tasa de operaciones de metadatos que su sistema de archivos puede admitir. El nivel de IOPS de metadatos que aprovisione determina la cantidad de IOPS aprovisionadas para los discos de metadatos del sistema de archivos.
| Tipo de operación | Operaciones que puede realizar por segundo para cada IOPS de metadatos aprovisionadas |
| --- | --- |
| Crear, abrir y cerrar archivos | 2 |
| Eliminar archivos | 1 |
| Crear y renombrar directorios | 0.1 |
| Eliminar directorios | 0.2 |
En el caso de los sistemas de archivos SSD, puede elegir aprovisionar las IOPS de metadatos mediante el modo automático. En el modo automático, Amazon aprovisiona FSx automáticamente las IOPS de los metadatos en función de la capacidad de almacenamiento del sistema de archivos según la siguiente tabla:
| Capacidad de almacenamiento del sistema de archivos | IOPS de metadatos incluidas en el modo automático |
| --- | --- |
| 1200 GiB | 1500 |
| 2400 GiB | 3 000 |
| De 4800 a 9600 GiB | 6000 |
| De 12 000 a 45 600 GiB | 12000 |
| ≥48 000 GiB | 12 000 IOPS por 24 000 GiB |
En el modo aprovisionado por el usuario, puede optar por especificar la cantidad de IOPS de metadatos por aprovisionar. Los valores válidos son los siguientes:
+ Para los sistemas de archivos SSD, los valores válidos son `1500`, `3000`, `6000`, `12000` y múltiplos de `12000`, hasta un máximo de `192000`.
+ Para los sistemas de archivos Intelligent-Tiering, los valores válidos son `6000` y `12000`.
Para obtener información acerca de cómo configurar la IOPS de los metadatos, consulte [Administración del rendimiento de los metadatos](managing-metadata-performance.md). Tenga en cuenta que usted paga por las IOPS de metadatos aprovisionadas por encima de la cantidad predeterminada de IOPS de metadatos en el sistema de archivos.
## Rendimiento de las instancias de clientes individuales
Si va a crear un sistema de archivos con una capacidad GBps de rendimiento superior al 10%, le recomendamos que habilite Elastic Fabric Adapter (EFA) para optimizar el rendimiento por instancia de cliente. Para optimizar aún más el rendimiento por instancia de cliente, los sistemas de archivos compatibles con EFA también admiten el GPUDirect almacenamiento para las instancias de cliente basadas en las GPU NVIDIA compatibles con EFA y ENA Express para las instancias de cliente habilitadas para ENA Express.
El rendimiento que puede transferir a una única instancia de cliente depende del tipo de sistema de archivos que elija y de la interfaz de red de la instancia de cliente.
| Tipo de sistema de archivos | Interfaz de red de la instancia de cliente | Rendimiento máximo por cliente, GBps |
| --- | --- | --- |
| No compatible con EFA | Cualquiera | 100 GBps\$1 |
| Compatible con EFA | ENA | 100 GBps\$1 |
| Compatible con EFA | ENA Express | 100 Gbps |
| Compatible con EFA | EFA | 700 Gbps |
| Compatible con EFA | EFA con GDS | 1200 Gbps |
**nota**
\$1 El tráfico entre una instancia de cliente individual y una instancia individual del servidor FSx de almacenamiento de objetos Lustre está limitado a 5 Gbps. Consulte el número de servidores [Direcciones IP para sistemas de archivos](using-fsx-lustre.md#ip-addesses-for-fs) de almacenamiento de objetos en los que se basa su sistema de archivos FSx para Lustre.
## Disposición de almacenamiento del sistema de archivos
Todos los datos de los archivos Lustre se almacenan en volúmenes de almacenamiento denominados *destinos de almacenamiento de objetos* (). OSTs Todos los metadatos de los archivos (incluidos los nombres de los archivos, las marcas de tiempo, los permisos, etc.) se almacenan en volúmenes de almacenamiento denominados *destinos de metadatos* (MDTs). Los sistemas de archivos de Amazon FSx for Lustre se componen de uno o varios OSTs sistemas MDTs de archivos. Amazon FSx for Lustre distribuye los datos de sus archivos entre los elementos OSTs que componen su sistema de archivos para equilibrar la capacidad de almacenamiento con el rendimiento y la carga de IOPS.
Para ver el uso de almacenamiento del MDT y los elementos OSTs que componen su sistema de archivos, ejecute el siguiente comando desde un cliente que tenga el sistema de archivos montado.
```
lfs df -h mount/path
```
El resultado de este comando tendrá un aspecto similar al siguiente.
**Example**
```
UUID bytes Used Available Use% Mounted on
mountname-MDT0000_UUID 68.7G 5.4M 68.7G 0% /fsx[MDT:0]
mountname-OST0000_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:0]
mountname-OST0001_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:1]
filesystem_summary: 2.2T 9.0M 2.2T 0% /fsx
```
## Fragmentación de datos en su sistema de archivos
Puede optimizar el rendimiento de su sistema de archivos con la fragmentación de archivos. Amazon FSx for Lustre distribuye automáticamente los archivos para garantizar que los datos se OSTs envíen desde todos los servidores de almacenamiento. Puede aplicar el mismo concepto a nivel de archivo configurando la forma en que los archivos se dividen en varios. OSTs
La división en bandas significa que los archivos se pueden dividir en varios fragmentos que luego se almacenan en diferentes partes. OSTs Cuando un archivo se divide en varias secciones OSTs, las solicitudes de lectura o escritura del archivo se distribuyen entre ellas OSTs, lo que aumenta el rendimiento total o las IOPS que las aplicaciones pueden procesar.
Los siguientes son los diseños predeterminados de los sistemas de archivos Amazon FSx for Lustre.
+ Para los sistemas de archivos creados antes del 18 de diciembre de 2020, el diseño predeterminado especifica el número de franjas de 1. Esto significa que, a menos que se especifique un diseño diferente, cada archivo creado en Amazon FSx for Lustre con las herramientas estándar de Linux se almacena en un único disco.
+ Para los sistemas de archivos creados después del 18 de diciembre de 2020, el diseño predeterminado es un diseño de archivos progresivo en el que los archivos de menos de 1 GB de tamaño se almacenan en una franja, y a los archivos de mayor tamaño se les asigna un número de fragmento de 5.
+ Para los sistemas de archivos creados después del 25 de agosto de 2023, la disposición por defecto es una disposición de archivos progresiva de 4 componentes que se explica en [Disposición progresiva de archivos](#striping-pfl).
+ Para todos los sistemas de archivos, independientemente de su fecha de creación, los archivos importados de Amazon S3 no utilizan el diseño predeterminado, sino que utilizan el diseño del parámetro `ImportedFileChunkSize` del sistema de archivos. Los archivos importados en S3 con un tamaño superior al 1 se `ImportedFileChunkSize` almacenarán en varios OSTs con un número de franjas de. `(FileSize / ImportedFileChunksize) + 1` El valor predeterminado de `ImportedFileChunkSize` es 1 GiB.
Puede ver la configuración de diseño de un archivo o directorio mediante el comando `lfs getstripe`.
```
lfs getstripe path/to/filename
```
Este comando indica el número de franjas, el tamaño y el desfase de fragmentos de un archivo. El número de *franjas es el número* de franjas OSTs de las que está dividido el archivo. El *tamaño de franja* es la cantidad de datos continuos que se almacenan en un OST. El *desplazamiento de franja* es el índice del primer OST sobre el que se divide el archivo.
### Modificar la configuración de franjas
Los parámetros de diseño de un archivo se establecen cuando se crea el archivo por primera vez. Utilice el comando `lfs setstripe` para crear un nuevo archivo vacío con una disposición específica.
```
lfs setstripe filename --stripe-count number_of_OSTs
```
El comando `lfs setstripe` afecta a la disposición de un nuevo archivo. Úselo para especificar la disposición de un archivo antes de crearlo. También puede definir una disposición para un directorio. Una vez establecida en un directorio, esa disposición se aplica a cada nuevo archivo añadido a ese directorio, pero no a los archivos existentes. Cualquier nuevo subdirectorio que cree también hereda la nueva disposición, que se aplica a los nuevos archivos o directorios que se creen dentro de ese subdirectorio.
Para modificar la disposición de un archivo existente, utilice el comando `lfs migrate`. Este comando copia el archivo según sea necesario para distribuir su contenido de acuerdo con la disposición que especifique en el comando. Por ejemplo, los archivos anexados o cuyo tamaño ha aumentado no cambian el número de franjas, por lo que hay que migrarlos para cambiar el diseño del archivo. Alternativamente, puede crear un nuevo archivo utilizando el comando `lfs setstripe` para especificar su distribución, copiar el contenido original en el nuevo archivo y cambiar el nombre del nuevo archivo para reemplazar el archivo original.
Puede haber casos en los que la configuración de la presentación por defecto no sea óptima para su carga de trabajo. Por ejemplo, un sistema de archivos con decenas de archivos de varios gigabytes OSTs y un gran número de ellos puede obtener un rendimiento superior al dividir los archivos en secciones superiores al valor de cinco franjas predeterminado. OSTs La creación de archivos grandes con un número reducido de franjas puede provocar cuellos de botella en I/O el rendimiento y también puede provocar que se llenen. OSTs En este caso, puede crear un directorio con un mayor número de franjas para estos archivos.
Es importante configurar un diseño de franjas para archivos grandes (especialmente para archivos de más de un gigabyte de tamaño) por las siguientes razones:
+ Mejora el rendimiento al permitir que varios servidores OSTs y sus servidores asociados aporten IOPS, ancho de banda de red y recursos de CPU al leer y escribir archivos de gran tamaño.
+ Reduce la probabilidad de que un pequeño subconjunto de ellos OSTs se convierta en puntos críticos que limiten el rendimiento general de la carga de trabajo.
+ Evita que un solo archivo grande llene un OST, lo que podría provocar errores de llenado del disco.
No existe una única configuración de distribución óptima para todos los casos de uso. Para obtener una guía detallada sobre la distribución de archivos, consulte [Administración de la distribución de archivos (fragmentación) y del espacio libre](https://doc.lustre.org/lustre_manual.xhtml#managingstripingfreespace) en la documentación de Lustre.org. A continuación, se ofrecen unas directrices generales:
+ El diseño de franjas es más importante para los archivos de gran tamaño, especialmente para los casos de uso en los que los archivos suelen tener un tamaño de cientos de megabytes o más. Por este motivo, el diseño predeterminado de un nuevo sistema de archivos asigna un recuento de franjas de cinco a los archivos de más de 1 GiB de tamaño.
+ El recuento de franjas es el parámetro de diseño que se debe ajustar para los sistemas que admiten archivos de gran tamaño. El recuento de franjas especifica el número de volúmenes OST que pueden contener fragmentos de un archivo segmentado. Por ejemplo, con un número de bandas de 2 y un tamaño de banda de 1 MiB, Lustre escribe fragmentos alternativos de 1 MiB de un archivo en cada uno de los dos. OSTs
+ El número efectivo de franjas es el menor entre el número real de volúmenes OST y el valor del recuento de franjas que especifique. Puede utilizar el valor especial del recuento de franjas de `-1` para indicar que las franjas deben colocarse en todos los volúmenes OST.
+ Establecer un gran número de fragmentos para archivos pequeños no es óptimo, ya que, para algunas operaciones, Lustre requiere un recorrido de ida y vuelta en red a todos los OST del diseño, incluso si el archivo es demasiado pequeño para ocupar espacio en todos los volúmenes de OST.
+ Puede configurar una disposición progresiva de archivos (PFL) que permita que la disposición de un archivo cambie con el tamaño. Una configuración PFL puede simplificar la gestión de un sistema de archivos que tenga una combinación de archivos grandes y pequeños sin tener que establecer explícitamente una configuración para cada archivo. Para obtener más información, consulte [Disposición progresiva de archivos](#striping-pfl).
+ El tamaño predeterminado de la banda es de 1 MiB. Definir un desfase de franjas puede resultar útil en circunstancias especiales, pero en general es mejor dejarlo sin especificar y utilizar el valor predeterminado.
### Disposición progresiva de archivos
Puede especificar una configuración de diseño de archivos progresivo (PFL) para un directorio con el fin de especificar diferentes configuraciones de franjas para archivos pequeños y grandes antes de rellenarlo. Por ejemplo, puede establecer una PFL en el directorio de nivel superior antes de que se escriba cualquier dato en un nuevo sistema de archivos.
Para especificar una configuración de PFL, utilice el comando `lfs setstripe` con las opciones `-E` para especificar los componentes de disposición para archivos de diferentes tamaños, como el siguiente comando:
```
lfs setstripe -E 100M -c 1 -E 10G -c 8 -E 100G -c 16 -E -1 -c 32 /mountname/directory
```
Este comando establece cuatro componentes de disposición:
+ El primer componente (`-E 100M -c 1`) indica un valor de recuento de franjas de 1 para archivos de un tamaño máximo de 100 MiB.
+ El segundo componente (`-E 10G -c 8`) indica un recuento de franjas de 8 para archivos de hasta 10 GiB de tamaño.
+ El tercer componente (`-E 100G -c 16`) indica un recuento de franjas de 16 para archivos de hasta 100 GiB de tamaño.
+ El cuarto componente (`-E -1 -c 32`) indica un recuento de franjas de 32 para archivos de más de 100 GiB.
**importante**
Si se agregan datos a un archivo creado con una configuración PFL, se rellenarán todos sus componentes de diseño. Por ejemplo, con el comando de 4 componentes que se muestra arriba, si crea un archivo de 1 MiB y, a continuación, añade datos al final, el diseño del archivo se ampliará hasta tener un recuento de franjas de -1, es decir, todas las del sistema. OSTs Esto no significa que se escribirán datos en cada OST, pero una operación como la lectura de la longitud del fichero enviará una petición en paralelo a cada OST, añadiendo una carga de red significativa al sistema de archivos.
Por lo tanto, tenga cuidado de limitar el número de franjas para cualquier archivo de longitud pequeña o mediana al que posteriormente se le puedan agregar datos. Como los archivos de registro suelen crecer al incorporar nuevos registros, Amazon FSx for Lustre asigna un recuento de franjas predeterminado de 1 a cualquier archivo creado en modo de incorporación, independientemente de la configuración de franjas predeterminada especificada en su directorio principal.
La configuración de PFL predeterminada en los sistemas de archivos Amazon FSx for Lustre creados después del 25 de agosto de 2023 se establece con este comando:
```
lfs setstripe -E 100M -c 1 -E 10G -c 8 -E 100G -c 16 -E -1 -c 32 /mountname
```
Los clientes con cargas de trabajo que tienen un acceso muy simultáneo a archivos medianos y grandes probablemente se beneficien de un diseño con más franjas en los tamaños más pequeños y con más franjas en todos los archivos más grandes, como se muestra en el OSTs ejemplo de diseño de cuatro componentes.
## Supervisión del rendimiento y uso
Cada minuto, Amazon FSx for Lustre envía métricas de uso de cada disco (MDT y OST) a Amazon. CloudWatch
Para ver los detalles de uso agregados del sistema de archivos, puede consultar la estadística Suma de cada métrica. Por ejemplo, la suma de la `DataReadBytes` estadística indica el rendimiento total de lectura visto por todos los componentes de un sistema de OSTs archivos. Del mismo modo, la suma de la estadística `FreeDataStorageCapacity` indica la capacidad total de almacenamiento disponible para los datos de los archivos en el sistema de archivos.
Para obtener más información sobre la supervisión del rendimiento del sistema de archivos, consulte [Supervisión de sistemas de archivos de Amazon FSx para Lustre](monitoring_overview.md).
# Características de rendimiento de las clases de almacenamiento en SSD y HDD
El rendimiento que admite un sistema FSx de archivos Lustre equipado con una clase de almacenamiento SSD o HDD es proporcional a su capacidad de almacenamiento. Los sistemas de archivos Amazon FSx for Lustre se escalan a varios TBps niveles de rendimiento y millones de IOPS. Amazon FSx for Lustre también admite el acceso simultáneo al mismo archivo o directorio desde miles de instancias informáticas. Este acceso permite la comprobación rápida de datos desde la memoria de la aplicación al almacenamiento, que es una técnica común en la computación de alto rendimiento (HPC). Puede aumentar la cantidad de almacenamiento y la capacidad de rendimiento según sea necesario en cualquier momento después de crear el sistema de archivos. Para obtener más información, consulte [Administración de la capacidad de almacenamiento](managing-storage-capacity.md).
FSx Los sistemas de archivos for Lustre proporcionan un rendimiento de lectura en ráfagas mediante un mecanismo de I/O crédito de red para asignar el ancho de banda de la red en función de la utilización media del ancho de banda. Los sistemas de archivos acumulan créditos cuando el uso de su ancho de banda de la red está por debajo de sus límites de referencia, y pueden utilizar estos créditos cuando realizan transferencias de datos de red.
Las siguientes tablas muestran el rendimiento FSx para el que están diseñadas las opciones de despliegue de Lustre con clases de almacenamiento SSD y HDD.
**Rendimiento del sistema de archivos para opciones de almacenamiento SSD**
| Tipo de implementación | **Rendimiento de la red (MBps/TiB de almacenamiento aprovisionado)** | **IOPS de red (IOPS/TiB de almacenamiento aprovisionado)** | **Almacenamiento en caché (GiB RAM/TiB del almacenamiento aprovisionado)** | **Latencias de disco por operación de archivo (milisegundos, P50)** | **Rendimiento del disco (MBps/TiB de almacenamiento o caché SSD aprovisionados)** |
| --- |--- |--- |--- |--- |--- |
| **** | **Referencia** | **Ráfaga** | **** | **** | **** | **Referencia** | **Ráfagas** |
| --- |--- |--- |--- |--- |--- |--- |--- |
| SCRATCH\$12 | 200 | 1300 | Base de decenas de milesRáfaga de cientos de miles | 6.7 | Metadatos: sub-ms Datos: sub-ms | 200 (lectura) 100 (escritura) | ‐ |
| --- |--- |--- |--- |--- |--- |--- |--- |
| PERSISTENTE-125 | 320 | 1300 | 3.4 | 125 | 500 |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-250 | 640 | 1300 | 6.8 | 250 | 500 |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-500 | 1300 | ‐ | 13,7 | 500 | ‐ |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-1000 | 2600 | ‐ | 27,3 | 1 000 | ‐ |
| --- |--- |--- |--- |--- |--- |
**Rendimiento del sistema de archivos para opciones de almacenamiento HDD**
| Tipo de implementación | **Rendimiento de la red (MBps/TiB de almacenamiento o caché SSD aprovisionada)** | **IOPS de red (IOPS/TiB de almacenamiento aprovisionado)** | **Almacenamiento en caché (GiB RAM/TiB del almacenamiento aprovisionado)** | **Latencias de disco por operación de archivo (milisegundos, P50) ** | **Rendimiento del disco (MBps/TiB de almacenamiento o caché SSD aprovisionados)** |
| --- |--- |--- |--- |--- |--- |
| **** | **Referencia** | **Ráfaga** | | **Referencia** | **Ráfagas** |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-12 |
| --- |
| Almacenamiento en HDD | 40 | 375\$1 | Base de decenas de miles Ráfaga de cientos de miles | 0.4 de memoria | Metadatos: sub-ms Datos: ms de un dígito | 12 | 80 (lectura) 50 (escritura) |
| --- |--- |--- |--- |--- |--- |--- |--- |
| Caché de lectura SSD | 200 | 1900 | Caché SSD 200 | Datos: sub-ms | 200 | - |
| --- |--- |--- |--- |--- |--- |--- |
| PERSISTENT-40 |
| --- |
| Almacenamiento en HDD | 150 | 1.300\$1 | Base de decenas de miles Ráfaga de cientos de miles | 1.5 | Metadatos: sub-ms Datos: ms de un dígito | 40 | 250 (lectura) 150 (escritura) |
| --- |--- |--- |--- |--- |--- |--- |--- |
| Caché de lectura SSD | 750 | 6500 | Caché SSD 200 | Datos: sub-ms | 200 | - |
| --- |--- |--- |--- |--- |--- |--- |
**Rendimiento del sistema de archivos para opciones de almacenamiento SSD de generaciones anteriores**
| Tipo de implementación | **Rendimiento de red (MBps por TiB de almacenamiento aprovisionado)** | **IOPS de red (IOPS por TiB de almacenamiento aprovisionado)** | **Almacenamiento en caché (GiB por TiB de almacenamiento aprovisionado)** | **Latencias de disco por operación de archivo (milisegundos, P50)** | **Rendimiento del disco (MBps por TiB de almacenamiento o caché SSD aprovisionado)** |
| --- |--- |--- |--- |--- |--- |
| **** | **Referencia** | **Ráfaga** | **** | **** | **** | **Referencia** | **Ráfagas** |
| --- |--- |--- |--- |--- |--- |--- |--- |
| PERSISTENT-50 | 250 | 1.300\$1 | Base de decenas de milesRáfaga de cientos de miles | 2,2 RAM | Metadatos: sub-ms Datos: sub-ms | 50 | 240 |
| --- |--- |--- |--- |--- |--- |--- |--- |
| PERSISTENT-100 | 500 | 1.300\$1 | 4,4 RAM | 100 | 240 |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-200 | 750 | 1.300\$1 | 8,8 RAM | 200 | 240 |
| --- |--- |--- |--- |--- |--- |
**nota**
\$1 Los siguientes sistemas de archivos persistentes Regiones de AWS proporcionan una ráfaga de red de hasta 530 MBps por TiB de almacenamiento: África (Ciudad del Cabo), Asia Pacífico (Hong Kong), Asia Pacífico (Osaka), Asia Pacífico (Singapur), Canadá (Central), Europa (Fráncfort), Europa (Londres), Europa (Milán), Europa (Estocolmo), Oriente Medio (Baréin), Sudamérica (São Paulo), China China y US West (Los Ángeles).
## Ejemplo: rendimiento de referencia y de ráfaga agregado
El siguiente ejemplo ilustra cómo la capacidad de almacenamiento y el rendimiento del disco afectan al rendimiento del sistema de archivos.
Un sistema de archivos persistente con una capacidad de almacenamiento de 4,8 TiB y 50 por MBps TiB de rendimiento por unidad de almacenamiento proporciona un rendimiento de disco base agregado de 240 MBps y un rendimiento de disco en ráfaga de 1,152. GBps
Independientemente del tamaño del sistema de archivos, Amazon FSx for Lustre proporciona latencias uniformes de menos de un milisegundo para las operaciones de archivos.
# Características de rendimiento de la clase de almacenamiento Intelligent-Tiering
La clase de almacenamiento Intelligent-Tiering de FSx for Lustre ofrece un almacenamiento elástico y rentable para las cargas de trabajo que tradicionalmente se ejecutan en sistemas de archivos de almacenamiento de archivos de alto rendimiento basados en HDD o en sistemas mixtos de HDD/SD. Los sistemas de archivos que utilizan la clase de almacenamiento por niveles inteligentes utilizan un almacenamiento regional totalmente elástico e inteligente en niveles, que crece y se reduce automáticamente para adaptarse a la carga de trabajo a medida que cambia. Para obtener información sobre cómo estratifica los datos, consulte [Cómo clasifica los datos la clase de almacenamiento Intelligent-Tiering](using-fsx-lustre.md#how-INT-tiering-works).
El rendimiento que admite un sistema de archivos Lustre con la clase de almacenamiento Intelligent-Tiering es independiente FSx del almacenamiento. Los sistemas de archivos Intelligent-Tiering se escalan hasta alcanzar varios niveles de rendimiento y millones de IOPS. TBps Los sistemas de archivos que utilizan la clase de almacenamiento Intelligent-Tiering también proporcionan una caché de lectura de la SSD aprovisionada opcional para el acceso de baja latencia a los datos a los que se accede con frecuencia. De forma predeterminada, Amazon FSx for Lustre aprovisiona una caché de lectura SSD para los metadatos a los que se accede con frecuencia. Como la mayoría de las cargas de trabajo suelen ser de lectura intensiva y funcionan activamente solo con un pequeño subconjunto del conjunto de datos en un momento dado, el modelo híbrido de almacenamiento por niveles inteligente y cachés de lectura de la SSD permite que los sistemas de archivos que utilizan la clase de almacenamiento por niveles inteligentes proporcionen un almacenamiento con un rendimiento comparable al de los sistemas de archivos SSD para la mayoría de las cargas de trabajo, al tiempo que ofrece ahorros en los costos de almacenamiento en relación con las clases de almacenamiento SSD y HDD.
Al leer y escribir datos en un sistema de archivos Intelligent-Tiering, especialmente los datos a los que no se ha accedido recientemente o con la frecuencia suficiente como para estar en la caché en memoria del servidor de archivos, el rendimiento depende del tamaño de la caché de lectura de la SSD. El acceso a los datos desde el almacenamiento en niveles inteligentes tiene time-to-first-byte latencias de aproximadamente decenas de milisegundos, así como costes por solicitud, mientras que los accesos desde la caché de lectura de la SSD se devuelven con una latencia inferior a un milisegundo y sin costes por solicitud.
Al configurar el tamaño de la caché de lectura de la SSD para su sistema de archivos, debe tener en cuenta tanto el tamaño del conjunto de datos al que se accede con frecuencia dentro de la carga de trabajo como la sensibilidad de la carga de trabajo a una mayor latencia para las lecturas de los datos a los que se accede con menos frecuencia. Puede cambiar entre los modos de tamaño de la caché de lectura de la SSD una vez creado el sistema de archivos y escalar la caché hacia arriba o hacia abajo. Para obtener más información sobre cómo modificar la caché de lectura de la SSD, consulte [Administración de la caché de lectura SSD aprovisionada](managing-ssd-read-cache.md).
Una solicitud de escritura se produce cuando, FSx para Lustre, escribe un bloque de datos en el almacenamiento Intelligent-Tiering. Al escribir datos en el sistema de archivos, las solicitudes de escritura se agregan y se escriben en el almacenamiento Intelligent-Tiering, lo que aumenta el rendimiento y reduce los costos de las solicitudes. Las lecturas se pueden realizar desde la caché en memoria del servidor de archivos, la caché de lectura de la SSD o directamente desde el almacenamiento Intelligent-Tiering. Cuando se realiza una lectura desde un almacenamiento Intelligent-Tiering, se produce una solicitud de lectura para cada bloque de datos recuperados. Al leer los datos de forma secuencial, Lustre los capturará previamente FSx para mejorar el rendimiento.
Los datos de la caché en memoria de los sistemas de archivos que utilizan la clase de almacenamiento Intelligent-Tiering se envían directamente al cliente solicitante como *E/S de red*. Cuando un cliente accede a datos que no están en la caché en memoria, se leen desde la caché de lectura de SSD o el almacenamiento Intelligent-Tiering como *E/S de disco* y, a continuación, se envían al cliente como E/S de red.
## Rendimiento del sistema de archivos para Intelligent-Tiering
La siguiente tabla muestra el rendimiento FSx para el que están diseñados los sistemas de archivos Intelligent-Tiering de Lustre.
| Capacidad de rendimiento aprovisionada () MBps | **Rendimiento de red () MBps** | **IOPS de red** | **Almacenamiento en caché en memoria (GB)** | **Rendimiento máximo del disco caché SSD () MBps** | **Cantidad máxima de IOPS en disco caché SSD** |
| --- |--- |--- |--- |--- |--- |
| **** | **Referencia** | **Ráfaga** | **** | **** | **** | **Referencia** | **Ráfaga** |
| --- |--- |--- |--- |--- |--- |--- |--- |
| Cada 4000 | 12500 | ‐ | Cientos de miles | 76,8 | 4000 | 160000 | ‐ |
| --- |--- |--- |--- |--- |--- |--- |--- |
# Consejos de rendimiento
Cuando utilices Amazon FSx for Lustre, ten en cuenta los siguientes consejos de rendimiento. Para conocer los límites de servicio, consulte [Cuotas de servicio para Amazon FSx for Lustre](limits.md).
+ ** I/O Tamaño medio**: dado que Amazon FSx for Lustre es un sistema de archivos de red, cada operación de archivos pasa por un viaje de ida y vuelta entre el cliente y Amazon FSx for Lustre, lo que supone una pequeña sobrecarga de latencia. Debido a esta latencia por operación, el rendimiento general generalmente aumenta a medida que aumenta el I/O tamaño promedio, ya que la sobrecarga se amortiza con una mayor cantidad de datos.
+ **Modelo de solicitud**: al habilitar las escrituras asíncronas en el sistema de archivos, las operaciones de escritura pendientes se almacenan en búfer en la instancia de Amazon EC2 antes de escribirse en Amazon for Lustre de forma asíncrona. FSx Las escrituras asíncronas suelen tener latencias menores. Cuando se realizan escrituras asíncronas, el kernel utiliza memoria adicional para el almacenamiento en caché. Un sistema de archivos que ha habilitado la escritura sincrónica emite solicitudes sincrónicas a Amazon FSx for Lustre. Cada operación pasa por un viaje de ida y vuelta entre el cliente y Amazon FSx for Lustre.
**nota**
El modelo de solicitud elegido tiene contrapartidas en la coherencia (si utiliza varias instancias de Amazon EC2) y en la velocidad.
+ **Limite el tamaño del directorio**: para lograr un rendimiento óptimo de los metadatos en los sistemas de archivos Persistent 2 FSx para Lustre, limite cada directorio a menos de 100 000 archivos. Al limitar el número de archivos de un directorio, se reduce el tiempo requerido para que el sistema de archivos bloquee el directorio principal.
+ **Instancias de Amazon EC2**: las aplicaciones que realizan un gran número de operaciones de lectura y escritura probablemente necesitan más memoria o capacidad de computación que las aplicaciones que no. Cuando lance sus instancias de Amazon EC2 para su carga de trabajo de cómputo intensivo, elija los tipos de instancia que tengan la cantidad de estos recursos que su aplicación necesita. Las características de rendimiento de los sistemas de archivos Amazon FSx for Lustre no dependen del uso de instancias optimizadas para Amazon EBS.
+ **Se recomienda ajustar las instancias de cliente para obtener un rendimiento óptimo**
1. Para tipos de instancia de cliente con memoria de más de 64 GiB, recomendamos aplicar el siguiente ajuste:
```
sudo lctl set_param ldlm.namespaces.*.lru_max_age=600000
sudo lctl set_param ldlm.namespaces.*.lru_size=<100 * number_of_CPUs>
```
1. Para tipos de instancia de cliente con más de 64 núcleos vCPU, recomendamos aplicar el siguiente ajuste:
```
echo "options ptlrpc ptlrpcd_per_cpt_max=32" >> /etc/modprobe.d/modprobe.conf
echo "options ksocklnd credits=2560" >> /etc/modprobe.d/modprobe.conf
# reload all kernel modules to apply the above two settings
sudo reboot
```
Una vez montado el cliente, es necesario aplicar el siguiente ajuste:
```
sudo lctl set_param osc.*OST*.max_rpcs_in_flight=32
sudo lctl set_param mdc.*.max_rpcs_in_flight=64
sudo lctl set_param mdc.*.max_mod_rpcs_in_flight=50
```
1. Para optimizar el rendimiento de las listas de directorios (ls), es necesario aplicar los siguientes ajustes:
```
sudo lctl set_param llite.*.statahead_max=512
sudo lctl set_param llite.*.statahead_agl=1
if sudo lctl get_param llite.*.statahead_xattr > /dev/null 2>&1; then
sudo lctl set_param llite.*.statahead_xattr=1
else
echo "Warning: Xattr statahead is not supported on this Lustre client. Please upgrade to the latest Lustre 2.15 client to apply this tuning"
fi
```
Tenga en cuenta que se sabe que `lctl set_param` no persiste durante el reinicio. Dado que estos parámetros no pueden establecerse permanentemente desde el lado del cliente, se recomienda implementar una tarea cron de arranque para establecer la configuración con los ajustes recomendados.
+ **Equilibrio entre** las cargas de trabajo OSTs: en algunos casos, la carga de trabajo no impulsa el rendimiento total que puede ofrecer el sistema de archivos (200 MBps por TiB de almacenamiento). Si es así, puede utilizar CloudWatch las métricas para solucionar problemas si el rendimiento se ve afectado por un desequilibrio en los patrones de la carga de trabajo. I/O Para identificar si esta es la causa, consulta la CloudWatch métrica Maximum de Amazon FSx for Lustre.
En algunos casos, esta estadística muestra una carga igual o superior al 240% del rendimiento (la capacidad MBps de rendimiento de un solo disco Amazon for Lustre de 1,2 TiB). FSx En estos casos, la carga de trabajo no se distribuye uniformemente entre los discos. Si este es el caso, puede usar el comando `lfs setstripe` para modificar la división de archivos a los que su carga de trabajo accede con más frecuencia. Para obtener un rendimiento óptimo, separe los archivos con requisitos de alto rendimiento en todos los componentes de su sistema de archivos. OSTs
Si los archivos se importan de un repositorio de datos, puede adoptar otro enfoque para distribuir los archivos de alto rendimiento de manera uniforme en todos sus archivos. OSTs Para ello, puede modificar el `ImportedFileChunkSize` parámetro al crear su próximo sistema de archivos Amazon FSx for Lustre.
Por ejemplo, supongamos que su carga de trabajo utiliza un sistema de archivos de 7,0 TiB (compuesto por 6 x 1,17 TiB OSTs) y necesita impulsar un alto rendimiento en archivos de 2,4 GiB. En este caso, puede establecer el `ImportedFileChunkSize` valor para que los archivos se distribuyan uniformemente en el sistema de `(2.4 GiB / 6 OSTs) = 400 MiB` archivos. OSTs
+ **Lustrecliente para IOPS de metadatos**: si su sistema de archivos tiene una configuración de metadatos especificada, le recomendamos que instale un cliente Lustre 2.15 o Lustre 2.12 con una de estas versiones de sistema operativo: Amazon Linux 2023; Amazon Linux 2; Red Hat/Rocky Linux 8.9, 8.10 o 9.x; CentOS 8.9 u 8.10; Ubuntu 22\$1 con kernel 6.2, 6.5 o 6.8; o Ubuntu 20.
## Consideraciones sobre el rendimiento de Intelligent-Tiering
Estas son algunas consideraciones importantes sobre el rendimiento cuando se trabaja con sistemas de archivos que utilizan la clase de almacenamiento Intelligent-Tiering:
+ Las cargas de trabajo que leen datos con I/O tamaños más pequeños requerirán una mayor simultaneidad e incurrirán en más costos de solicitud para lograr el mismo rendimiento que las cargas de trabajo que utilizan I/O tamaños grandes debido a la mayor latencia de los niveles de almacenamiento de Intelligent-Tiering. Recomendamos configurar la caché de lectura de la SSD con un tamaño lo suficientemente grande como para soportar una mayor simultaneidad y rendimiento cuando se trabaja con tamaños de E/S más pequeños.
+ La cantidad máxima de IOPS de disco que sus clientes pueden manejar con un sistema de archivos de nivel inteligente depende de los patrones de acceso específicos de su carga de trabajo y de si usted ha aprovisionado una caché de lectura SSD. En el caso de las cargas de trabajo con acceso aleatorio, los clientes suelen generar IOPS mucho más altas si los datos se almacenan en caché en la caché de lectura de la SSD que si no están en la caché.
+ La clase de almacenamiento Intelligent-Tiering admite la lectura anticipada para optimizar el rendimiento de las solicitudes de lectura secuencial. Recomendamos configurar el patrón de acceso a los datos de forma secuencial siempre que sea posible para permitir la obtención previa de los datos y aumentar el rendimiento.