¿Qué es Amazon FSx para Lustre?

FSx para Lustre hace que sea fácil y rentable inicializar y ejecutar el popular sistema de archivos de Lustre de alto rendimiento. Utiliza Lustre para cargas de trabajo en las que la velocidad es importante, como el machine learning, la computación de alto rendimiento (HPC), el procesamiento de vídeo y el modelado financiero.

El sistema de archivos de código abierto de Lustre está diseñado para aplicaciones que requieren un almacenamiento rápido, en las que desea que el almacenamiento esté a la altura del procesamiento. Lustre se creó para resolver el problema de procesar de forma rápida y económica los crecientes conjuntos de datos del mundo. Es un sistema de archivos muy utilizado diseñado para los ordenadores más rápidos del mundo. Proporciona latencias inferiores a un milisegundo, hasta cientos de GBps de rendimiento y hasta millones de IOPS. Para obtener más información sobre Lustre, consulte el sitio web de Lustre.

Como servicio totalmente gestionado, Amazon FSx facilita el uso de Lustre para cargas de trabajo en las que la velocidad de almacenamiento es importante. FSx para Lustre elimina la complejidad tradicional de configurar y administrar los sistemas de archivos de Lustre, lo que le permite poner en marcha y ejecutar un sistema de archivos de alto rendimiento probado en cuestión de minutos. También ofrece múltiples opciones de implementación para que pueda optimizar los costes en función de las necesidades.

FSx para Lustre es compatible con POSIX, por lo que puede utilizar las aplicaciones actuales basadas en Linux sin tener que realizar ningún cambio. FSx para Lustre proporciona una interfaz de sistema de archivos nativa y funciona como cualquier sistema de archivos con el sistema operativo Linux. También proporciona coherencia de lectura después de escritura y admite el bloqueo de archivos.

Múltiples opciones de implementación

Amazon FSx para Lustre ofrece una selección de sistemas de archivos temporales y persistentes para adaptarse a las diferentes necesidades de procesamiento de datos. Los sistemas de archivos temporales son ideales para el almacenamiento temporal y el procesamiento de datos de corto plazo. Los datos no se replican y no persisten si un servidor de archivos falla. Los sistemas de archivos persistentes son ideales para el almacenamiento de largo plazo y las cargas de trabajo centradas en el rendimiento. En los sistemas de archivos persistentes, los datos se replican y los servidores de archivos se sustituyen si fallan. Para obtener más información, consulte Opciones de implementación para sistemas de archivos de FSx para Lustre.

Múltiples opciones de almacenamiento

Amazon FSx para Lustre ofrece una selección de tipos de almacenamiento en unidades de estado sólido (SSD) y unidades de disco duro (HDD) optimizados para diferentes requisitos de procesamiento de datos:

Si aprovisiona un sistema de archivos con la opción de almacenamiento en disco duro, también puede aprovisionar una caché SSD de solo lectura con un tamaño del 20 por ciento de la capacidad de almacenamiento de su disco duro. Esto proporciona latencias inferiores a un milisegundo e IOPS más altas para los archivos a los que se accede con frecuencia. Tanto los sistemas de archivos basados en SSD como los basados en HDD se aprovisionan con servidores de metadatos basados en SSD. Como resultado, todas las operaciones de metadatos, que representan la mayoría de las operaciones del sistema de archivos, se entregan con latencias inferiores a un milisegundo.

Para obtener más información sobre el rendimiento de estas opciones de almacenamiento, consulte Rendimiento de Amazon FSx para Lustre.

FSx para Lustre y repositorios de datos

Puede vincular los sistemas de archivos de FSx para Lustre a los repositorios de datos de Amazon S3 o en las instalaciones de datos locales.

Integración con el repositorio de datos FSx para Lustre S3

FSx para Lustre se integra con Amazon S3, lo que le facilita el procesamiento de conjuntos de datos en la nube mediante el sistema de archivos de alto rendimiento de Lustre. Cuando se encuentra vinculado a un bucket de Amazon S3, un sistema de archivos de FSx para Lustre presenta de forma transparente los objetos de S3 como archivos. Amazon FSx importa listados de todos los archivos existentes en el bucket de S3 al crear el sistema de archivos. Amazon FSx también puede importar listados de archivos añadidos al repositorio de datos una vez creado el sistema de archivos. Puede configurar las preferencias de importación para que se ajusten a las necesidades de su flujo de trabajo. El sistema de archivos también le permite volver a escribir los datos del sistema de archivos en S3. Las tareas de repositorio de datos simplifican la transferencia de datos y metadatos entre el sistema de archivos de FSx para Lustre y su repositorio de datos duradero en Amazon S3. Para obtener más información, consulte Uso de repositorios de datos con Amazon FSx para Lustre y Tareas de repositorio de datos.

FSx para Lustre y repositorios datos en las instalaciones locales

Con Amazon FSx para Lustre, puede dividir sus cargas de trabajo de procesamiento de datos en las instalaciones locales a la Nube de AWS con la importación datos mediante AWS Direct Connect o AWS VPN. Para obtener más información, consulte Uso de Amazon FSx con sus datos en las instalaciones.

Acceso a sistemas de archivos de FSx para Lustre

Puede mezclar y combinar los tipos de instancia de procesamiento y la Imagen de máquina de Amazon (AMI) de Linux que están conectadas a un único sistema de archivos de FSx para Lustre.

Se puede acceder a los sistemas de archivos de Amazon FSx para Lustre desde cargas de trabajo de procesamiento que se ejecutan en instancias Amazon Elastic Compute Cloud (Amazon EC2), en contenedores Docker de Amazon Elastic Container Service (Amazon ECS) y contenedores que se ejecutan en Amazon Elastic Kubernetes Service (Amazon EKS).

Amazon FSx para Lustre es compatible con las AMI basadas en Linux más populares, incluidas Amazon Linux 2023 y Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu y SUSE Linux. El cliente de Lustre se incluye en Amazon Linux 2023 y Amazon Linux 2. En el caso de RHEL, CentOS y Ubuntu, un repositorio de clientes de AWS Lustre proporciona clientes que son compatibles con estos sistemas operativos.

Utilizando FSx para Lustre, puede dividir sus cargas de trabajo de procesamiento de datos intensivo en las instalaciones a la Nube de AWS con la importación datos mediante AWS Direct Connect o AWS Virtual Private Network. Puede acceder a su sistema de archivos Amazon FSx en las instalaciones, copiar los datos en su sistema de archivos según sea necesario y ejecutar cargas de trabajo de procesamiento de datos intensivo en instancias en la nube.

Para obtener más información sobre los clientes, las instancias de procesamiento y los entornos desde los que puede acceder a los sistemas de archivos de FSx para Lustre, consulte Acceso a sistemas de archivo.

Integración a los servicios de AWS

Amazon FSx para Lustre se integra con Amazon SageMaker como origen de datos de entrada. Al utilizar Sagemaker con FSx para Lustre, sus trabajos de formación en machine learning se aceleran al eliminar el paso inicial de descarga desde Amazon S3. Además, el costo total de propiedad (TCO) se reduce al evitar la descarga repetitiva de objetos comunes para trabajos iterativos en el mismo conjunto de datos, lo que ahorra en costos de solicitudes de S3. Para obtener más información acerca de Amazon SageMaker, consulte Amazon SageMaker en la Guía para desarrolladores de Amazon SageMaker. Para ver un tutorial sobre cómo utilizar Amazon FSx para Lustre como origen de datos para SageMaker, consulte Acelerar la formación de Amazon SageMaker utilizando los sistemas de archivos de Amazon FSx para Lustre y Amazon EFS en el blog Machine Learning de AWS.

FSx para Lustre se integra con AWS Batch utilizando de plantillas de lanzamiento de EC2. AWS Batch le permite ejecutar cargas de trabajo de procesamiento por lotes en Nube de AWS, incluidas las de computación de alto rendimiento (HPC), machine learning (ML) y otras cargas de trabajo asíncronas. AWS Batch dimensiona las instancias de forma automática y dinámica en función de los requisitos de recursos del trabajo. Para obtener más información, consulte AWS Batch en la Guía del usuario de AWS Batch.

FSx para Lustre se integra con AWS ParallelCluster. AWS ParallelCluster es una herramienta de gestión de clústeres de código abierto compatible con AWS que se utiliza para implementar y gestionar clústeres de HPC. Puede crear automáticamente los sistemas de archivos de FSx para Lustre o utilizar los sistemas de archivos existentes durante el proceso de creación del clúster.

Seguridad y conformidad

Los sistemas de archivos de FSx para Lustre admiten el cifrado en reposo y en tránsito. Amazon FSx cifra automáticamente los datos en reposo del sistema de archivos mediante claves administradas en AWS Key Management Service (AWS KMS). Los datos en tránsito también se cifran automáticamente en los sistemas de archivos de determinadas Regiones de AWS cuando se accede a ellos desde instancias de Amazon EC2 compatibles. Para obtener más información sobre el cifrado de datos en FSx para Lustre, incluidas las Regiones de AWS en las que se admite el cifrado de datos en tránsito, consulte Cifrado de datos en Amazon FSx for Lustre. Se ha evaluado que Amazon FSx cumple con las certificaciones ISO, PCI-DSS y SOC, y cumple con los requisitos de la HIPAA. Para obtener más información, consulte Seguridad en Amazon FSx para Lustre.

Suposición

En esta guía, hacemos las siguientes suposiciones:

Precios de Amazon FSx para Lustre

Con Amazon FSx para Lustre, no hay costes iniciales de hardware o software. Solo paga por los recursos utilizados, sin compromisos mínimos, costos de configuración ni tarifas adicionales. Para obtener información sobre los precios y tarifas asociados al servicio, consulte Precios de Amazon FSx para Lustre.

Amazon FSx para Lustre

Si tiene problemas al utilizar Amazon FSx para Lustre, consulte los foros.

¿Es la primera vez que usa Amazon FSx para Lustre?

Si es la primera vez que utiliza Amazon FSx para Lustre, le recomendamos que lea las siguientes secciones en orden: