Cómo empezar a usar Amazon FSx for Lustre - FSxpara Lustre
Requisitos previosPaso 1: Cree su sistema de FSx archivos para LustreInstale el cliente LustrePaso 3: Monte el sistema de archivosPaso 4: Ejecuta tu flujo de trabajoPaso 5: Limpiar los recursos de

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cómo empezar a usar Amazon FSx for Lustre

A continuación, puede obtener información sobre cómo empezar a utilizar Amazon FSx for Lustre. Estos pasos le explicarán cómo crear un sistema de archivos de Amazon FSx for Lustre y cómo acceder a él desde sus instancias de cómputo. Opcionalmente, muestran cómo utilizar el sistema de archivos Amazon FSx for Lustre para procesar los datos de su bucket de Amazon S3 con sus aplicaciones basadas en archivos.

Este ejercicio introductorio incluye los siguientes pasos.

Requisitos previos

Para realizar este ejercicio introductorio, necesitará lo siguiente:

  • Una AWS cuenta con los permisos necesarios para crear un sistema de archivos de Amazon FSx for Lustre y una EC2 instancia de Amazon. Para obtener más información, consulte Configuración de Amazon FSx para Lustre.

  • Cree un grupo de VPC seguridad de Amazon para asociarlo a su sistema de archivos de FSx for Lustre y no lo cambie después de crear el sistema de archivos. Para obtener más información, consulta Cómo crear un grupo de seguridad para tu sistema de FSx archivos de Amazon.

  • Una EC2 instancia de Amazon que ejecuta una versión de Linux compatible en tu nube privada virtual (VPC) basada en el VPC servicio de Amazon. Para este ejercicio de introducción, le recomendamos que utilice Amazon Linux 2023. Instalará el cliente Lustre en esta EC2 instancia y, a continuación, montará su sistema de archivos FSx para Lustre en la EC2 instancia. Para obtener más información sobre la creación de una EC2 instancia, consulta Cómo empezar: lanzar una instancia o Lanza tu instancia en la Guía del EC2 usuario de Amazon.

    El cliente Lustre es compatible con Amazon Linux; Amazon Linux 2; Amazon Linux 2023; Red Hat Enterprise Linux 7.7 a 7.9, 8.2 a 8.10 y 9.0, 9.3 y 9.4; CentOS 7.7 a 7.9 y 8.2 a 8.10; Rocky Linux 8.4 a 8.10, 9.0, 9.3 y 9.4; SUSE Linux Enterprise Server 12 y; y Ubuntu 18.04 SP3SP4, 20.04 y 22.04. SP5 Para obtener más información, consulte Compatibilidad entre el sistema de archivos Lustre y el núcleo del cliente.

    Al crear tu EC2 instancia de Amazon para este ejercicio de introducción, ten en cuenta lo siguiente:

    • Te recomendamos que crees tu instancia de forma predeterminadaVPC.

    • Te recomendamos que utilices el grupo de seguridad predeterminado al crear la EC2 instancia.

  • Cada FSx sistema de archivos de Lustre requiere una dirección IP para cada servidor de metadatos (MDS) y una dirección IP para cada servidor de almacenamiento (OSS).

    • Para los sistemas de archivos Persistent_2 con configuración de metadatos, cada IOPS valor de 12000 metadatos también requiere una dirección IP dentro de la subred en la que reside el sistema de archivos.

    • Los sistemas de SSD archivos persistentes se aprovisionan con 2,4 TiB de almacenamiento cada uno. OSS

    • Los sistemas de HDD archivos persistentes con una capacidad de procesamiento de 12 MB/s/TiB se aprovisionan con 6 TiB de almacenamiento por cada uno. OSS

    • Los sistemas de HDD archivos persistentes con una capacidad de rendimiento de 40 MB/s/TiB se aprovisionan con 1,8 TiB de almacenamiento por cada uno. OSS

    • Los sistemas de archivos Scratch_2 se aprovisionan con 2,4 TiB de almacenamiento cada uno. OSS

    • Los sistemas de archivos Scratch_1 se aprovisionan con 3,6 TiB de almacenamiento cada uno. OSS

  • Un bucket de Amazon S3 que almacena los datos para que los procese su carga de trabajo. El depósito S3 será el repositorio de datos duradero vinculado a su sistema de archivos for LustreFSx.

  • Determine qué tipo de sistema de archivos de Amazon FSx for Lustre desea crear, borrar o conservar. Para obtener más información, consulte Opciones de implementación para sistemas de archivos de FSx para Lustre.

Paso 1: Cree su sistema de FSx archivos para Lustre

Creas tu sistema de archivos en la FSx consola de Amazon.

Para crear su sistema de archivos

  1. Abre la FSx consola de Amazon en https://console.aws.amazon.com/fsx/.

  2. En el panel, elija Create file system (Crear sistema de archivos) para iniciar el asistente de creación de sistemas de archivos.

  3. Selecciona FSxLustre y, a continuación, selecciona Siguiente para que aparezca la página Crear sistema de archivos.

  4. Proporcione la información en la sección de Información del sistema de archivos:

    • En File system name-optional (Nombre del sistema de archivos (opcional), introduzca un nombre para su sistema de archivos. Puede utilizar hasta 256 letras Unicode, espacios en blanco y números, además de los caracteres especiales + - = . _ : /.

    • Para Tipo de implementación y almacenamiento, elija una de las siguientes opciones:

      SSDel almacenamiento proporciona cargas de trabajo IOPS intensivas y de baja latencia que, por lo general, tienen operaciones de archivos pequeñas y aleatorias. HDDel almacenamiento proporciona cargas de trabajo con un rendimiento intensivo que, por lo general, tienen operaciones de archivos secuenciales de gran tamaño.

      Para obtener más información acerca de los tipos de almacenamiento, consulte Múltiples opciones de almacenamiento.

      Para obtener más información sobre los tipos de implementación, consulte Opciones de implementación para sistemas de archivos de FSx para Lustre.

      Para obtener más información sobre Regiones de AWS dónde está disponible el cifrado de datos en tránsito, consulte. Cifrado de datos en tránsito

      • Elija el tipo de SSD implementación persistente para el almacenamiento a largo plazo y para las cargas de trabajo sensibles a la latencia que requieren los niveles más altos de /rendimiento. IOPS Los servidores de archivos tienen una alta disponibilidad, los datos se replican automáticamente dentro de la zona de disponibilidad del sistema de archivos y admiten el cifrado de los datos en tránsito. Persistent SSD utiliza Persistent 2, la última generación de sistemas de archivos persistentes.

      • Elija el tipo de HDD implementación persistente para un almacenamiento a largo plazo y para cargas de trabajo centradas en el rendimiento que no sean sensibles a la latencia. Los servidores de archivos son de alta disponibilidad, los datos se replican automáticamente dentro de la zona de disponibilidad del sistema de archivos y este tipo admite el cifrado de datos en tránsito. Persistente, utiliza el tipo de despliegue Persistent 1. HDD

        Elija con SSD caché para crear una SSD caché con un tamaño equivalente al 20 por ciento de su capacidad de HDD almacenamiento para proporcionar latencias inferiores a un milisegundo o superiores IOPS para los archivos a los que se accede con frecuencia.

      • Elija Scratch, el tipo de SSD implementación para el almacenamiento temporal y el procesamiento de datos a corto plazo. Scratch SSD utiliza los sistemas de archivos Scratch 2 y ofrece cifrado de datos en tránsito.

    • Elija la cantidad de rendimiento por unidad de almacenamiento que desee para su sistema de archivos. Esta opción solo es válida para los tipos de implementación persistentes.

      El rendimiento por unidad de almacenamiento es la cantidad de rendimiento de lectura y escritura por cada 1 tebibyte (TiB) de almacenamiento aprovisionado, en MB/s/TiB. Usted paga la cantidad de rendimiento aprovisionada:

      • Para el SSD almacenamiento persistente, elija un valor de 125, 250, 500 o 1000 MB/s/TiB.

      • Para el HDD almacenamiento persistente, elija un valor de 12 o 40 MB/s/TiB.

      Puede aumentar o disminuir la cantidad de rendimiento por unidad de almacenamiento según sea necesario después de crear el sistema de archivos. Para obtener más información, consulte Administración de la capacidad de rendimiento.

    • Para la capacidad de almacenamiento, defina la cantidad de capacidad de almacenamiento del sistema de archivos en TiB:

      • Para un tipo de SSD despliegue persistente, establézcalo en un valor de 1,2 TiB, 2,4 TiB o incrementos de 2,4 TiB.

      • Para un tipo de HDD implementación persistente, este valor puede ser de incrementos de 6,0 TiB para sistemas de archivos de 12 MB/s/TiB e incrementos de 1,8 TiB para sistemas de archivos de 40 MB/s/TiB.

      Puede aumentar la capacidad de almacenamiento según sea necesario en cualquier momento después de crear el sistema de archivos. Para obtener más información, consulte Administración de la capacidad de almacenamiento.

    • Para la configuración de metadatos, tiene dos opciones para aprovisionar la cantidad de metadatos para su sistema de archivos: IOPS

      • Elige Automático (opción predeterminada) si quieres que Amazon FSx aprovisione y escale automáticamente los metadatos IOPS de tu sistema de archivos en función de la capacidad de almacenamiento de tu sistema de archivos.

      • Seleccione Aprovisionados por el usuario si desea especificar el número de metadatos que desea aprovisionar IOPS para su sistema de archivos. Los valores válidos son1500, 3000 600012000, y múltiplos de12000, hasta un máximo de. 192000

      Para obtener más información sobre los metadatosIOPS, consulteConfiguración del rendimiento de los metadatos de Lustre.

    • Para el tipo de compresión de datos, elija NONEdesactivar la compresión de datos o LZ4activar la compresión de datos con el LZ4 algoritmo. Para obtener más información, consulte Compresión de datos de Lustre.

    Todos los sistemas de archivos FSx for Lustre se basan en la versión 2.15 de Lustre cuando se crean con la consola de Amazon. FSx

  5. En la sección Network & security, proporcione la siguiente información de red y grupo de seguridad:

    • En Virtual Private Cloud (VPC), elige la VPC que quieras asociar a tu sistema de archivos. Para este ejercicio de introducción, elige lo mismo VPC que has elegido para tu EC2 instancia de Amazon.

    • En el VPC caso de los grupos de seguridad, ya VPC debería estar agregado el ID del grupo de seguridad predeterminado. Si no está utilizando el grupo de seguridad predeterminado, asegúrese de que la siguiente regla de entrada se agregue al grupo de seguridad que está utilizando para este ejercicio introductorio.

      Tipo Protocolo Intervalo de puertos Origen Descripción
      ¿Todos TCP TCP 0-65535 Personalizada El_ID_de_este_grupo_de_seguridad Regla de tráfico entrante de Lustre

      La siguiente captura de pantalla muestra un ejemplo de edición de reglas de entrada.

      Regla de tráfico entrante en el grupo de seguridad predeterminado asignado al sistema de archivos de Lustre. FSx
      importante

      Asegúrese de que el grupo de seguridad que está utilizando sigue las instrucciones de configuración que se proporcionan en. Control de acceso al sistema de archivos con Amazon VPC Debe configurar el grupo de seguridad para permitir el tráfico entrante en los puertos 988 y 1018-1023 desde el propio grupo de seguridad o desde toda la subredCIDR, lo cual es necesario para permitir que los hosts del sistema de archivos se comuniquen entre sí.

    • En Subred, elija cualquier valor de la lista de subredes disponibles.

  6. Para la sección de Cifrado, las opciones disponibles varían según el tipo de sistema de archivos que vaya a crear:

    • En el caso de un sistema de archivos persistente, puede elegir una clave de cifrado AWS Key Management Service (AWS KMS) para cifrar los datos del sistema de archivos en reposo.

    • En el caso de un sistema de archivos temporal, los datos en reposo se cifran mediante claves gestionadas por AWS.

    • En el caso de los sistemas de archivos persistentes y Scratch 2, los datos en tránsito se cifran automáticamente cuando se accede al sistema de archivos desde un tipo de EC2 instancia de Amazon compatible. Para obtener más información, consulte Cifrado de datos en tránsito.

  7. En la sección Importar/Exportar repositorios de datos (opcional), la vinculación del sistema de archivos a los repositorios de datos de Amazon S3 está deshabilitada de forma predeterminada. Para obtener información sobre cómo activar esta opción y crear una asociación de repositorio de datos a un bucket de S3 existente, consulte Para vincular un bucket de S3 al crear un sistema de archivos (consola).

    importante

    • Al seleccionar esta opción también se deshabilitan las copias de seguridad y no podrá habilitarlas mientras crea el sistema de archivos.

    • Si vincula uno o más sistemas de archivos de Amazon FSx for Lustre a un bucket de Amazon S3, no elimine el bucket de Amazon S3 hasta que se hayan eliminado todos los sistemas de archivos enlazados.

  8. Para el Registro: opcional, el registro está activado de forma predeterminada. Cuando está habilitada, los errores y las advertencias de la actividad del repositorio de datos en su sistema de archivos se registran en Amazon CloudWatch Logs. Para obtener información sobre la configuración de los registros, consulte Administración de registros.

  9. En Copia de seguridad y mantenimiento - opcional, puede hacer lo siguiente.

    Para copias de seguridad automáticas diarias:

    • Desactive la Copia de seguridad automática diaria. Esta opción está habilitada de forma predeterminada, a menos que haya activado Importar/Exportar repositorios de datos.

    • Establezca la hora de inicio de la ventana de copia de seguridad automática diaria.

    • Establezca el Período de retención de la copia de seguridad automática, de 1 a 35 días.

    Para obtener más información, consulte Trabajo con copias de seguridad.

  10. Defina la hora de inicio de la Ventana de mantenimiento semanal o manténgala en el valor predeterminado Sin preferencia.

  11. En el caso de Root Squash (opcional), el Root Squash está deshabilitado de forma predeterminada. Para obtener información sobre cómo habilitar y configurar root squash, consultePara habilitar root squash al crear un sistema de archivos (consola).

  12. Cree las etiquetas que desee aplicar a su sistema de archivos.

  13. Seleccione Siguiente para mostrar la página de Resumen de creación del sistema de archivos.

  14. Revisa la configuración de tu sistema de archivos Amazon FSx for Lustre y selecciona Crear sistema de archivos.

Ahora que creó su sistema de archivos, anote el nombre de dominio completo y su nombre de montaje para un paso posterior. Puede encontrar el nombre de dominio completo y el nombre de montaje de un sistema de archivos seleccionando el nombre del sistema de archivos en el panel Caches y luego seleccionando Adjuntar.

Paso 2: Instale y configure el cliente Lustre

Antes de poder acceder al sistema de archivos de Amazon FSx for Lustre desde su EC2 instancia de Amazon, debe hacer lo siguiente:

  • Verifica que tu EC2 instancia cumpla con los requisitos mínimos del kernel.

  • Actualiza el núcleo si es necesario.

  • Descargue e instale el cliente Lustre.

Para comprobar la versión del núcleo y descargar el cliente Lustre

  1. Abre una ventana de terminal en tu EC2 instancia.

  2. Determine qué kernel se está ejecutando actualmente en su instancia de procesamiento mediante la ejecución del siguiente comando.

    uname -r

  3. Realice una de las siguientes acciones siguientes:

    • Si el comando vuelve 6.1.79-99.167.amzn2023.x86_64 a aparecer en el caso de EC2 las instancias basadas en x86 6.1.79-99.167.amzn2023.aarch64 o superior en el caso de las EC2 instancias basadas en Graviton2, descarga e instala el cliente Lustre con el siguiente comando.

      sudo dnf install -y lustre-client

    • Si el comando devuelve un resultado inferior 6.1.79-99.167.amzn2023.x86_64 al de las EC2 instancias basadas en x86 o inferior 6.1.79-99.167.amzn2023.aarch64 al de las instancias basadas en Graviton2EC2, actualiza el kernel y reinicia tu EC2 instancia de Amazon ejecutando el siguiente comando. 

      sudo dnf -y update kernel && sudo reboot

      Compruebe que el kernel se haya actualizado usando el comando uname -r. Luego, descargue e instale el cliente Lustre como se ha descrito anteriormente.

    Para obtener información sobre la instalación del cliente Lustre en otras distribuciones de Linux, consulte Instalación del cliente Lustre.

Paso 3: Monte el sistema de archivos

Para montar el sistema de archivos, debe crear un directorio de montaje o punto de montaje y, a continuación, montar el sistema de archivos en el cliente y comprobar que el cliente puede acceder al sistema de archivos.

Para montar el sistema de archivos

  1. Haga un directorio para el punto de montaje con el siguiente comando.

    sudo mkdir -p /mnt/fsx

  2. Monte el sistema de archivos Amazon FSx for Lustre en el directorio que creó. Utilice el siguiente comando y sustituya los siguientes elementos:

    • file_system_dns_nameSustitúyalo por el nombre del sistema de nombres de dominio (DNS) actual del sistema de archivos.

    • mountnameSustitúyalo por el nombre de montaje del sistema de archivos, que puede obtener ejecutando el describe-file-systems AWS CLI comando o la DescribeFileSystemsAPIoperación.

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    Este comando monta el sistema de archivos con dos opciones: -o relatime y flock:

    • relatime – Si bien la opción atime mantiene los datos atime (tiempos de acceso al inodo) cada vez que se accede a un archivo, la opción relatime también mantiene los datos atime, pero no para cada vez que se accede a un archivo. Con la opción relatime habilitada, los datos atime se escriben en el disco solo si el archivo se ha modificado desde que los datos atime se actualizaron por última vez (mtime), o si se accedió al archivo por última vez hace más de un cierto tiempo (6 horas por defecto). El uso de la opción relatime o atime optimizará los procesos de liberación de archivos.

      nota

      Si su carga de trabajo requiere una precisión exacta del tiempo de acceso, puede montar con la opción de montaje atime. Sin embargo, hacerlo puede afectar al rendimiento de la carga de trabajo al aumentar el tráfico de red necesario para mantener valores de tiempo de acceso precisos.

      Si su carga de trabajo no requiere tiempo de acceso a metadatos, el uso de la opción de montaje noatime para desactivar las actualizaciones del tiempo de acceso puede proporcionar una ganancia de rendimiento. Tenga en cuenta que los procesos centrados atime como la liberación de archivos o la liberación de la validez de los datos serán imprecisos en su liberación.

    • flock – Permite el bloqueo de archivos para su sistema de archivos. Si no quiere activar el bloqueo de archivos, utilice el comando mount sin flock.

  3. Compruebe que el comando de montaje se haya realizado correctamente listando el contenido del directorio en el que ha montado el sistema de archivos /mnt/fsx, mediante el siguiente comando.

    ls /mnt/fsx
import-path  lustre
$

    También puede utilizar el comando df, a continuación.

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    Los resultados muestran el sistema de FSx archivos de Amazon montado en /mnt/fsx.

Paso 4: Ejecuta tu flujo de trabajo

Ahora que se creó y montó su sistema de archivos en una instancia informática, puede utilizarlo para ejecutar su carga de trabajo informática de alto rendimiento.

Puede crear una asociación de repositorio de datos para vincular su sistema de archivos a un repositorio de datos de Amazon S3, Para obtener más información, consulte Cómo vincular su sistema de archivos a un bucket de Amazon S3.

Una vez que haya vinculado su sistema de archivos a un repositorio de datos de Amazon S3, podrá exportar los datos que haya escrito en su sistema de archivos de vuelta a su bucket de Amazon S3 en cualquier momento. Desde un terminal en una de sus instancias informáticas, ejecute el siguiente comando para exportar un archivo a su bucket de Amazon S3.

sudo lfs hsm_archive file_name

Para obtener más información sobre cómo ejecutar este comando en una carpeta o una gran colección de archivos rápidamente, consulte Exportación de archivos mediante HSM comandos.

Paso 5: Limpiar los recursos de

Cuando haya terminado este ejercicio, debe seguir estos pasos para limpiar sus recursos y proteger su AWS cuenta.

Para limpiar los recursos

  1. Si desea realizar una exportación final, ejecute el siguiente comando.

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. En la EC2 consola de Amazon, cierra tu instancia. Para obtener más información, consulte Finalizar su instancia en la Guía del EC2 usuario de Amazon.

  3. En la consola de Amazon FSx for Lustre, elimine el sistema de archivos mediante el siguiente procedimiento:

    1. En el panel de navegación, elija File systems (Sistema de archivos).

    2. Elija el sistema de archivos que desea eliminar de la lista de sistemas de archivos del panel.

    3. En Acciones, seleccione Eliminar sistema de archivos.

    4. En el cuadro de diálogo que aparece, elija si desea realizar una copia de seguridad final del sistema de archivos. A continuación, indique el ID del sistema de archivos para confirmar la eliminación. Seleccione Delete file system (Eliminar sistema de archivos).

  4. Si ha creado un bucket de Amazon S3 para este ejercicio y no desea conservar los datos exportados, puede eliminarlo. Para obtener más información, consulte Eliminación de un bucket en la Guía del usuario de Amazon Simple Storage Service.