Uso de las cuotas de almacenamiento de Lustre - FSxpara Lustre

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de las cuotas de almacenamiento de Lustre

Puede crear cuotas de almacenamiento para usuarios, grupos y proyectos en los sistemas de archivos de FSx para Lustre. Con las cuotas de almacenamiento, podrá limitar la cantidad de espacio en disco y el número de archivos que puede consumir un usuario, grupo o proyecto. Las cuotas de almacenamiento registran automáticamente el uso a nivel de usuario, grupo y proyecto para que pueda supervisar el consumo independientemente de si decide establecer límites de almacenamiento o no.

Amazon FSx impone cuotas e impide que los usuarios que las hayan superado escriban en el espacio de almacenamiento. Cuando los usuarios superan sus cuotas, deben eliminar suficientes archivos para quedar por debajo de los límites de cuota y poder escribir de nuevo en el sistema de archivos.

Cumplimiento de cuotas

La aplicación de cuotas de usuario, grupo y proyecto se activa automáticamente en todos los sistemas de archivos de FSx para Lustre. No se puede deshabilitar la aplicación de cuotas.

Tipos de cuotas

Los administradores del sistema con credenciales de usuario raíz de la AWS cuenta pueden crear los siguientes tipos de cuotas:

  • Una cuota de usuario se aplica a un usuario individual. La cuota de un usuario específico puede ser diferente de las cuotas de otros usuarios.

  • Una cuota de grupo se aplica a todos los usuarios que son miembros de un grupo específico.

  • Una cuota de proyecto se aplica a todos los archivos o directorios asociados a un proyecto. Un proyecto puede incluir varios directorios o archivos individuales ubicados en diferentes directorios dentro de un sistema de archivos.

    nota

    Las cuotas de proyecto solo se admiten en la versión 2.15 de Lustre en los sistemas de archivos fSx for Lustre.

  • Una cuota de bloques limita la cantidad de espacio en disco que puede consumir un usuario, un grupo o un proyecto. El tamaño de almacenamiento se configura en kilobytes.

  • Una cuota de inodos limita la cantidad de archivos o directorios que puede crear un usuario, un grupo o un proyecto. El número máximo de inodos se configura como un número entero.

nota

No se admiten las cuotas por defecto.

Si establece cuotas para un usuario concreto y un grupo, y el usuario es miembro de ese grupo, el uso de datos del usuario se aplica a ambas cuotas. También está limitado por ambas cuotas. Si se alcanza alguno de los límites de cuota, el usuario no podrá escribir en el sistema de archivos.

nota

Las cuotas establecidas para el usuario raíz no se aplican. Del mismo modo, escribir datos como usuario raíz usando el comando sudo evita la aplicación de la cuota.

Límites de cuota y períodos de gracia

Amazon FSx aplica las cuotas de usuarios, grupos y proyectos como un límite estricto o flexible con un período de gracia configurable.

El límite estricto es el límite absoluto. Si los usuarios superan su límite estricto, se produce un error en la asignación de bloques o inodos y aparece el mensaje de que Se ha superado la cuota de disco. Los usuarios que hayan alcanzado su límite máximo de cuota deben eliminar suficientes archivos o directorios como para superar el límite de cuota antes de poder volver a escribir en el sistema de archivos. Cuando se establece un período de gracia, los usuarios pueden superar el límite flexible dentro del período de gracia si están por debajo del límite estricto.

En el caso de los límites flexibles, se configura un período de gracia en segundos. El límite flexible debe ser menor que el límite estricto.

Puede establecer diferentes períodos de gracia para las cuotas de inodo y de bloque. También puede establecer diferentes períodos de gracia para una cuota de usuario, una cuota de grupo y una cuota de proyecto. Cuando las cuotas de usuario, grupo y proyecto tienen períodos de gracia diferentes, el límite flexible se transforma en límite estricto una vez transcurrido el período de gracia de cualquiera de estas cuotas.

Cuando los usuarios superan un límite flexible, Amazon FSx les permite seguir superando su cuota hasta que haya transcurrido el período de gracia o hasta que se alcance el límite estricto. Una vez finalizado el período de gracia, el límite flexible se convierte en límite estricto y los usuarios no pueden realizar ninguna otra operación de escritura hasta que su consumo de almacenamiento vuelva a ser inferior a los límites de cuota de bloques o de inodos definidos. Los usuarios no reciben ninguna notificación o advertencia cuando comienza el período de gracia.

Cómo establecer y ver las cuotas

Las cuotas de almacenamiento se establecen mediante los comandos lfs del sistema de archivos de Lustre en su terminal Linux. El comando lfs setquota establece límites de cuota, y el comando lfs quota muestra información de cuota.

Para obtener más información sobre los comandos de cuota de Lustre, consulte el Manual de operaciones de Lustre en el Sitio web de documentación de Lustre.

Establecer cuotas de usuario, grupo y proyecto

La sintaxis del comando setquota para establecer las cuotas de usuarios, grupos o proyectos es la siguiente.

lfs setquota {-u|--user|-g|--group|-p|--project} username|groupname|projectid [-b block_softlimit] [-B block_hardlimit] [-i inode_softlimit] [-I inode_hardlimit] /mount_point

Donde:

  • -u o --user especifica un usuario para establecerle una cuota.

  • -g o --group especifica un grupo para establecerle una cuota.

  • -p o --project especifica un proyecto para establecerle una cuota.

  • -b establece una cuota por bloques con un límite flexible. -B establece una cuota de bloques con un límite estricto. Tanto block_softlimit como block_hardlimit se expresan en kilobytes y el valor mínimo es 1024 KB.

  • -i establece una cuota de inodos con un límite flexible. -I establece una cuota de inodos con un límite estricto. Tanto inode_softlimit como inode_hardlimit se expresan en número de inodos y el valor mínimo es de 1024 inodos.

  • mount_point es el directorio en el que se montó el sistema de archivos.

Ejemplo de cuota de usuario: el siguiente comando establece un límite de 5000 KB de bloques flexibles, un límite de 8000 KB de bloques estrictos, un límite de 2000 inodos flexibles y un límite de 3000 inodos estrictos para user1 en el sistema de archivos montado en /mnt/fsx.

sudo lfs setquota -u user1 -b 5000 -B 8000 -i 2000 -I 3000 /mnt/fsx

Ejemplo de cuota de grupo: el siguiente comando establece un límite de bloques estrictos de 100 000 KB para el grupo llamado group1 en el sistema de archivos montado en /mnt/fsx.

sudo lfs setquota -g group1 -B 100000 /mnt/fsx

Ejemplo de cuota de proyecto: en primer lugar, asegúrese de haber utilizado el comando project para asociar los archivos y directorios deseados al proyecto. Por ejemplo, el siguiente comando asocia todos los archivos y subdirectorios del directorio /mnt/fsxfs/dir1 al proyecto cuyo identificador de proyecto es 100.

sudo lfs project -p 100 -r -s /mnt/fsxfs/dir1

Luego, utilice el comando setquota para establecer la cuota del proyecto. El siguiente comando establece un límite de bloques flexibles de 307 200 KB, un límite de bloques estrictos de 309 200 KB, un límite de inodos flexibles de 10 000 y un límite de inodos estrictos de 11 000 para el proyecto 250 en el sistema de archivos montado en /mnt/fsx.

sudo lfs setquota -p 250 -b 307200 -B 309200 -i 10000 -I 11000 /mnt/fsx

Establecer períodos de gracia

El período de gracia predeterminado es de una semana. Puede ajustar el período de gracia predeterminado para los usuarios, grupos o proyectos mediante la siguiente sintaxis.

lfs setquota -t {-u|-g|-p} [-b block_grace] [-i inode_grace] /mount_point

Donde:

  • -t indica que se establecerá un período de gracia.

  • -u establece un período de gracia para todos los usuarios.

  • -g establece un período de gracia para todos los grupos.

  • -p establece un período de gracia para todos los proyectos.

  • -b establece un período de gracia para las cuotas en bloque. -i establece un período de gracia para las cuotas de inodos. Tanto block_grace como inode_grace se expresan en segundos enteros o en el formato XXwXXdXXhXXmXXs.

  • mount_point es el directorio en el que se montó el sistema de archivos.

El siguiente comando establece períodos de gracia de 1000 segundos para las cuotas de bloqueo de usuarios y de 1 semana y 4 días para las cuotas de inodos de usuarios.

sudo lfs setquota -t -u -b 1000 -i 1w4d /mnt/fsx

Visualización de las cuotas

El comando quota muestra información sobre las cuotas de usuario, las cuotas de grupo, las cuotas de proyectos y los períodos de gracia.

Ver comando de cuotas Se muestra información de cuota

lfs quota /mount_point

Información general de cuota (uso y límites de disco) para el usuario que ejecuta el comando y el grupo primario del usuario.

lfs quota -u username /mount_point

Información general sobre las cuotas de un usuario específico. Los usuarios con credenciales de usuario root de la AWS cuenta pueden ejecutar este comando para cualquier usuario, pero los usuarios que no sean root no pueden ejecutar este comando para obtener información sobre las cuotas de otros usuarios.

lfs quota -u username -v /mount_point

Información general de cuotas para un usuario específico y estadísticas detalladas de cuotas para cada destino de almacenamiento de objetos (OST) y destino de metadatos (MDT). Los usuarios con credenciales de usuario raíz de la AWS cuenta pueden ejecutar este comando para cualquier usuario, pero los usuarios que no son root no pueden ejecutar este comando para obtener información sobre las cuotas de otros usuarios.

lfs quota -g groupname /mount_point

Información general sobre cuotas para un grupo específico.

lfs quota -p projectid /mount_point

Información general sobre cuotas para un proyecto específico.

lfs quota -t -u /mount_point

Tiempos de gracia de bloque e inodo para cuotas de usuario.

lfs quota -t -g /mount_point

Tiempos de gracia de bloque e inodo para cuotas de grupo.

lfs quota -t -p /mount_point

Tiempos de gracia de bloque e inodo para cuotas de proyecto.

Cuotas y buckets vinculados de Amazon S3

Puede vincular su sistema de archivos de FSx para Lustre a un repositorio de datos de Amazon S3. Para obtener más información, consulte Cómo vincular su sistema de archivos a un bucket de Amazon S3.

Puede elegir opcionalmente una carpeta o prefijo específico dentro de un bucket S3 vinculado como ruta de importación a su sistema de archivos. Cuando se especifica una carpeta en Amazon S3 y se importa a su sistema de archivos desde S3, solo los datos de esa carpeta se aplican a la cuota. Los datos de todo el bucket no se tienen en cuenta para los límites de cuota.

Los metadatos de archivo de un bucket de S3 vinculado se importan a una carpeta con una estructura que coincide con la carpeta importada desde Amazon S3. Estos archivos cuentan para las cuotas de inodos de los usuarios y grupos propietarios de los archivos.

Cuando un usuario realiza una hsm_restore o carga diferida de un archivo, el tamaño completo del archivo cuenta para la cuota de bloque asociada al propietario del archivo. Por ejemplo, si el usuario A carga de forma diferida un archivo que es propiedad del usuario B, la cantidad de almacenamiento y el uso de inodos se tienen en cuenta para la cuota del usuario B. Del mismo modo, cuando un usuario utiliza la API de Amazon FSx para liberar un archivo, los datos se liberan de las cuotas de bloque del usuario o grupo propietario del archivo.

Dado que las restauraciones HSM y la carga diferida se realizan con acceso raíz, eluden la aplicación de cuotas. Una vez importados, los datos se incluyen en el usuario o grupo en función de la propiedad establecida en S3, lo que puede hacer que los usuarios o grupos superen sus límites de bloques. Si esto ocurre, deberán liberar los archivos para poder volver a escribir en el sistema de archivos.

Del mismo modo, los sistemas de archivos con la importación automática habilitada crearán automáticamente nuevos inodos para los objetos añadidos a S3. Estos nuevos inodos se crean con acceso raíz y eluden la aplicación de cuotas mientras se crean. Estos nuevos inodos contarán para los usuarios y grupos, basándose en quién es el propietario del objeto en S3. Si esos usuarios y grupos exceden sus cuotas de inodos basándose en la actividad de importación automática, tendrán que eliminar archivos para liberar capacidad adicional y situarse por debajo de sus límites de cuota.

Cuotas y restauración de copias de seguridad

Al restaurar una copia de seguridad, la configuración de cuotas del sistema de archivos original se implementa en el sistema de archivos restaurado. Por ejemplo, si se establecen cuotas en el sistema de archivos A, y se crea el sistema de archivos B a partir de una copia de seguridad del sistema de archivos A, se aplicarán las cuotas del sistema de archivos A en el sistema de archivos B.