Precargar los archivos en el sistema de archivos - FSx para Lustre

Precargar los archivos en el sistema de archivos

Amazon FSx copia los datos del repositorio de datos de Amazon S3 cuando se accede a un archivo por primera vez. Gracias a este enfoque, la lectura o escritura inicial en un archivo tiene una pequeña latencia. Si su aplicación es sensible a esta latencia y sabe a qué archivos o directorios debe acceder, si lo desea, puede precargar el contenido de archivos o directorios individuales. Para ello, use el siguiente comando hsm_restore, como se indica a continuación.

Puede utilizar el comando hsm_action (emitido con la utilidad de usuario lfs) para comprobar que el contenido del archivo ha terminado de cargarse en el sistema de archivos. Un valor devuelto de NOOP indica que el archivo se ha cargado correctamente. Ejecute los siguientes comandos desde una instancia de procesamiento con el sistema de archivos montado. Sustituya path/to/file por la ruta del archivo que está precargando en el sistema de archivos.

sudo lfs hsm_restore path/to/file sudo lfs hsm_action path/to/file

Puede precargar todo el sistema de archivos o todo un directorio del sistema de archivos mediante los siguientes comandos. (El ampersand final hace que un comando se ejecute como proceso en segundo plano). Si solicita la precarga de varios archivos simultáneamente, Amazon FSx carga sus archivos desde su repositorio de datos de Amazon S3 en paralelo. Si un archivo ya se ha cargado en el sistema de archivos, el comando hsm_restore no lo vuelve a cargar.

nohup find local/directory -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
nota

Si el bucket de S3 vinculado es más grande que el sistema de archivos, debería poder importar todos los metadatos de los archivos a su sistema de archivos. Sin embargo, solo puede cargar la cantidad de datos de archivos reales que quepa en el espacio de almacenamiento restante del sistema de archivos. Recibirá un mensaje de error si intenta acceder a los datos de los archivos cuando ya no quede espacio de almacenamiento en el sistema de archivos. Si esto ocurre, puede aumentar la cantidad de capacidad de almacenamiento según sea necesario. Para obtener más información, consulte Administración de la capacidad de almacenamiento.