Información general de los repositorios de datos
Cuando utiliza Amazon FSx para Lustre con repositorios de datos, puede ingresar y procesar grandes volúmenes de datos de archivos en un sistema de archivos de alto rendimiento mediante tareas de importación e importación automáticas de repositorios de datos. Al mismo tiempo, puede escribir los resultados en sus repositorios de datos mediante tareas automáticas de exportación o exportación de repositorios de datos. Con estas características, puede reiniciar su carga de trabajo en cualquier momento utilizando los datos más recientes almacenados en su repositorio de datos.
nota
Las asociaciones de repositorios de datos, la exportación automática y la compatibilidad con varios repositorios de datos no están disponibles en los sistemas de archivos de FSx para Lustre 2.10 o los sistemas de archivo Scratch 1
.
FSx para Lustre está profundamente integrado con Amazon S3. Esta integración significa que puede acceder sin problemas a los objetos almacenados en sus buckets de Amazon S3 desde las aplicaciones que montan su sistema de archivos de FSx para Lustre. También puede ejecutar sus cargas de trabajo de procesamiento intensivo en instancias de Amazon EC2 en Nube de AWS y exportar los resultados a su repositorio de datos una vez finalizada la carga de trabajo.
Para acceder a los objetos del repositorio de datos de Amazon S3 como archivos y directorios del sistema de archivos, los metadatos de los archivos y directorios deben cargarse en el sistema de archivos. Puede cargar metadatos desde un repositorio de datos vinculado al crear una asociación de repositorios de datos.
Además, puede importar metadatos de archivos y directorios de sus repositorios de datos vinculados al sistema de archivos mediante la importación automática o mediante una tarea de importación del repositorio de datos. Al activar la importación automática para una asociación de repositorios de datos, el sistema de archivos importa automáticamente los metadatos de los archivos a medida que se crean, modifican o eliminan archivos en el repositorio de datos de S3. Como alternativa, puede importar metadatos para archivos y directorios nuevos o modificados mediante una tarea de importación del repositorio de datos.
nota
Las tareas automáticas de importación e importación del repositorio de datos se pueden utilizar simultáneamente en un sistema de archivos.
También puede exportar los archivos y los metadatos asociados del sistema de archivos al repositorio de datos mediante la exportación automática o mediante una tarea de exportación del repositorio de datos. Al activar la exportación automática en una asociación de repositorio de datos, el sistema de archivos exporta automáticamente los datos y metadatos de los archivos cuando estos se crean, modifican o eliminan. Como alternativa, puede exportar archivos o directorios mediante una tarea de exportación de repositorios de datos. Cuando utiliza una tarea de repositorio de datos de exportación, se exportan los datos y metadatos de los archivos que se crearon o modificaron desde la última tarea de este tipo.
nota
Las tareas de exportación automática y exportación de repositorio de datos no pueden utilizarse simultáneamente en un sistema de archivos.
Las asociaciones de repositorios de datos solo exportan archivos, enlaces simbólicos y directorios normales. Esto significa que todos los demás tipos de archivos (FIFO especial, bloque especial, especial de caracteres y conector) no se exportarán como parte de los procesos de exportación, como las tareas automáticas de exportación y exportación del repositorio de datos.
FSx para Lustre también admite cargas de trabajo de ampliación en la nube con sistemas de archivos en las instalaciones, ya que permite copiar datos de clientes en las instalaciones mediante AWS Direct Connect o VPN.
importante
Si ha vinculado uno o más sistemas de archivos de FSx para Lustre a un repositorio de datos en Amazon S3, no elimine el bucket de Amazon S3 hasta que haya eliminado o desvinculado todos los sistemas de archivos enlazados.
Soporte regional y de cuenta para los buckets de S3 enlazados
Al crear enlaces a buckets de S3, tenga en cuenta las siguientes limitaciones de compatibilidad de cuentas y regiones:
-
La exportación automática admite configuraciones entre regiones. El sistema de archivos Amazon FSx y el bucket de S3 vinculado pueden estar ubicados en la misma Región de AWS o en una Regiones de AWS distinta.
-
La importación automática no admite configuraciones entre regiones. Tanto el sistema de archivos de Amazon FSx como el bucket de S3 vinculado deben estar ubicados en la misma Región de AWS.
-
Tanto la exportación automática como la importación automática admiten configuraciones entre cuentas. El sistema de archivos Amazon FSx y el bucket de S3 vinculado pueden estar ubicados en la misma Cuenta de AWS o en una Cuentas de AWS distinta.