Información general de los repositorios de datos - FSx para Lustre

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Información general de los repositorios de datos

Cuando utiliza Amazon FSx for Lustre con repositorios de datos, puede ingerir y procesar grandes volúmenes de datos de archivos en un sistema de archivos de alto rendimiento mediante tareas automáticas de importación e importación de repositorios de datos. Al mismo tiempo, puede escribir los resultados en sus repositorios de datos mediante tareas automáticas de exportación o exportación de repositorios de datos. Con estas características, puede reiniciar su carga de trabajo en cualquier momento utilizando los datos más recientes almacenados en su repositorio de datos.

nota

Las asociaciones de repositorios de datos, la exportación automática y la compatibilidad con varios repositorios de datos no están disponibles en los sistemas de archivos o FSx sistemas de archivos Lustre 2.10. Scratch 1

FSx for Lustre está profundamente integrado con Amazon S3. Esta integración significa que puede acceder sin problemas a los objetos almacenados en sus buckets de Amazon S3 desde las aplicaciones que montan su sistema de archivos FSx for Lustre. También puede ejecutar sus cargas de trabajo con uso intensivo de recursos informáticos en EC2 instancias de Amazon Nube de AWS y exportar los resultados a su repositorio de datos una vez finalizada la carga de trabajo.

Para acceder a los objetos del repositorio de datos de Amazon S3 como archivos y directorios del sistema de archivos, los metadatos de los archivos y directorios deben cargarse en el sistema de archivos. Puede cargar metadatos desde un repositorio de datos vinculado al crear una asociación de repositorios de datos.

Además, puede importar metadatos de archivos y directorios de sus repositorios de datos vinculados al sistema de archivos mediante la importación automática o mediante una tarea de importación del repositorio de datos. Al activar la importación automática para una asociación de repositorios de datos, el sistema de archivos importa automáticamente los metadatos de los archivos a medida que se crean, modifican o eliminan archivos en el repositorio de datos de S3. Como alternativa, puede importar metadatos para archivos y directorios nuevos o modificados mediante una tarea de importación del repositorio de datos.

nota

Las tareas automáticas de importación e importación del repositorio de datos se pueden utilizar simultáneamente en un sistema de archivos.

También puede exportar los archivos y los metadatos asociados del sistema de archivos al repositorio de datos mediante la exportación automática o mediante una tarea de exportación del repositorio de datos. Al activar la exportación automática en una asociación de repositorio de datos, el sistema de archivos exporta automáticamente los datos y metadatos de los archivos cuando estos se crean, modifican o eliminan. Como alternativa, puede exportar archivos o directorios mediante una tarea de exportación de repositorios de datos. Cuando utiliza una tarea de repositorio de datos de exportación, se exportan los datos y metadatos de los archivos que se crearon o modificaron desde la última tarea de este tipo.

nota
  • Las tareas de exportación automática y exportación de repositorio de datos no pueden utilizarse simultáneamente en un sistema de archivos.

  • Las asociaciones de repositorios de datos solo exportan archivos, enlaces simbólicos y directorios normales. Esto significa que todos los demás tipos de archivos (FIFO especial, bloque especial, especial de caracteres y conector) no se exportarán como parte de los procesos de exportación, como las tareas automáticas de exportación y exportación del repositorio de datos.

FSx for Lustre también admite cargas de trabajo repletas de nubes con sistemas de archivos locales, lo que le permite copiar datos de clientes locales mediante una VPN. AWS Direct Connect

importante

Si ha vinculado uno o más sistemas de archivos de FSx For Lustre a un repositorio de datos en Amazon S3, no elimine el bucket de Amazon S3 hasta que haya eliminado o desvinculado todos los sistemas de archivos vinculados.

Soporte regional y de cuenta para los buckets de S3 enlazados

Al crear enlaces a buckets de S3, tenga en cuenta las siguientes limitaciones de compatibilidad de cuentas y regiones:

  • La exportación automática admite configuraciones entre regiones. El sistema de FSx archivos de Amazon y el bucket de S3 vinculado pueden estar ubicados en el mismo lugar Región de AWS o en sitios diferentes Regiones de AWS.

  • La importación automática no admite configuraciones entre regiones. Tanto el sistema de FSx archivos de Amazon como el bucket de S3 vinculado deben estar ubicados en el mismo lugar Región de AWS.

  • Tanto la exportación automática como la importación automática admiten configuraciones entre cuentas. El sistema de FSx archivos de Amazon y el bucket de S3 vinculado pueden pertenecer al mismo Cuenta de AWS o a uno diferente Cuentas de AWS.