Cómo vincular su sistema de archivos a un bucket de Amazon S3 - FSxpara Lustre

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cómo vincular su sistema de archivos a un bucket de Amazon S3

Puede vincular su sistema de archivos Amazon FSx for Lustre a los repositorios de datos de Amazon S3. Puede crear el enlace al crear el sistema de archivos o en cualquier momento después de crearlo.

Un enlace entre un directorio del sistema de archivos y un bucket o prefijo de S3 se denomina asociación de repositorios de datos (). DRA Puede configurar un máximo de 8 asociaciones de repositorios de datos en un sistema de archivos FSx de Lustre. Se pueden poner en cola un máximo de 8 DRA solicitudes, pero solo se puede trabajar con una solicitud a la vez para el sistema de archivos. Cada una DRA debe tener un directorio del sistema de archivos exclusivo FSx para Lustre y un prefijo o bucket S3 único asociado a ella.

nota

Las asociaciones de repositorios de datos, la exportación automática y la compatibilidad con varios repositorios de datos no están disponibles en los sistemas de archivos o FSx sistemas de archivos Lustre 2.10. Scratch 1

Para acceder a los objetos del repositorio de datos S3 como archivos y directorios en el sistema de archivos, los metadatos de archivos y directorios deben cargarse en el sistema de archivos. Puede cargar metadatos de un repositorio de datos vinculado al crear DRA o cargar metadatos para lotes de archivos y directorios a los que desee acceder mediante el FSx sistema de archivos de Lustre más adelante mediante una tarea de importación de repositorio de datos, o usar la exportación automática para cargar metadatos automáticamente cuando se agreguen, modifiquen o eliminen objetos del repositorio de datos.

Puede configurar una solo DRA para la importación automática, solo para la exportación automática o para ambas. Una asociación de repositorios de datos configurada con importación y exportación automáticas propaga los datos en ambas direcciones entre el sistema de archivos y el bucket de S3 vinculado. A medida que realiza cambios en los datos del repositorio de datos de S3, FSx for Lustre detecta los cambios y, a continuación, los importa automáticamente a su sistema de archivos. A medida que crea, modifica o elimina archivos, FSx for Lustre exporta automáticamente los cambios a Amazon S3 de forma asíncrona una vez que la aplicación termine de modificar el archivo.

importante

  • Si modifica el mismo archivo tanto en el sistema de archivos como en el bucket de S3, debe garantizar la coordinación a nivel de la aplicación para evitar conflictos. FSxfor Lustre no evita escrituras conflictivas en varias ubicaciones.

  • En el caso de los archivos marcados con un atributo inmutable, FSx for Lustre no puede sincronizar los cambios entre el sistema de archivos de FSx For Lustre y un bucket de S3 vinculado al sistema de archivos. Si se establece un indicador inmutable durante un período de tiempo prolongado, es posible que se degrade el rendimiento del movimiento de datos entre Amazon FSx y S3.

Al crear una asociación de repositorios de datos, puede configurar las siguientes propiedades:

  • Ruta del sistema de archivos: introduzca una ruta local en el sistema de archivos que apunte a un directorio (por ejemplo/ns1/) o subdirectorio (por ejemplo/ns1/subdir/) que se asignará a la ruta del repositorio de datos especificada one-to-one a continuación. Se requiere la barra diagonal que aparece al principio del nombre. Dos asociaciones de repositorios de datos no pueden tener rutas de sistema de archivos superpuestas. Por ejemplo, si un repositorio de datos está asociado a la ruta del sistema de archivos /ns1, no se puede vincular otro repositorio de datos con la ruta del sistema de archivos /ns1/ns2.

    nota

    Si especifica solo una barra diagonal (/) como ruta del sistema de archivos, a este solo se puede vincular un repositorio de datos. Solo puede especificar “/” como la ruta del sistema de archivos del primer repositorio de datos asociado a un sistema de archivos.

  • Data repository path: introduzca una ruta en el repositorio de datos de S3. La ruta puede ser un bucket de S3 o un prefijo con el formato s3://myBucket/myPrefix/. Esta propiedad especifica desde qué parte del repositorio de datos S3 se importarán o exportarán los archivos. FSxya que Lustre añadirá una «/» al final a la ruta del repositorio de datos si no la proporciona. Por ejemplo, si proporciona una ruta de repositorio de datos des3://myBucket/myPrefix, FSx for Lustre la interpretará como. s3://myBucket/myPrefix/

    Dos asociaciones de repositorios de datos no pueden tener rutas de repositorios de datos superpuestas. Por ejemplo, si un repositorio de datos con la ruta s3://myBucket/myPrefix/ está vinculado al sistema de archivos, no se puede crear otra asociación de repositorio de datos con la ruta de repositorio de datos s3://myBucket/myPrefix/mySubPrefix.

  • Import metadata from repository: puede seleccionar esta opción para importar metadatos de todo el repositorio de datos inmediatamente después de crear la asociación de repositorios de datos. Como alternativa, puede ejecutar una tarea de importación del repositorio de datos para cargar todos o un subconjunto de los metadatos del repositorio de datos vinculado al sistema de archivos en cualquier momento después de crear la asociación de repositorios de datos.

  • Import settings: elija una política de importación que especifique el tipo de objetos actualizados (cualquier combinación de objetos nuevos, modificados y eliminados) que se importarán automáticamente desde el bucket de S3 vinculado a su sistema de archivos. La importación automática (nueva, modificada, eliminada) se activa de forma predeterminada al añadir un repositorio de datos desde la consola, pero se desactiva de forma predeterminada al utilizar Amazon AWS CLI o Amazon FSxAPI.

  • Export settings: elija una política de exportación que especifique el tipo de objetos actualizados (cualquier combinación de nuevos, modificados y eliminados) que se exportarán automáticamente al bucket de S3. La exportación automática (nueva, modificada, eliminada) se activa de forma predeterminada cuando se añade un repositorio de datos desde la consola, pero se desactiva de forma predeterminada cuando se utiliza Amazon AWS CLI o Amazon FSxAPI.

La configuración de la ruta del sistema de archivos y la ruta del repositorio de datos proporcionan un mapeo 1:1 entre las rutas en Amazon FSx y las claves de objeto en S3.

Temas