Exporte automáticamente las actualizaciones a su bucket de S3 - FSxpara Lustre

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Exporte automáticamente las actualizaciones a su bucket de S3

Puede configurar su sistema de archivos de FSx for Lustre para que actualice automáticamente el contenido de un bucket de S3 vinculado a medida que se añaden, modifican o eliminan archivos del sistema de archivos. FSxfor Lustre crea, actualiza o elimina el objeto en S3 en función del cambio en el sistema de archivos.

nota

La exportación automática no está disponible en FSx los sistemas de archivos Lustre 2.10 ni en los sistemas de archivos. Scratch 1

Puede exportar a un repositorio de datos que esté en el Región de AWS mismo sistema de archivos o en uno diferente. Región de AWS

Puede configurar la exportación automática al crear la asociación de repositorios de datos y actualizar la configuración de exportación automática en cualquier momento mediante la consola de FSx administración AWS CLI, el y el AWS API.

nota

Puede configurar tanto la exportación automática como la importación automática en la misma asociación de repositorios de datos. En este tema se describe únicamente la característica de exportación automática.

importante
  • Si se modifica un archivo en el sistema de archivos con todas las políticas de exportación automática activadas y la importación automática desactivada, el contenido de ese archivo siempre se exporta al objeto correspondiente en S3. Si ya existe un objeto en la ubicación de destino, se sobrescribe.

  • Si se modifica un archivo tanto en el sistema de archivos como en S3, con todas las políticas de importación y exportación automáticas activadas, el otro podría sobrescribir el archivo del sistema de archivos o el objeto de S3. No se garantiza que una edición posterior en una ubicación sobrescriba una edición anterior en otra ubicación. Si modifica el mismo archivo tanto en el sistema de archivos como en el bucket de S3, debe garantizar la coordinación a nivel de la aplicación para evitar conflictos. FSxfor Lustre no evita escrituras conflictivas en varias ubicaciones.

La política de exportación especifica cómo desea FSx que Lustre actualice su bucket de S3 vinculado a medida que el contenido del sistema de archivos cambia. Una asociación de repositorios de datos puede tener una de las siguientes políticas de exportación automática:

  • Nuevo: FSx para Lustre, solo actualiza automáticamente el repositorio de datos de S3 cuando se crea un nuevo archivo, directorio o enlace simbólico en el sistema de archivos.

  • Modificado: FSx para Lustre, solo actualiza automáticamente el repositorio de datos de S3 cuando se cambia un archivo existente en el sistema de archivos. En el caso de los cambios en el contenido de los archivos, el archivo debe cerrarse antes de propagarse al repositorio de S3. Los cambios en los metadatos (cambio de nombre, propiedad, permisos y marcas de tiempo) se propagan al finalizar la operación. Al cambiar el nombre de los cambios (incluidos los movimientos), se elimina el objeto de S3 existente (renombrado previamente) y se crea un nuevo objeto de S3 con el nuevo nombre.

  • Eliminado: FSx porque Lustre actualiza automáticamente el repositorio de datos de S3 solo cuando se elimina un archivo, directorio o enlace simbólico del sistema de archivos.

  • Cualquier combinación de nuevo, modificado y eliminado: FSx ya que Lustre actualiza automáticamente el repositorio de datos de S3 cuando se produce alguna de las acciones especificadas en el sistema de archivos. Por ejemplo, puede especificar que el repositorio de S3 se actualice cuando se añada un archivo (New) o se elimine (Deleted) del sistema de archivos, pero no cuando se cambie un archivo.

  • Sin política configurada, FSx ya que Lustre no actualiza automáticamente el repositorio de datos de S3 cuando se añaden, modifican o eliminan archivos del sistema de archivos. Si no configura una política de exportación, la exportación automática está deshabilitada. Aún puede exportar los cambios manualmente mediante una tarea de exportación de repositorio de datos, tal y como se describe en Uso de las tareas del repositorio de datos para exportar los cambios.

Para la mayoría de los casos de uso, se recomienda configurar una política de exportación de New, Changed y Deleted. Esta política garantiza que todas las actualizaciones realizadas en el sistema de archivos se exporten automáticamente al repositorio de datos de S3 vinculado.

Le recomendamos que active el registro en CloudWatch los registros para registrar la información sobre cualquier archivo o directorio que no se pueda exportar automáticamente. Las advertencias y los errores del registro contienen información sobre el motivo del error. Para obtener más información, consulte Registros de eventos del repositorio de datos.

Actualización de la configuración de exportación

Puede establecer la configuración de exportación de un sistema de archivos a un bucket de S3 vinculado al crear la asociación de repositorios de datos. Para obtener más información, consulte Crear un enlace a un bucket de S3.

También puede actualizar la configuración de exportación en cualquier momento, incluida la política de exportación. Para obtener más información, consulte Actualización de la configuración de asociación de repositorios de datos.

Monitorización de la exportación automática

Puedes supervisar las asociaciones de repositorios de datos habilitadas para la exportación automática mediante un conjunto de métricas publicadas en Amazon CloudWatch. La métrica AgeOfOldestQueuedMessage representa la antigüedad de la actualización más antigua realizada en el sistema de archivos y que aún no se ha exportado a S3. Si AgeOfOldestQueuedMessage es mayor que cero durante un período prolongado, se recomienda reducir temporalmente el número de cambios (en particular, los cambios de nombre de los directorios) que se están realizando activamente en el sistema de archivos hasta que se reduzca la cola de mensajes. Para obtener más información, consulte AutoImport y AutoExport métricas.

importante

Al eliminar una asociación de repositorios de datos o un sistema de archivos con la exportación automática habilitada, primero debe asegurarse de que AgeOfOldestQueuedMessage es cero, lo que significa que no hay cambios que aún no se hayan exportado. Si AgeOfOldestQueuedMessage es mayor que cero al eliminar la asociación de repositorios de datos o el sistema de archivos, los cambios que aún no se hayan exportado no llegarán al bucket de S3 vinculado. Para evitarlo, espere a que AgeOfOldestQueuedMessage llegue a cero antes de eliminar la asociación de repositorios de datos o el sistema de archivos.