Importe automáticamente actualizaciones desde un bucket de S3
Puede configurar FSx para Lustre para que actualice automáticamente los metadatos del sistema de archivos a medida que se añadan, modifiquen o eliminen objetos del bucket de S3. FSx para Lustre crea, actualiza o elimina la lista de archivos y directorios correspondiente al cambio en S3. Si el objeto modificado del bucket de S3 ya no contiene sus metadatos, FSx para Lustre mantiene los valores de metadatos actuales del archivo, incluidos los permisos actuales.
nota
El sistema de archivos de FSx para Lustre y el bucket de S3 vinculado deben estar ubicados en la misma Región de AWS para poder importar automáticamente las actualizaciones.
Puede configurar la importación automática al crear la asociación de repositorios de datos y actualizar la configuración de importación automática en cualquier momento mediante la consola de administración de FSx, la AWS CLI o la API de AWS.
nota
Puede configurar tanto la importación automática como la exportación automática en la misma asociación de repositorios de datos. En este tema se describe únicamente la característica de importación automática.
importante
Si se modifica un objeto en S3 con todas las políticas de importación automática activadas y la exportación automática desactivada, el contenido de ese objeto siempre se importa al archivo correspondiente del sistema de archivos. Si ya existe un archivo en la ubicación de destino, se sobrescribe.
Si se modifica un archivo tanto en el sistema de archivos como en S3, con todas las políticas de importación y exportación automáticas activadas, el otro podría sobrescribir el archivo del sistema de archivos o el objeto de S3. No se garantiza que una edición posterior en una ubicación sobrescriba una edición anterior en otra ubicación. Si modifica el mismo archivo tanto en el sistema de archivos como en el bucket de S3, debe garantizar la coordinación a nivel de la aplicación para evitar conflictos. FSx para Lustre no evita escrituras conflictivas en varias ubicaciones.
La política de importación especifica cómo desea que FSx para Lustre actualice su sistema de archivos a medida que cambie el contenido del bucket de S3 vinculado. Una asociación de repositorios de datos puede tener una de las siguientes políticas de importación:
-
New: FSx para Lustre actualiza automáticamente los metadatos de archivos y directorios solo cuando se agregan nuevos objetos al repositorio de datos de S3 vinculado.
-
Changed: FSx para Lustre actualiza automáticamente los metadatos de archivos y directorios solo cuando un objeto existente en el repositorio de datos es modificado.
-
Deleted: FSx para Lustre actualiza automáticamente los metadatos de archivos y directorios solo cuando un objeto del repositorio de datos es eliminado.
-
Any combination of New, Changed, and Deleted: FSx para Lustre actualiza automáticamente los metadatos de archivos y directorios cuando se produce alguna de las acciones especificadas en el repositorio de datos de S3. Por ejemplo, puede especificar que el sistema de archivos se actualice cuando se añada un objeto (New) o se elimine (Deleted) del repositorio de S3, pero que no se actualice cuando se cambie un objeto.
-
No policy configured: FSx para Lustre no actualiza los metadatos de los archivos y directorios del sistema de archivos cuando se agregan, modifican o eliminan objetos del repositorio de datos de S3. Si no configura una política de importación, la importación automática se deshabilita para la asociación de repositorios de datos. Aún puede importar manualmente los cambios en los metadatos mediante una tarea de importación del repositorio de datos, tal y como se describe en Uso de las tareas del repositorio de datos para importar los cambios.
importante
La importación automática no sincronizará las siguientes acciones de S3 con el sistema de archivos de FSx para Lustre vinculado:
Eliminar un objeto mediante los vencimientos del ciclo de vida de los objetos de S3
Eliminación permanente de la versión actual del objeto en un bucket con control de versiones habilitado
Anular la eliminación de un objeto en un bucket con control de versiones habilitado
Para la mayoría de los casos de uso, se recomienda configurar una política de importación de New, Changed y Deleted. Esta política garantiza que todas las actualizaciones realizadas en el repositorio de datos de S3 vinculado se importen automáticamente a su sistema de archivos.
Cuando establece una política de importación para actualizar los metadatos de los archivos y directorios del sistema de archivos en función de los cambios en el repositorio de datos de S3 vinculado, FSx para Lustre crea una configuración de notificación de eventos en el bucket de S3 vinculado. La configuración de notificación de eventos se denomina FSx. No modifique o elimine la configuración de notificación de eventos FSx en el bucket S3; si lo hace, impedirá la importación automática de los metadatos actualizados de los archivos y directorios a su sistema de archivos.
Cuando FSx para Lustre actualiza una lista de archivos que ha cambiado en el repositorio de datos de S3 vinculado, sobrescribe el archivo local con la versión actualizada, incluso si el archivo tiene la escritura bloqueada.
FSx para Lustre hará todo lo posible por actualizar su sistema de archivos. FSx para Lustre no puede actualizar el sistema de archivos en las siguientes situaciones:
-
Si FSx para Lustre no tiene permiso para abrir el objeto de S3 nuevo o modificado. En este caso, FSx para Lustre omite el objeto y continúa. El estado del ciclo de vida de la DRA no se ve afectado.
-
Si FSx para Lustre no tiene permisos a nivel de bucket, como para
GetBucketAcl. Esto hará que el estado del ciclo de vida del repositorio de datos se convierta en Misconfigured. Para obtener más información, consulte Estado del ciclo de vida de la asociación de repositorios. -
Si se elimina o modifica la configuración de notificación de eventos
FSxen el bucket S3 vinculado. Esto hará que el estado del ciclo de vida del repositorio de datos se convierta en Misconfigured. Para obtener más información, consulte Estado del ciclo de vida de la asociación de repositorios.
Le recomendamos que active el registro en CloudWatch Logs para registrar la información sobre cualquier archivo o directorio que no se pueda importar automáticamente. Las advertencias y los errores del registro contienen información sobre el motivo del error. Para obtener más información, consulte Registros de eventos del repositorio de datos.
Requisitos previos
Se requieren las siguientes condiciones para que FSx para Lustre importe automáticamente los archivos nuevos, modificados o eliminados del bucket de S3 vinculado:
-
El sistema de archivos y su bucket de S3 vinculado se encuentran en la misma Región de AWS.
-
El bucket de S3 no tiene el Lifecycle state mal configurado. Para obtener más información, consulte Estado del ciclo de vida de la asociación de repositorios.
-
Su cuenta tiene los permisos necesarios para configurar y recibir notificaciones de eventos en el bucket de S3 vinculado.
Tipos de cambios de archivos compatibles
FSx para Lustre admite la importación de los siguientes cambios en los archivos y directorios que se producen en el bucket de S3 vinculado:
-
Cambios en el contenido de los archivos.
-
Cambios en los metadatos de los archivos o directorios.
-
Cambios en el destino o los metadatos del enlace simbólico.
-
Eliminaciones de archivos y directorios. Si elimina un objeto del bucket de S3 vinculado que corresponde a un directorio del sistema de archivos (es decir, un objeto con un nombre clave que termina con una barra diagonal), FSx para Lustre elimina el directorio correspondiente del sistema de archivos solo si está vacío.
Actualización de la configuración de importación
Puede establecer la configuración de importación de un sistema de archivos para un bucket de S3 vinculado al crear la asociación de repositorios de datos. Para obtener más información, consulte Crear un enlace a un bucket de S3.
También puede actualizar la configuración de importación en cualquier momento, incluida la política de importación. Para obtener más información, consulte Actualización de la configuración de asociación de repositorios de datos.
Monitorización de la importación automática
Si la velocidad de cambio en su bucket de S3 supera la velocidad a la que la importación automática puede procesar estos cambios, los cambios de metadatos correspondientes que se importen a su sistema de archivos de FSx para Lustre se retrasarán. Si esto ocurre, puede utilizar la métrica AgeOfOldestQueuedMessage para monitorizar la antigüedad del cambio más antiguo que espera ser procesado mediante la importación automática. Para obtener más información sobre esta métrica, consulte Métricas del repositorio de S3 de FSx para Lustre.
Si el retraso en la importación de los cambios de metadatos supera los 14 días (medido con la métrica AgeOfOldestQueuedMessage), los cambios del bucket de S3 que no se hayan procesado mediante la importación automática no se importarán a su sistema de archivos. Además, el ciclo de vida de la asociación del repositorio de datos se marca como MISCONFIGURED y la importación automática se detiene. Si tiene habilitada la exportación automática, la exportación automática seguirá monitorizando los cambios en su sistema de archivos de FSx para Lustre. Sin embargo, los cambios adicionales no se sincronizan desde el sistema de archivos de FSx para Lustre a S3.
Para que la asociación de repositorios de datos pase del estado de ciclo de vida MISCONFIGURED al estado de ciclo de vida AVAILABLE, debe actualizar la asociación de repositorios de datos. Puede actualizar su asociación de repositorio de datos mediante el comando de la CLI update-data-repository-association (o la operación API UpdateDataRepositoryAssociation correspondiente). El único parámetro de solicitud que necesita es el AssociationID de la asociación de repositorios de datos que desea actualizar.
Cuando el estado del ciclo de vida de la asociación de repositorios de datos cambie a AVAILABLE, se reiniciará la importación automática (y la exportación automática si está habilitada). Al reiniciarse, la exportación automática reanuda la sincronización de los cambios del sistema de archivos a S3. Para sincronizar los metadatos de los objetos nuevos y modificados de S3 con el sistema de archivos de FSx para Lustre que no se importaron o que proceden de cuando la asociación de repositorios de datos estaba mal configurada, ejecute una tarea de importación de repositorio de datos. Las tareas de importación del repositorio de datos no sincronizan las eliminaciones del bucket de S3 con el sistema de archivos de FSx para Lustre. Si desea sincronizar completamente S3 con su sistema de archivos (incluidas las eliminaciones), debe volver a crear el sistema de archivos.
Para garantizar que los retrasos en la importación de los cambios en los metadatos no superen los 14 días, le recomendamos que configure una alarma en la métrica AgeOfOldestQueuedMessage y reduzca la actividad en su bucket de S3 si la métrica AgeOfOldestQueuedMessage supera el umbral de alarma. En el caso de un sistema de archivos de FSx para Lustre conectado a un bucket de S3 con una sola partición que envíe de forma continua el máximo número de cambios posibles desde S3, con solo la importación automática ejecutándose en el sistema de archivos de FSx para Lustre, la importación automática puede procesar una acumulación de cambios de S3 de 7 horas en un plazo de 14 días.
Además, con una sola acción de S3, puede generar más cambios de los que la importación automática procesará en 14 días. Algunos ejemplos de este tipo de acciones son, entre otros, las subidas de AWS Snowball a S3 y las eliminaciones a gran escala. Si realiza un cambio a gran escala en su bucket de S3 y desea que se sincronice con su sistema de archivos de FSx para Lustre para evitar que los cambios de importación automática superen los 14 días, debe eliminar el sistema de archivos y volver a crearlo una vez que se haya completado el cambio de S3.
Si su métrica AgeOfOldestQueuedMessage está aumentando, revise el bucket de S3 GetRequests, PutRequests, PostRequests y DeleteRequests, y las métricas para ver si hay cambios de actividad que puedan provocar un aumento en la frecuencia o el número de cambios que se envían a la importación automática. Para obtener información sobre las métricas de S3 disponibles, consulte Monitorización de Amazon S3 en la Guía del usuario de Amazon S3.
Para obtener una lista de todas las métricas de FSx para Lustre, consulte Monitoreo de con Amazon CloudWatch.
