Trabajar con tipos de implementación antiguos - FSx para Lustre

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Trabajar con tipos de implementación antiguos

Esta sección se aplica a los sistemas de archivos con tipo de implementación Scratch 1, y también a los sistemas de archivos con tipos de implementación Scratch 2 o Persistent 1 que no utilizan asociaciones de repositorios de datos.

Al crear un sistema de archivos Amazon FSx for Lustre, puede vincularlo a un repositorio de datos duradero en Amazon S3. Antes de crear su sistema de archivos, asegúrese de que ya haya creado el bucket de Amazon S3 al que va a realizar el enlace. En el asistente Crear sistema de archivos, se establecen las siguientes propiedades de configuración del repositorio de datos en el panel opcional Importar/Exportar repositorio de datos.

  • Elige cómo Amazon FSx mantiene actualizada tu lista de archivos y directorios a medida que añades o modificas objetos en tu bucket de S3 una vez creado el sistema de archivos. Para obtener más información, consulte Importar automáticamente actualizaciones desde un bucket de S3.

  • Importar bucket:: ingrese el nombre del bucket de S3 que está utilizando para el repositorio vinculado.

  • Prefijo de importación: introduzca un prefijo de importación opcional si desea importar solo algunos listados de datos de archivos y directorios de su bucket de S3 a su sistema de archivos. El prefijo de importación define desde qué lugar del bucket de S3 se van a importar los datos.

  • Prefijo de exportación: define dónde FSx exporta Amazon el contenido de tu sistema de archivos al bucket de S3 vinculado.

Puede tener un mapeo 1:1 en el que Amazon FSx exporte los datos de su sistema de archivos FSx for Lustre a los mismos directorios del bucket de S3 desde el que se importaron. Para tener una asignación 1:1, especifique una ruta de exportación al bucket de S3 sin prefijos cuando cree su sistema de archivos.

  • Al crear un sistema de archivos mediante la consola, elija la opción Exportar prefijo > El prefijo que especifique y deje el campo del prefijo en blanco.

  • Al crear un sistema de archivos mediante la AWS CLI o la API, especifique la ruta de exportación como el nombre del bucket de S3 sin prefijos adicionales, por ejemplo,ExportPath=s3://amzn-s3-demo-bucket/.

Utilizando este método, puede incluir un prefijo de importación cuando especifique la ruta de importación, y no afecta a una asignación 1:1 para las exportaciones.

Creación de sistemas de archivos vinculados a un bucket de S3

Los siguientes procedimientos le guiarán por el proceso de creación de un sistema de FSx archivos de Amazon vinculado a un bucket de S3 mediante la consola de AWS administración y la interfaz de línea de AWS comandos (AWS CLI).

Console
  1. Abre la FSx consola de Amazon en https://console.aws.amazon.com/fsx/.

  2. En el panel, elija Crear sistema de archivos.

  3. Para el tipo de sistema de archivos, selecciona FSx Lustre y, a continuación, selecciona Siguiente.

  4. Proporcione la información necesaria para las secciones Información del sistema de archivos y Red y seguridad. Para obtener más información, consulte Paso 1: Cree su sistema de FSx archivos para Lustre.

  5. Utilice el panel de Importación/Exportación de repositorios de datos para configurar un repositorio de datos vinculados en Amazon S3. Seleccione Importar datos y exportar datos a S3 para ampliar la sección Importación/Exportación del repositorio de datos y configurar los ajustes del repositorio de datos.

    Panel de importación y exportación de repositorios de datos para configurar un repositorio de datos vinculados en Amazon S3.
  6. Elige cómo Amazon FSx mantiene actualizada tu lista de archivos y directorios a medida que añades o modificas objetos en tu bucket de S3. Al crear el sistema de archivos, los objetos de S3 existentes aparecen como descripciones de archivos y directorios.

    • Actualizar mi lista de archivos y directorios a medida que se añaden objetos a mi bucket de S3: (predeterminado) Amazon actualiza FSx automáticamente las listas de archivos y directorios de cualquier objeto nuevo que se añada al bucket de S3 vinculado y que no exista actualmente en el sistema de FSx archivos. Amazon FSx no actualiza los listados de objetos que han cambiado en el bucket de S3. Amazon FSx no elimina las listas de objetos que se eliminan en el bucket de S3.

      nota

      La configuración predeterminada de las preferencias de importación para importar datos de un bucket de S3 vinculado mediante la CLI y la API es NONE. La configuración predeterminada de las preferencias de importación cuando se utiliza la consola es actualizar Lustre a medida que se añaden nuevos objetos al bucket de S3.

    • Actualizar mi lista de archivos y directorios a medida que se añaden o modifican objetos en mi bucket de S3: Amazon actualiza FSx automáticamente las listas de archivos y directorios de cualquier objeto nuevo que se añada al bucket de S3 y de cualquier objeto existente que se modifique en el bucket de S3 después de seleccionar esta opción. Amazon FSx no elimina las listas de objetos que se eliminan en el bucket de S3.

    • Actualizar mi lista de archivos y directorios a medida que se añaden, modifican o eliminan objetos de mi bucket de S3: Amazon actualiza FSx automáticamente las listas de archivos y directorios de cualquier objeto nuevo que se añada al bucket de S3, de cualquier objeto existente que se modifique en el bucket de S3 y de cualquier objeto existente que se elimine en el bucket de S3 después de seleccionar esta opción.

    • No actualice mis archivos ni mi lista directamente cuando añada, modifique o elimine objetos de mi bucket de S3: Amazon FSx solo actualiza las listas de archivos y directorios del bucket de S3 vinculado cuando se crea el sistema de archivos. FSx no actualiza las listas de archivos y directorios de ningún objeto nuevo, modificado o eliminado después de seleccionar esta opción.

  7. Introduzca un prefijo de importación opcional si desea importar solo algunos de los listados de archivos y directorios de datos de su bucket de S3 en el sistema de archivos. El prefijo de importación define desde qué lugar del bucket de S3 se van a importar los datos. Para obtener más información, consulte Importe automáticamente actualizaciones desde un bucket de S3.

  8. Elija una de las opciones de Prefijo de exportación disponibles:

    • Un prefijo exclusivo que Amazon FSx crea en tu bucket: elige esta opción para exportar objetos nuevos y modificados con un prefijo generado por FSx for Lustre. El resultado es similar al siguiente: /FSxLustrefile-system-creation- timestamp. La marca temporal está en formato UTC. Por ejemplo FSxLustre20181105T222312Z.

    • El mismo prefijo del que importó (sustituya los objetos existentes por los actualizados): seleccione esta opción para reemplazar los objetos existentes por otros actualizados.

    • Un prefijo que especifique: elija esta opción para conservar los datos importados y exportar los objetos nuevos y modificados con el prefijo que especifique. Para lograr un mapeo 1:1 al exportar datos a su bucket de S3, elija esta opción y deje el campo del prefijo en blanco. FSx exportará los datos a los mismos directorios desde los que se importaron.

  9. (Opcional) Establezca las Preferencias de mantenimiento o utilice los valores predeterminados del sistema.

  10. Elija Siguiente y revise la configuración. Realice los cambios necesarios.

  11. Seleccione Crear sistema de archivos.

AWS CLI

El siguiente ejemplo crea un sistema de FSx archivos de Amazon vinculado alamzn-s3-demo-bucket, con una preferencia de importación que importa cualquier archivo nuevo, modificado o eliminado del repositorio de datos vinculado una vez creado el sistema de archivos.

nota

La configuración predeterminada de las preferencias de importación para importar datos de un bucket de S3 vinculado mediante la CLI y la API es NONE, que es diferente del comportamiento predeterminado cuando se utiliza la consola.

Para crear un sistema de archivos FSx para Lustre, utilice el comando Amazon FSx CLI create-file-system, tal y como se muestra a continuación. La operación de API correspondiente es CreateFileSystem.

$ aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.10 \ --lustre-configuration AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s 3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export, PerUnitStorageThroughput=50 \ --storage-capacity 2400 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2

Tras crear correctamente el sistema de archivos, Amazon FSx devuelve la descripción del sistema de archivos en formato JSON, como se muestra en el siguiente ejemplo.

{ "FileSystems": [ { "OwnerId": "owner-id-string", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "FileSystemTypeVersion": "2.10", "Lifecycle": "CREATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "PERSISTENT_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 }, "PerUnitStorageThroughput": 50 } } ] }

Visualización de la ruta de exportación de un sistema de archivos

Puede ver la ruta de exportación de un sistema de archivos mediante la consola FSx for Lustre, la AWS CLI y la API.

Console
  1. Abre la FSx consola de Amazon en https://console.aws.amazon.com/fsx/

  2. Elija el nombre del sistema de archivos o el ID del sistema de archivos FSx para el sistema de archivos de Lustre cuya ruta de exportación desee ver.

    Aparecerá la página de detalles del sistema de archivos correspondiente.

  3. Elija la pestaña Repositorio de datos.

    Aparece el panel de Integración del repositorio de datos que muestra las rutas de importación y exportación.

Las rutas de importación y exportación del repositorio de datos en el panel de integración del repositorio de datos.
CLI

Para determinar la ruta de exportación del sistema de archivos, utilice el comando describe-file-systems AWS CLI.

aws fsx describe-file-systems

Busque la propiedad ExportPath en LustreConfiguration en la respuesta.

{ "OwnerId": "111122223333", "CreationTime": 1563382847.014, "FileSystemId": "", "FileSystemType": "LUSTRE", "Lifecycle": "AVAILABLE", "StorageCapacity": 2400, "VpcId": "vpc-6296a00a", "SubnetIds": [ "subnet-1111111" ], "NetworkInterfaceIds": [ "eni-0c288d5b8cc06c82d", "eni-0f38b702442c6918c" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre System" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": " NEW_CHANGED_DELETED", "Lifecycle": "AVAILABLE", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z", "ImportedFileChunkSize": 1024 } }, "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "6:09:30" }

Estado del ciclo de vida del repositorio de datos

El estado del ciclo de vida del repositorio de datos proporciona información de estado sobre el repositorio de datos vinculado del sistema de archivos. Un repositorio de datos puede tener los siguientes estados de ciclo de vida.

  • Creación: Amazon FSx está creando la configuración del repositorio de datos entre el sistema de archivos y el repositorio de datos vinculado. El repositorio de datos no está disponible.

  • Disponible: El repositorio de datos está disponible para su uso.

  • Actualizando: La configuración del repositorio de datos está siendo objeto de una actualización iniciada por el cliente que podría afectar a su disponibilidad.

  • Configuración incorrecta: Amazon FSx no puede importar automáticamente las actualizaciones del bucket de S3 hasta que se corrija la configuración del repositorio de datos. Para obtener más información, consulte Resolución de problemas de un bucket de S3 vinculado mal configurado.

Puede ver el estado del ciclo de vida del repositorio de datos vinculado de un sistema de archivos mediante la FSx consola de Amazon, la interfaz de línea de AWS comandos y la FSx API de Amazon. En la FSx consola de Amazon, puede acceder al estado del ciclo de vida del repositorio de datos en el panel Integración del repositorio de datos de la pestaña Repositorio de datos del sistema de archivos. La propiedad Lifecycle se encuentra en el objeto DataRepositoryConfiguration en la respuesta a un comando de CLI describe-file-systems (la acción de API equivalente es DescribeFileSystems).

Importar automáticamente actualizaciones desde un bucket de S3

De forma predeterminada, al crear un nuevo sistema de archivos, Amazon FSx importa los metadatos del archivo (el nombre, la propiedad, la marca de tiempo y los permisos) de los objetos del depósito de S3 vinculado en el momento de la creación del sistema de archivos. Puede configurar su sistema de archivos de Lustre FSx para que importe automáticamente los metadatos de los objetos que se añadan, modifiquen o eliminen de su depósito de S3 tras la creación del sistema de archivos. FSx for Lustre actualiza la lista de archivos y directorios de un objeto modificado tras su creación, del mismo modo que importa los metadatos del archivo al crear el sistema de archivos. Cuando Amazon FSx actualiza la lista de archivos y directorios de un objeto modificado, si el objeto modificado del bucket de S3 ya no contiene sus metadatos, Amazon FSx mantiene los valores de metadatos actuales del archivo, en lugar de utilizar los permisos predeterminados.

nota

La configuración de importación está disponible en FSx los sistemas de archivos Lustre creados después de las 15:00 EDT del 23 de julio de 2020.

Puede establecer las preferencias de importación al crear un nuevo sistema de archivos y actualizar la configuración en los sistemas de archivos existentes mediante la consola de FSx administración, la AWS CLI y la AWS API. Al crear el sistema de archivos, los objetos de S3 existentes aparecen como descripciones de archivos y directorios. Después de crear su sistema de archivos, ¿cómo desea actualizarlo a medida que se actualiza el contenido de su bucket de S3? Un sistema de archivos puede tener una de las siguientes preferencias de importación:

nota

El sistema FSx de archivos de Lustre y su depósito de S3 vinculado deben estar ubicados en la misma AWS región para poder importar automáticamente las actualizaciones.

  • Actualizar mi lista de archivos y directorios a medida que se añaden objetos a mi bucket de S3: (predeterminado) Amazon actualiza FSx automáticamente las listas de archivos y directorios de cualquier objeto nuevo que se añada al bucket de S3 vinculado y que no exista actualmente en el sistema de FSx archivos. Amazon FSx no actualiza los listados de objetos que han cambiado en el bucket de S3. Amazon FSx no elimina las listas de objetos que se eliminan en el bucket de S3.

    nota

    La configuración predeterminada de las preferencias de importación para importar datos de un bucket de S3 vinculado mediante la CLI y la API es NONE. La configuración predeterminada de las preferencias de importación cuando se utiliza la consola es actualizar Lustre a medida que se añaden nuevos objetos al bucket de S3.

  • Actualizar mi lista de archivos y directorios a medida que se añaden o modifican objetos en mi bucket de S3: Amazon actualiza FSx automáticamente las listas de archivos y directorios de cualquier objeto nuevo que se añada al bucket de S3 y de cualquier objeto existente que se modifique en el bucket de S3 después de seleccionar esta opción. Amazon FSx no elimina las listas de objetos que se eliminan en el bucket de S3.

  • Actualizar mi lista de archivos y directorios a medida que se añaden, modifican o eliminan objetos de mi bucket de S3: Amazon actualiza FSx automáticamente las listas de archivos y directorios de cualquier objeto nuevo que se añada al bucket de S3, de cualquier objeto existente que se modifique en el bucket de S3 y de cualquier objeto existente que se elimine en el bucket de S3 después de seleccionar esta opción.

  • No actualice mis archivos ni mi lista directamente cuando añada, modifique o elimine objetos de mi bucket de S3: Amazon FSx solo actualiza las listas de archivos y directorios del bucket de S3 vinculado cuando se crea el sistema de archivos. FSx no actualiza las listas de archivos y directorios de ningún objeto nuevo, modificado o eliminado después de seleccionar esta opción.

Al configurar las preferencias de importación para actualizar los listados de archivos y directorios del sistema de archivos en función de los cambios en el bucket de S3 vinculado, Amazon FSx crea una configuración de notificación de eventos en el bucket de S3 vinculado denominadoFSx. No modifique ni elimine la configuración de notificación de eventos FSx en el bucket de S3, ya que esto impide la importación automática de listados de archivos y directorios nuevos o modificados a su sistema de archivos.

Cuando Amazon FSx actualiza una lista de archivos que ha cambiado en el bucket de S3 vinculado, sobrescribe el archivo local con la versión actualizada, incluso si el archivo tiene la escritura bloqueada. Del mismo modo, cuando Amazon FSx actualiza una lista de archivos cuando se ha eliminado el objeto correspondiente en el bucket de S3 vinculado, elimina el archivo local, incluso si el archivo está bloqueado por escritura.

Amazon FSx hace todo lo posible por actualizar tu sistema de archivos. Amazon FSx no puede actualizar el sistema de archivos con cambios en las siguientes situaciones:

  • Cuando Amazon FSx no tiene permiso para abrir el objeto S3 nuevo o modificado.

  • Cuando se elimina o modifica la configuración de notificación de eventos FSx en el bucket S3 vinculado.

Cualquiera de estas condiciones provoca que el estado del ciclo de vida del repositorio de datos se convierta en Mal configurado. Para obtener más información, consulte Estado del ciclo de vida del repositorio de datos.

Requisitos previos

Se requieren las siguientes condiciones para FSx que Amazon importe automáticamente los archivos nuevos, modificados o eliminados del bucket de S3 vinculado:

  • El sistema de archivos y su bucket S3 vinculado deben estar ubicados en la misma Región AWS .

  • El bucket S3 no tiene un estado de ciclo de vida mal configurado. Para obtener más información, consulte Estado del ciclo de vida del repositorio de datos.

  • Su cuenta debe tener los permisos necesarios para configurar y recibir notificaciones de eventos en el bucket de S3 vinculado.

Tipos de cambios de archivos compatibles

Amazon FSx admite la importación de los siguientes cambios en los archivos y carpetas que se producen en el bucket de S3 vinculado:

  • Cambios en el contenido de los archivos

  • Cambios en los metadatos de archivos o carpetas

  • Cambios en el destino o los metadatos del enlace simbólico

Actualización de las preferencias de importación

Puede configurar las preferencias de importación de un sistema de archivos al crear un nuevo sistema de archivos. Para obtener más información, consulte Vincular el sistema de archivos a un bucket de Amazon S3.

También puede actualizar las preferencias de importación de un sistema de archivos después de crearlo mediante la consola de AWS administración, la AWS CLI y la FSx API de Amazon, como se muestra en el siguiente procedimiento.

Console
  1. Abre la FSx consola de Amazon en https://console.aws.amazon.com/fsx/.

  2. En el panel, elija Sistemas de archivos.

  3. Seleccione el sistema de archivos que desee gestionar para ver los detalles del sistema de archivos.

  4. Elija Repositorio de datos para ver la configuración del repositorio de datos. Puede modificar las preferencias de importación si el estado del ciclo de vida es DISPONIBLE o MAL CONFIGURADO. Para obtener más información, consulte Estado del ciclo de vida del repositorio de datos.

  5. Seleccione Acciones y, a continuación, elija Actualizar preferencias de importación para mostrar el cuadro de diálogo Actualizar preferencias de importación.

  6. Seleccione la nueva configuración y, a continuación, elija Actualizar para realizar el cambio.

CLI

Para actualizar las preferencias de importación, utilice el comando CLI update-file-system. La operación de API correspondiente es UpdateFileSystem.

Tras actualizar correctamente el sistema de archivosAutoImportPolicy, Amazon FSx devuelve la descripción del sistema de archivos actualizado en formato JSON, tal y como se muestra a continuación:

{ "FileSystems": [ { "OwnerId": "111122223333", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "Lifecycle": "UPDATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 } "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "2:04:30" } } ] }