Uso de las tareas del repositorio de datos para exportar los cambios - FSxpara Lustre

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de las tareas del repositorio de datos para exportar los cambios

La tarea de exportación del repositorio de datos exporta los archivos nuevos o modificados en el sistema de archivos. Crea un objeto nuevo en S3 para cualquier archivo nuevo del sistema de archivos. Para cualquier archivo que se haya modificado en el sistema de archivos o cuyos metadatos se hayan modificado, el objeto correspondiente de S3 se sustituye por un objeto nuevo con los nuevos datos y metadatos. No se realiza ninguna acción en relación con los archivos que se han eliminado del sistema de archivos.

nota

Tenga en cuenta las siguientes consideraciones al utilizar las tareas de exportación de repositorios de datos:

  • No se admite el uso de caracteres comodín para incluir o excluir archivos para la exportación.

  • Al realizar mv operaciones, el archivo de destino después de moverlo se exportará a S3 incluso si no se UID produce GID ningún cambio de permiso o contenido.

Utilice los siguientes procedimientos para exportar los cambios de datos y metadatos del sistema de archivos a buckets S3 vinculados mediante la FSx consola de Amazon yCLI. Tenga en cuenta que puede usar una tarea de repositorio de datos para variasDRAs.

  1. Abre la FSx consola de Amazon en https://console.aws.amazon.com/fsx/.

  2. En el panel de navegación, elija File systems y, a continuación, elija su sistema de archivos Lustre.

  3. Elija la pestaña Data repository.

  4. En el panel Data repository associations, elija la asociación de repositorios de datos para la que desea crear la tarea de exportación.

  5. Para Actions, elija Export. Esta opción no está disponible si el sistema de archivos no está vinculado a un repositorio de datos en S3. Aparece el cuadro de diálogo de Create export data repository task.

  6. (Opcional) Especifica hasta 32 directorios o archivos para exportar desde tu sistema de FSx archivos de Amazon proporcionando las rutas a esos directorios o archivos en Rutas del sistema de archivos a exportar. Las rutas que proporcione deben estar en relación con el punto de montaje del sistema de archivos. Si el punto de montaje es /mnt/fsx y /mnt/fsx/path1 es un directorio o un archivo del sistema de archivos que desea exportar, la ruta que debe proporcionarse es path1.

    nota

    Si la ruta que proporciona no es válida, la tarea devuelve un error.

  7. (Opcional) Elija Enable en el Completion report para generar un informe de finalización de la tarea una vez finalizada la tarea. Un task completion report proporciona detalles sobre los archivos procesados por la tarea que cumplen con el alcance indicado en el Report scope. Para especificar la ubicación en la FSx que Amazon entregará el informe, introduce una ruta relativa en el repositorio de datos S3 vinculado al sistema de archivos para la ruta del informe.

  8. Seleccione Crear.

    Una notificación en la parte superior de la página de File systems muestra la tarea que acaba de crear en curso.

Para ver el estado y los detalles de la tarea, desplácese hacia abajo hasta el panel Data Repository Tasks de la pestaña Data Repository del sistema de archivos. El orden predeterminado muestra la tarea más reciente en la parte superior de la lista.

Para ver un resumen de la tarea en esta página, elija el Task ID de la tarea que acaba de crear. Aparece la página de Summary de la tarea.

  • Utilice el create-data-repository-taskCLIcomando para exportar los cambios de datos y metadatos a su sistema de archivos de FSx For Lustre. La API operación correspondiente es CreateDataRepositoryTask.

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type EXPORT_TO_REPOSITORY \
    --paths path1,path2/file1 \
    --report Enabled=true

    Tras crear correctamente la tarea de repositorio de datos, Amazon FSx devuelve la descripción de la tarea tal JSON y como se muestra en el siguiente ejemplo.

    {
    "Task": {
        "TaskId": "task-123f8cd8e330c1321",
        "Type": "EXPORT_TO_REPOSITORY",
        "Lifecycle": "PENDING",
        "FileSystemId": "fs-0123456789abcdef0",
        "Paths": ["path1", "path2/file1"],
        "Report": {
            "Path":"s3://dataset-01/reports",
            "Format":"REPORT_CSV_20191124",
            "Enabled":true,
            "Scope":"FAILED_FILES_ONLY"
        },
        "CreationTime": "1545070680.120",
        "ClientRequestToken": "10192019-drt-12",
        "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
    }
}

Después de crear la tarea para exportar datos al repositorio de datos vinculado, puede comprobar el estado de la tarea de exportación de datos. Para obtener más información sobre cómo ver las tareas del repositorio de datos, consulte Acceder a las tareas del repositorio de datos.