Lustre compresión de datos

Puede utilizar el Lustre función de compresión de datos para ahorrar costes en sus sistemas de archivos y almacenamiento de copias de seguridad de alto rendimiento de Amazon FSx for Lustre. Cuando la compresión de datos está habilitada, Amazon FSx for Lustre comprime automáticamente los archivos recién escritos antes de que se escriban en el disco y los descomprime automáticamente cuando se leen.

La compresión de datos utiliza el LZ4 algoritmo, que está optimizado para ofrecer altos niveles de compresión sin afectar negativamente al rendimiento del sistema de archivos. LZ4 es un Lustre Un algoritmo orientado al rendimiento y de confianza de la comunidad que proporciona un equilibrio entre la velocidad de compresión y el tamaño del archivo comprimido. Habilitar la compresión de datos no suele tener un impacto apreciable en la latencia.

La compresión de datos reduce la cantidad de datos que se transfieren entre los servidores de archivos y el almacenamiento de Amazon FSx for Lustre. Si aún no utiliza formatos de archivo comprimidos, verá un aumento en la capacidad de rendimiento general del sistema de archivos al utilizar la compresión de datos. Los aumentos de la capacidad de rendimiento relacionados con la compresión de datos se limitarán una vez que se hayan saturado las tarjetas de interfaz de red front-end.

Por ejemplo, si su sistema de archivos es un tipo de implementación de SSD PERSISTENT-50, el rendimiento de la red tiene una base de 250 por MBps TiB de almacenamiento. El rendimiento del disco tiene una base de 50 MBps por TiB. Con la compresión de datos, el rendimiento del disco podría aumentar de 50 MBps por TiB a un máximo de 250 MBps por TiB, que es el límite de rendimiento de la red de referencia. Para obtener más información sobre los límites de rendimiento de la red y el disco, consulte las tablas de rendimiento del sistema de archivos en Rendimiento agregado del sistema de archivos. Para obtener más información sobre el rendimiento de la compresión de datos, consulte Gaste menos y aumente el rendimiento con Amazon FSx for Lustrepublicación sobre compresión de datos en el blog sobre AWS almacenamiento.

Administración de la compresión de datos

Puede activar o desactivar la compresión de datos al crear un nuevo sistema de archivos Amazon FSx for Lustre. La compresión de datos está desactivada de forma predeterminada al crear un sistema de archivos de Amazon FSx for Lustre desde la consola o la API. AWS CLI

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

También puede cambiar la configuración de compresión de datos de sus sistemas de archivos existentes. Al activar la compresión de datos en un sistema de archivos existente, solo se comprimen los archivos recién escritos y no se comprimen los existentes. Para obtener más información, consulte Comprimir archivos escritos anteriormente.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

Configuración de la compresión de datos al crear un sistema de archivos a partir de una copia de seguridad

Puede utilizar una copia de seguridad disponible para crear un nuevo sistema de archivos Amazon FSx for Lustre. Al crear un nuevo sistema de archivos a partir de una copia de seguridad, no es necesario especificar el DataCompressionType; la configuración se aplicará utilizando la configuración DataCompressionType de la copia de seguridad. Si decide especificar el DataCompressionType al crear desde copia de seguridad, el valor debe coincidir con la configuración del DataCompressionType de la copia de seguridad.

Para ver la configuración de una copia de seguridad, selecciónela en la pestaña Backups de la FSx consola de Amazon. Los detalles de la copia de seguridad aparecerán en la página Resumen de la copia de seguridad. También puedes ejecutar el describe-backups AWS CLI comando (la acción equivalente de la API es DescribeBackups).

Comprimir archivos escritos anteriormente

Los archivos no se comprimen si se crearon cuando la compresión de datos estaba desactivada en el sistema de archivos Amazon FSx for Lustre. Activar la compresión de datos no comprimirá automáticamente los datos existentes sin comprimir.

Puede utilizar el lfs_migrate comando que está instalado como parte del Lustre instalación del cliente para comprimir los archivos existentes. Para ver un ejemplo, consulte FSxL-Compression, que está disponible en GitHub.

Visualización del tamaño de los archivos

Puede utilizar los siguientes comandos para ver los tamaños sin comprimir y comprimidos de sus archivos y directorios.

Los siguientes ejemplos muestran la salida de cada comando con el mismo archivo.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

La opción -h es útil para estos comandos porque imprime los tamaños en un formato legible para las personas.

Uso de métricas CloudWatch

Puedes usar las métricas de Amazon CloudWatch Logs para ver el uso del sistema de archivos. La métrica LogicalDiskUsage muestra el uso total del disco lógico (sin compresión) y la métrica PhysicalDiskUsage muestra el uso total del disco físico (con compresión). Estas dos métricas solo están disponibles si el sistema de archivos tiene habilitada la compresión de datos o si la tenía habilitada anteriormente.

Puede determinar la relación de compresión de su sistema de archivos dividiendo el Sum de la estadística LogicalDiskUsage entre el Sum de la estadística PhysicalDiskUsage.

Para obtener más información sobre la supervisión del rendimiento del sistema de archivos, consulte Supervisión de los sistemas de archivos Amazon FSx para Lustre.