Compressione dei dati Lustre

Puoi utilizzare la funzionalità di compressione dei dati Lustre per ottenere risparmi sui costi sui tuoi file system Amazon FSx for Lustre ad alte prestazioni e sullo storage di backup. Quando la compressione dei dati è abilitata, Amazon FSx for Lustre comprime automaticamente i file appena scritti prima che vengano scritti su disco e li decomprime automaticamente quando vengono letti.

La compressione dei dati utilizza l'LZ4algoritmo, ottimizzato per fornire alti livelli di compressione senza influire negativamente sulle prestazioni del file system. LZ4è un algoritmo Lustre affidabile dalla comunità e orientato alle prestazioni che fornisce un equilibrio tra velocità di compressione e dimensione del file compresso. L'abilitazione della compressione dei dati in genere non ha un impatto misurabile sulla latenza.

La compressione dei dati riduce la quantità di dati trasferiti tra i file server e lo storage Amazon FSx for Lustre. Se non utilizzi già formati di file compressi, noterai un aumento della capacità di trasmissione complessiva del file system quando utilizzi la compressione dei dati. Gli aumenti della capacità di trasmissione correlati alla compressione dei dati verranno limitati dopo la saturazione delle schede di interfaccia di rete front-end.

Ad esempio, se il file system è di tipo di SSD implementazione PERSISTENT -50, il throughput di rete ha una linea di base di 250 MB/s per TiB di storage. La velocità effettiva del disco ha una linea di base di 50 MB/s per TiB. Con la compressione dei dati, la velocità effettiva del disco potrebbe aumentare da 50 MB/s per TiB a un massimo di 250 MB/s per TiB, che è il limite di throughput di rete di base. Per ulteriori informazioni sui limiti di velocità effettiva della rete e del disco, consulta le tabelle delle prestazioni del file system in. Prestazioni aggregate del file system Per ulteriori informazioni sulle prestazioni di compressione dei dati, consulta il post Spendi meno aumentando le prestazioni con Amazon FSx for Lustre sulla compressione dei dati sullo AWS Storage Blog.

Gestione della compressione dei dati

Puoi attivare o disattivare la compressione dei dati quando crei un nuovo file system Amazon FSx for Lustre. La compressione dei dati è disattivata per impostazione predefinita quando crei un file system Amazon FSx for Lustre dalla console AWS CLI, oppureAPI.

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

Puoi anche modificare la configurazione di compressione dei dati dei tuoi file system esistenti. Quando si attiva la compressione dei dati per un file system esistente, vengono compressi solo i file appena scritti, mentre i file esistenti non vengono compressi. Per ulteriori informazioni, consulta Compressione di file scritti in precedenza.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

Configurazione della compressione dei dati durante la creazione di un file system dal backup

Puoi utilizzare un backup disponibile per creare un nuovo file system Amazon FSx for Lustre. Quando crei un nuovo file system dal backup, non è necessario specificare ilDataCompressionType; l'impostazione verrà applicata utilizzando l'DataCompressionTypeimpostazione del backup. Se si sceglie di specificare DataCompressionType quando si crea da backup, il valore deve corrispondere all'DataCompressionTypeimpostazione del backup.

Per visualizzare le impostazioni di un backup, selezionalo dalla scheda Backup della FSx console Amazon. I dettagli del backup verranno elencati nella pagina di riepilogo relativa al backup. È anche possibile eseguire il describe-backups AWS CLI comando (l'APIazione equivalente è DescribeBackups).

Compressione di file scritti in precedenza

I file non sono compressi se sono stati creati quando la compressione dei dati è stata disattivata sul file system Amazon FSx for Lustre. L'attivazione della compressione dei dati non comprimerà automaticamente i dati non compressi esistenti.

È possibile utilizzare il lfs_migrate comando installato come parte dell'installazione del client Lustre per comprimere i file esistenti. Per un esempio, vedi FSxL-Compression, disponibile su. GitHub

Visualizzazione delle dimensioni dei file

È possibile utilizzare i seguenti comandi per visualizzare le dimensioni non compresse e compresse dei file e delle directory.

Gli esempi seguenti mostrano l'output di ogni comando con lo stesso file.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

L'-hopzione è utile per questi comandi perché stampa le dimensioni in un formato leggibile dall'uomo.

Utilizzo delle metriche CloudWatch

Puoi utilizzare CloudWatch i parametri di Amazon Logs per visualizzare l'utilizzo del tuo file system. La LogicalDiskUsage metrica mostra l'utilizzo totale del disco logico (senza compressione) e la PhysicalDiskUsage metrica mostra l'utilizzo totale del disco fisico (con compressione). Queste due metriche sono disponibili solo se il file system ha abilitato la compressione dei dati o l'ha abilitata in precedenza.

È possibile determinare il rapporto di compressione del file system dividendo la Sum LogicalDiskUsage statistica per la Sum statistica. PhysicalDiskUsage

Per ulteriori informazioni sul monitoraggio delle prestazioni del file system, consulta. Monitoraggio dei file system Amazon FSx for Lustre