Lustre Datenkompression

Sie können das Lustre Datenkomprimierungsfunktion zur Erzielung von Kosteneinsparungen bei Ihren leistungsstarken Amazon FSx for Lustre-Dateisystemen und Backup-Speichern. Wenn die Datenkomprimierung aktiviert ist, komprimiert Amazon FSx for Lustre neu geschriebene Dateien automatisch, bevor sie auf die Festplatte geschrieben werden, und dekomprimiert sie automatisch, wenn sie gelesen werden.

Die Datenkomprimierung verwendet den LZ4 Algorithmus, der für ein hohes Maß an Komprimierung optimiert ist, ohne die Leistung des Dateisystems zu beeinträchtigen. LZ4 ist ein Lustre Ein in der Community vertrauenswürdiger und leistungsorientierter Algorithmus, der für ein ausgewogenes Verhältnis zwischen Komprimierungsgeschwindigkeit und komprimierter Dateigröße sorgt. Die Aktivierung der Datenkomprimierung hat in der Regel keine messbaren Auswirkungen auf die Latenz.

Die Datenkomprimierung reduziert die Datenmenge, die zwischen Amazon FSx for Lustre-Dateiservern und Speicher übertragen wird. Wenn Sie noch keine komprimierten Dateiformate verwenden, werden Sie bei Verwendung der Datenkomprimierung einen Anstieg der Gesamtdurchsatzkapazität des Dateisystems feststellen. Erhöhungen der Durchsatzkapazität im Zusammenhang mit der Datenkomprimierung werden begrenzt, wenn Sie Ihre Front-End-Netzwerkschnittstellenkarten voll ausgelastet haben.

Wenn es sich bei Ihrem Dateisystem beispielsweise um einen PERSISTENT-50-SSD-Bereitstellungstyp handelt, hat Ihr Netzwerkdurchsatz einen Basiswert von 250 MBps pro TiB Speicher. Ihr Festplattendurchsatz hat einen Basiswert von 50 MBps pro TiB. Mit der Datenkomprimierung könnte Ihr Festplattendurchsatz von 50 MBps pro TiB auf maximal 250 MBps pro TiB steigen, was der Basisgrenzwert für den Netzwerkdurchsatz ist. Weitere Informationen zu den Netzwerk- und Festplattendurchsatzgrenzen finden Sie in den Leistungstabellen für Dateisysteme unter. Aggregierte Dateisystemleistung Weitere Informationen zur Leistung bei der Datenkomprimierung finden Sie unter Weniger ausgeben und gleichzeitig die Leistung steigern mit Amazon FSx for LustreBeitrag zur Datenkomprimierung im AWS Storage-Blog.

Verwaltung der Datenkomprimierung

Sie können die Datenkomprimierung ein- oder ausschalten, wenn Sie ein neues Amazon FSx for Lustre-Dateisystem erstellen. Die Datenkomprimierung ist standardmäßig deaktiviert, wenn Sie ein Amazon FSx for Lustre-Dateisystem über die Konsole oder API erstellen. AWS CLI

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

Sie können auch die Datenkomprimierungskonfiguration Ihrer vorhandenen Dateisysteme ändern. Wenn Sie die Datenkomprimierung für ein vorhandenes Dateisystem aktivieren, werden nur neu geschriebene Dateien komprimiert und vorhandene Dateien werden nicht komprimiert. Weitere Informationen finden Sie unter Komprimieren zuvor geschriebener Dateien.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

Konfiguration der Datenkomprimierung beim Erstellen eines Dateisystems aus einer Sicherungskopie

Sie können ein verfügbares Backup verwenden, um ein neues Amazon FSx for Lustre-Dateisystem zu erstellen. Wenn Sie aus einer Sicherungskopie ein neues Dateisystem erstellen, müssen Sie das DataCompressionType nicht angeben. Die Einstellung wird anhand der DataCompressionType Backup-Einstellung angewendet. Wenn Sie DataCompressionType bei der Erstellung aus einer Sicherungskopie die angeben, muss der Wert mit der DataCompressionType Einstellung der Sicherung übereinstimmen.

Um die Einstellungen eines Backups einzusehen, wählen Sie es auf der Registerkarte Backups der FSx Amazon-Konsole aus. Die Details des Backups werden auf der Übersichtsseite des Backups aufgeführt. Sie können den describe-backups AWS CLI Befehl auch ausführen (die entsprechende API-Aktion ist DescribeBackups).

Komprimieren zuvor geschriebener Dateien

Dateien sind unkomprimiert, wenn sie erstellt wurden, als die Datenkomprimierung im Amazon FSx for Lustre-Dateisystem ausgeschaltet war. Wenn Sie die Datenkomprimierung aktivieren, werden Ihre vorhandenen unkomprimierten Daten nicht automatisch komprimiert.

Sie können den lfs_migrate Befehl verwenden, der als Teil des Lustre Client-Installation zum Komprimieren vorhandener Dateien. Ein Beispiel finden Sie unter FSxL-Compression, verfügbar unter GitHub.

Dateigrößen anzeigen

Sie können die folgenden Befehle verwenden, um die unkomprimierten und komprimierten Größen Ihrer Dateien und Verzeichnisse anzuzeigen.

Die folgenden Beispiele zeigen die Ausgabe der einzelnen Befehle mit derselben Datei.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

Die -h Option ist für diese Befehle nützlich, da sie Größen in einem für Menschen lesbaren Format ausgibt.

Verwenden von Metriken CloudWatch

Sie können Amazon CloudWatch Logs-Metriken verwenden, um Ihre Dateisystemnutzung einzusehen. Die LogicalDiskUsage Metrik zeigt die gesamte logische Festplattennutzung (ohne Komprimierung), und die PhysicalDiskUsage Metrik zeigt die gesamte physische Festplattennutzung (mit Komprimierung). Diese beiden Messwerte sind nur verfügbar, wenn in Ihrem Dateisystem die Datenkomprimierung aktiviert ist oder sie zuvor aktiviert war.

Sie können das Komprimierungsverhältnis Ihres Dateisystems ermitteln, indem Sie den Wert Sum der LogicalDiskUsage Statistik durch den Wert Sum der PhysicalDiskUsage Statistik dividieren.

Weitere Informationen zur Überwachung der Leistung Ihres Dateisystems finden Sie unter. Überwachung von Amazon FSx for Lustre-Dateisystemen