Lustre データ圧縮

Lustre データ圧縮機能を使用すると、高性能な Amazon FSx for Lustre ファイルシステムおよびバックアップストレージのコスト削減を実現できます。データ圧縮を有効にすると、Amazon FSx for Lustre は新しく書き込まれたファイルをディスクに書き込む前に自動的に圧縮し、読み取り時に自動的に解凍します。

データ圧縮は LZ4 アルゴリズムを使用します。LZ4 アルゴリズムは、ファイルシステムのパフォーマンスに悪影響を及ぼすことなく、高レベルの圧縮を実現するように最適化されています。LZ4 は、圧縮速度と圧縮ファイルサイズのバランスをとり、Lustre コミュニティに信頼されているパフォーマンス指向のアルゴリズムです。通常、データ圧縮を有効にしても、レイテンシーに対して測定可能な影響は生じません。

データ圧縮は、Amazon FSx for Lustre ファイルサーバーとストレージ間で転送されるデータの量を減らします。圧縮ファイル形式をまだ使用していない場合は、データ圧縮を使用するときにファイルシステム全体のスループット容量が増加します。データ圧縮に関連するスループット容量の増加は、フロントエンドネットワークのインターフェイスカードを飽和させた後に制限されます。

例えば、ファイルシステムが PERSISTENT-50 SSD デプロイタイプの場合、ネットワークスループットのベースラインはストレージの TiB あたり 250 MB / 秒です。ディスクスループットのベースラインは、TiB あたり 50 MB / 秒です。データ圧縮を使用すると、ディスクスループットが TiB あたり50 MB / 秒から、ベースラインネットワークスループット制限である TiB あたり最大 250 MB / 秒に増加する可能性があります。ネットワークおよびディスクのスループット制限の詳細については、「ファイルシステムのパフォーマンスの集計」の「ファイルシステムのパフォーマンス表」を参照してください。データ圧縮パフォーマンスの詳細については、AWS ストレージブログの「Spend less while increasing performance with Amazon FSx for Lustre data compression」(Amazon FSx for Lustreデータ圧縮を使用してパフォーマンスを向上させながらコストを削減する) を参照してください。

データ圧縮を管理する

新しい Amazon FSx for Lustre ファイルシステムを作成するときに、データ圧縮を有効または無効にすることができます。コンソール、または API から Amazon FSx for Lustre ファイルシステムを作成すると AWS CLI、データ圧縮はデフォルトでオフになります。

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

既存のファイルシステムのデータ圧縮設定を変更することもできます。既存のファイルシステムに対してデータ圧縮をオンにすると、新しく書き込まれたファイルのみが圧縮され、既存のファイルは圧縮されません。詳細については、「以前に書き込まれたファイルの圧縮」を参照してください。

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

バックアップからファイルシステムを作成するときのデータ圧縮設定

使用可能なバックアップを使用して、新しい Amazon FSx for Lustre ファイルシステムを作成できます。バックアップから新しいファイルシステムを作成する場合、DataCompressionType を指定する必要はありません。設定は、バックアップの DataCompressionType 設定を使用して適用されます。バックアップから作成するときに DataCompressionType を指定する場合、値はバックアップの DataCompressionType 設定と一致する必要があります。

バックアップの設定を表示するには、Amazon FSx コンソールの [Backups] (バックアップ) タブを選択します。バックアップの詳細は、バックアップの [Summary] (概要) ページに表示されます。describe-backups AWS CLI コマンドを実行することもできます (同等の API アクションは ですDescribeBackups）。

以前に書き込まれたファイルの圧縮

Amazon FSx for Lustre ファイルシステムでデータ圧縮が無効になったときに作成されたファイルは、圧縮解除されます。データ圧縮を有効にしても、既存の非圧縮データは自動的に圧縮されません。

Lustre クライアントインストールの一部としてインストールされる lfs_migrate コマンドを使用して、既存のファイルを圧縮することができます。例については、「 で利用可能な FSxL -Compression」を参照してください GitHub。

ファイルサイズの表示

次のコマンドを使用して、ファイルとディレクトリの非圧縮サイズと圧縮サイズを表示できます。

次の例では、同じファイルでの各コマンドの出力を示します。

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

-h オプションは、人間が読める形式でサイズを出力するため、コマンドに役立ちます。

CloudWatch メトリクスの使用

Amazon CloudWatch Logs メトリクスを使用して、ファイルシステムの使用状況を表示できます。LogicalDiskUsage メトリクスは、論理的なディスクの総使用量 (圧縮なし) を示し、PhysicalDiskUsage メトリクスは、物理ディスクの総使用量 (圧縮あり) を示します。これら 2 つのメトリクスは、ファイルシステムでデータ圧縮が有効になっているか、以前に有効にしていた場合にのみ使用できます。

LogicalDiskUsage 統計の Sum を PhysicalDiskUsage 統計の Sum で割ることにより、ファイルシステムの圧縮率を決定できます。メトリクス演算を使用してこの比率を計算する方法については、「メトリクス数学: データ圧縮率」を参照してください。

ファイルシステムのパフォーマンスのモニタリングの詳細については、「Amazon FSx for Lustre のモニタリング」を参照してください。