Lustre 資料壓縮

您可以使用Lustre資料壓縮功能，在高效能 Amazon FSx for Lustre 檔案系統和備份儲存上節省成本。啟用資料壓縮時，Amazon FSx for Lustre 會在新寫入的檔案寫入磁碟之前自動壓縮，並在讀取時自動解壓縮。

資料壓縮使用 LZ4 演算法，此演算法經過最佳化，可提供高層級的壓縮，而不會對檔案系統效能造成負面影響。LZ4 是一種Lustre社群信任和效能導向演算法，可在壓縮速度和壓縮檔案大小之間取得平衡。啟用資料壓縮通常不會對延遲產生可測量的影響。

資料壓縮可減少 Amazon FSx for Lustre 檔案伺服器和儲存體之間傳輸的資料量。如果您尚未使用壓縮檔案格式，則使用資料壓縮時，整體檔案系統輸送量容量會增加。與資料壓縮相關的傳輸量容量增加，會在您飽和前端網路介面卡後達到上限。

例如，如果您的檔案系統是 PERSISTENT-50 SSD 部署類型，您的網路輸送量的基準是每 TiB 儲存 250 MBps。您的磁碟輸送量的基準為每 TiB 50 MBps。透過資料壓縮，您的磁碟輸送量可能會從每個 TiB 的 50 MBps 增加到每個 TiB 的 250 MBps，這是基準網路輸送量限制。如需網路和磁碟輸送量限制的詳細資訊，請參閱中的檔案系統效能資料表彙總檔案系統效能。如需資料壓縮效能的詳細資訊，請參閱 AWS 儲存部落格上的使用Amazon FSx for Lustre資料壓縮文章來增加效能的同時減少花費。

管理資料壓縮

您可以在建立新的 Amazon FSx for Lustre 檔案系統時開啟或關閉資料壓縮。當您從主控台或 API 建立 Amazon FSx for Lustre 檔案系統時 AWS CLI，資料壓縮預設為關閉。

在 https://console.aws.amazon.com/fsx/：// 開啟 Amazon FSx 主控台。
請遵循入門一節步驟 1：建立 FSx for Lustre 檔案系統中所述建立新檔案系統的程序。
在檔案系統詳細資訊區段中，針對資料壓縮類型，選擇 LZ4。
完成精靈，就像您在建立新檔案系統時一樣。
選擇 Review and create (檢閱和建立)。
檢閱您為 Amazon FSx for Lustre 檔案系統選擇的設定，然後選擇建立檔案系統。

當檔案系統可用時，資料壓縮會開啟。

若要在資料壓縮開啟的情況下建立 FSx for Lustre 檔案系統，請使用 Amazon FSx CLI 命令create-file-system搭配 DataCompressionType 參數，如下所示。對應的 API 操作是 CreateFileSystem。


$ aws fsx create-file-system \
      --client-request-token CRT1234 \
      --file-system-type LUSTRE \
      --file-system-type-version 2.12 \
      --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \
      --storage-capacity 3600 \
      --subnet-ids subnet-123456 \
      --tags Key=Name,Value=Lustre-TEST-1 \
      --region us-east-2

成功建立檔案系統後，Amazon FSx 會將檔案系統描述傳回為 JSON，如下列範例所示。


{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

您也可以變更現有檔案系統的資料壓縮組態。當您開啟現有檔案系統的資料壓縮時，只會壓縮新寫入的檔案，而不會壓縮現有檔案。如需詳細資訊，請參閱壓縮先前寫入的檔案。

在 https://console.aws.amazon.com/fsx/：// 開啟 Amazon FSx 主控台。
導覽至檔案系統，然後選擇您要管理資料壓縮Lustre的檔案系統。
針對動作，選擇更新資料壓縮類型。
在更新資料壓縮類型對話方塊中，選擇 LZ4 以開啟資料壓縮，或選擇 NONE 以將其關閉。
選擇更新。
您可以在更新索引標籤中的檔案系統詳細資訊頁面上監控更新進度。

若要更新現有 FSx for Lustre 檔案系統的資料壓縮組態，請使用 AWS CLI 命令 update-file-system。設定下列參數：

將 --file-system-id設定為您要更新之檔案系統的 ID。
--lustre-configuration DataCompressionType 設定為 NONE 關閉資料壓縮或使用 LZ4 演算法LZ4開啟資料壓縮。

此命令指定使用 LZ4 演算法開啟資料壓縮。


$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

從備份建立檔案系統時的資料壓縮組態

您可以使用可用的備份來建立新的 Amazon FSx for Lustre 檔案系統。當您從備份建立新檔案系統時，不需要指定 DataCompressionType；系統會使用備份的設定套用DataCompressionType設定。如果您選擇在從備份建立DataCompressionType時指定，則值必須符合備份DataCompressionType的設定。

若要檢視備份上的設定，請從 Amazon FSx 主控台的備份索引標籤中選擇。備份的詳細資訊會列在備份的摘要頁面上。您也可以執行 describe-backups AWS CLI 命令（同等 API 動作為 DescribeBackups)。

壓縮先前寫入的檔案

如果在 Amazon FSx for Lustre 檔案系統上關閉資料壓縮時建立檔案，則不會壓縮檔案。開啟資料壓縮不會自動壓縮您現有的未壓縮資料。

您可以使用安裝在Lustre用戶端安裝一部分的 lfs_migrate命令來壓縮現有的檔案。如需範例，請參閱 GitHub 上提供的 FSxL-Compression。

檢視檔案大小

您可以使用下列命令來檢視檔案和目錄的未壓縮和壓縮大小。

du 會顯示壓縮的大小。
du --apparent-size 會顯示未壓縮的大小。
ls -l 會顯示未壓縮的大小。

下列範例顯示具有相同檔案的每個命令的輸出。


$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

-h 選項對於這些命令很有用，因為它會以人類可讀取的格式列印大小。

使用 CloudWatch 指標

您可以使用 Amazon CloudWatch Logs 指標來檢視您的檔案系統用量。LogicalDiskUsage 指標會顯示邏輯磁碟用量總計（未壓縮），指標會顯示實體磁碟用量總計 PhysicalDiskUsage （有壓縮）。只有當您的檔案系統已啟用或先前已啟用資料壓縮時，這兩個指標才能使用。

您可以透過將統計資料Sum的除以 LogicalDiskUsage SumPhysicalDiskUsage統計資料，來判斷檔案系統的壓縮率。

如需監控檔案系統效能的詳細資訊，請參閱監控 Amazon FSx for Lustre 檔案系統。

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

監控輸送量容量變更

根壁