使用光澤儲存配額 - FSx 適用於 Lustre

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用光澤儲存配額

您可以在 FSx 上為 Lustre 檔案系統建立使用者、群組和專案的儲存配額。透過儲存配額,您可以限制使用者、群組或專案可以使用的磁碟空間量和檔案數量。儲存配額會自動追蹤使用者層級、群組層級和專案層級的使用情況,因此無論您是否選擇設定儲存限制,都可以監控使用量。

Amazon FSx 會強制執行配額,並防止超過配額的使用者寫入儲存空間。當使用者超出其配額時,必須刪除足夠的檔案才能超過配額限制,以便他們可以再次寫入檔案系統。

配額執行

所有 Lustre 檔案系統的 FSx 都會自動啟用使用者、群組和專案配額強制執行。您無法停用配額強制。

配額類型

具有 AWS 帳號 root 使用者認證的系統管理員可以建立下列配額類型:

  • 使用者配額會套用至個別使用者。特定使用者的使用者配額可能與其他使用者的配額不同。

  • 組配額適用於屬於特定群組成員的所有使用者。

  • 專案配額會套用至與專案關聯的所有檔案或目錄。專案可以包含多個目錄或位於檔案系統內不同目錄中的個別檔案。

    注意

    只有 Lustre 檔案系統的 FSx for Lustre 上的 Lustre 2.15 版本才支援專案配額。

  • 區塊配額會限制使用者、群組或專案可消耗的磁碟空間量。您可以設定儲存區大小 (以 KB 為單位)。

  • inode 配額限制了用戶,組或項目可以創建的文件或目錄的數量。您可以將 inode 的最大數目設定為整數。

注意

不支援預設配額。

如果您為特定使用者和群組設定配額,且該使用者是該群組的成員,則該使用者的資料使用量會套用至這兩個配額。它也受到兩個配額的限制。如果達到任一配額限制,則會阻止使用者寫入檔案系統。

注意

系統不會強制為 root 使用者設定的配額。同樣地,使用sudo指令以 root 使用者身分寫入資料會略過配額的強制執行。

配額限制和寬限期

Amazon FSx 將使用者、群組和專案配額強制執行為硬限制或具有可設定寬限期的軟限制。

硬性限制是絕對極限。如果使用者超出其硬性限制,則區塊或 inode 配置會失敗,並顯示超出磁碟配額訊息。達到配額硬性限制的使用者必須先刪除足夠的檔案或目錄,才能再次寫入檔案系統。設定寬限期後,如果超過硬性限制,使用者可以在寬限期內超過軟限制。

對於軟性限制,您可以設定寬限期 (以秒為單位)。軟限制必須小於硬性限制。

您可以為 inode 和區塊配額設定不同的寬限期。您也可以為使用者配額、群組配額和專案配額設定不同的寬限期。當使用者、群組和專案配額有不同的寬限期時,軟限制會在上述任何配額的寬限期過後轉換為硬限制。

當使用者超過軟限制時,Amazon FSx 允許他們繼續超過其配額,直到寬限期過去或達到硬性限制為止。寬限期結束後,軟限制會轉換為硬性限制,而且使用者會遭到封鎖,直到其儲存使用量回到低於定義的區塊配額或 inode 配額限制為止。寬限期開始時,使用者不會收到通知或警告。

設定和檢視配額

您可以使用 Linux 終端機中的 Lustre 檔案系統lfs指令來設定儲存配額。命lfs setquota令會設定配額限制,lfs quota命令會顯示配額資訊。

如需有關 Lustre 配額指令的詳細資訊,請參閱 Lustre 文件網站上的《Lustre 操作手冊》

設定使用者、群組和專案配額

設定使用者、群組或專案配額的setquota命令語法如下。

lfs setquota {-u|--user|-g|--group|-p|--project} username|groupname|projectid [-b block_softlimit] [-B block_hardlimit] [-i inode_softlimit] [-I inode_hardlimit] /mount_point

其中:

  • -u--user指定要設定配額的使用者。

  • -g--group指定要設定配額的群組。

  • -p--project指定要設定配額的專案。

  • -b設定具有軟限制的區塊配額。 -B設定具有硬性限制的區塊配額。區塊軟限制和區塊硬限制都以千位元組表示,最小值為 1024 KB。

  • -i設置一個帶有軟限制的 inode 配額。 -I設置一個帶有硬性限制的 inode 配額。這兩個 inode_softlimitinode_硬限制在節點的數量表示,並且最小值是 1024 節點。

  • mount_point 是檔案系統所掛載的目錄。

使用者配額範例:下列命令會user1在掛載至的檔案系統上設定 5,000 KB 軟性區塊限制、8,000 KB 硬式區塊限制、2,000 個軟性節點限制,以及 3,000 個硬式 inode 限制配額。/mnt/fsx

sudo lfs setquota -u user1 -b 5000 -B 8000 -i 2000 -I 3000 /mnt/fsx

群組配額範例:下列命令會為掛接至的檔案系統group1上命名的群組設定 100,000 KB 的硬式區塊限制/mnt/fsx

sudo lfs setquota -g group1 -B 100000 /mnt/fsx

項目配額示例:首先確保您已使用該project命令將所需的文件和目錄與項目相關聯。例如,以下命令將目錄的所有文件和子目/mnt/fsxfs/dir1錄與其項目 ID 為的項目相關聯。100

sudo lfs project -p 100 -r -s /mnt/fsxfs/dir1

然後使用setquota指令來設定專案配額。下列命令會設定 307,200 KB 軟體區塊限制、309,200 KB 的硬式區塊限制、10,000 個軟體節點限制,以及 11,000 個硬體節點限制,以及掛載至的檔案系統上的專案的 11,000 個硬體節點限制。250 /mnt/fsx

sudo lfs setquota -p 250 -b 307200 -B 309200 -i 10000 -I 11000 /mnt/fsx

設定寬限期

預設寬限期為一週。您可以使用下列語法調整使用者、群組或專案的預設寬限期。

lfs setquota -t {-u|-g|-p} [-b block_grace] [-i inode_grace] /mount_point

其中:

  • -t表示將設定寬限期。

  • -u為所有使用者設定寬限期。

  • -g為所有群組設定寬限期。

  • -p為所有專案設定寬限期。

  • -b設定區塊配額的寬限期。 -i設定 inode 配額的寬限期。區塊寬限和 inode_grace 都以整數秒或格式表示。XXwXXdXXhXXmXXs

  • mount_point 是檔案系統所掛載的目錄。

下列命令會為使用者區塊配額設定 1,000 秒的寬限期,而使用者 inode 配額則為 1 週和 4 天。

sudo lfs setquota -t -u -b 1000 -i 1w4d /mnt/fsx

檢視配額

此命quota令會顯示使用者配額、群組配額、專案配額和寬限期的相關資訊。

檢視配額命令 顯示的配額資訊

lfs quota /mount_point

執行命令之使用者及使用者主要群組的一般配額資訊 (磁碟使用量和限制)。

lfs quota -u username /mount_point

特定使用者的一般配額資訊。擁有 AWS 帳戶根使用者認證的使用者可以為任何使用者執行此命令,但非 root 使用者無法執行此命令來取得其他使用者的配額資訊。

lfs quota -u username -v /mount_point

特定使用者的一般配額資訊,以及每個物件儲存目標 (OST) 和中繼資料目標 (MDT) 的詳細配額統計資料。擁有 AWS 帳戶根使用者認證的使用者可以為任何使用者執行此命令,但非 root 使用者無法執行此命令來取得其他使用者的配額資訊。

lfs quota -g groupname /mount_point

特定群組的一般配額資訊。

lfs quota -p projectid /mount_point

特定專案的一般配額資訊。

lfs quota -t -u /mount_point

用戶配額的阻止和 inode 寬限時間。

lfs quota -t -g /mount_point

群組配額的封鎖和 inode 寬限時間。

lfs quota -t -p /mount_point

項目配額的阻止和 inode 寬限時間。

配額和 Amazon S3 連結儲存貯體

您可以將 FSx for Lustre 檔案系統連結至 Amazon S3 資料儲存庫。如需詳細資訊,請參閱 將檔案系統連結至 Amazon S3 儲存貯體

您可以選擇性地在連結的 S3 儲存貯體中選擇特定資料夾或首碼,作為檔案系統的匯入路徑。指定 Amazon S3 中的資料夾並從 S3 匯入檔案系統時,只有該資料夾中的資料會套用至配額。整個值區的資料不會計入配額限制。

連結 S3 儲存貯體中的檔案中繼資料會匯入資料夾,其結構與從 Amazon S3 匯入的資料夾相符。這些文件計入擁有文件的用戶和組的 inode 配額。

當使用者執行hsm_restore或延遲載入檔案時,檔案的完整大小會計入與檔案擁有者相關聯的區塊配額。例如,如果用戶 A 延遲加載用戶 B 擁有的文件,則存儲量和 inode 使用量計入用戶 B 的配額。同樣地,當使用者使用 Amazon FSx API 釋出檔案時,資料會從擁有該檔案的使用者或群組的區塊配額中釋放出來。

由於 HSM 還原和延遲載入是透過根存取權執行,因此會略過配額強制執行。匯入資料後,資料會根據 S3 中設定的擁有權計入使用者或群組,這可能會導致使用者或群組超出其區塊限制。如果發生這種情況,他們將需要釋放文件才能再次寫入文件系統。

同樣地,啟用自動匯入的檔案系統也會自動為新增至 S3 的物件建立新的 inode。這些新的 inode 是使用 root 訪問權限創建的,並在創建時繞過配額強制執行。根據 S3 中物件的擁有者,這些新的 inode 會計入使用者和群組。如果這些使用者和群組根據自動匯入活動超出其 inode 配額,則必須刪除檔案,才能釋放額外容量並低於其配額限制。

配額與還原備份

當您還原備份時,原始檔案系統的配額設定會在還原的檔案系統中實作。例如,如果檔案系統 A 中設定了配額,而檔案系統 B 是從檔案系統 A 的備份建立的,則檔案系統 B 中會強制執行檔案系統 A 的配額。