Lustre 스토리지 할당량 사용 - FSx Lustre용

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Lustre 스토리지 할당량 사용

FSx for Lustre 파일 시스템에서 사용자, 그룹 및 프로젝트에 대한 스토리지 할당량을 생성할 수 있습니다. 스토리지 할당량을 사용하면 사용자, 그룹 또는 프로젝트가 사용할 수 있는 디스크 공간과 파일 수를 제한할 수 있습니다. 스토리지 할당량은 사용자 수준, 그룹 수준, 프로젝트 수준 사용량을 자동으로 추적하므로 스토리지 한도 설정 여부와 관계없이 사용량을 모니터링할 수 있습니다.

Amazon FSx는 할당량을 적용하고 할당량을 초과한 사용자가 스토리지 공간에 더 저장할 수 없도록 합니다. 사용자가 할당량을 초과할 경우 할당량 한도 미만까지 충분한 파일을 삭제해야 파일 시스템에 다시 저장할 수 있습니다.

할당량 적용

사용자, 그룹 및 프로젝트 할당량 적용은 모든 FSx for Lustre 파일 시스템에서 자동으로 활성화됩니다. 할당량 적용을 비활성화할 수 없습니다.

할당량 유형

AWS 계정 루트 사용자 자격 증명이 있는 시스템 관리자는 다음과 같은 유형의 할당량을 생성할 수 있습니다.

  • 사용자 할당량은 개별 사용자에게 적용됩니다. 특정 사용자의 사용자 할당량은 다른 사용자의 할당량과 다를 수 있습니다.

  • 그룹 할당량은 특정 그룹의 구성원인 모든 사용자에게 적용됩니다.

  • 프로젝트 할당량은 프로젝트와 관련된 모든 파일 또는 디렉터리에 적용됩니다. 프로젝트에는 파일 시스템 내의 다른 디렉터리에 있는 다수의 디렉터리 또는 개별 파일이 포함될 수 있습니다.

    참고

    프로젝트 할당량은 FSx for Lustre 파일 시스템의 Lustre 버전 2.15에서만 지원됩니다.

  • 블록 할당량은 사용자, 그룹 또는 프로젝트가 사용할 수 있는 디스크 공간을 제한합니다. 스토리지 크기를 킬로바이트 단위로 구성합니다.

  • inode 할당량은 사용자, 그룹 또는 프로젝트가 만들 수 있는 파일 또는 디렉터리 수를 제한합니다. 최대 inode 수를 정수로 구성합니다.

참고

기본 할당량은 지원되지 않습니다.

특정 사용자 및 그룹에 할당량을 설정하고 사용자가 해당 그룹의 구성원인 경우 사용자의 데이터 사용량은 두 할당량 모두에 적용됩니다. 또한 두 할당량 모두에 의해 제한됩니다. 할당량 한도 중 하나에 도달하면 사용자는 파일 시스템에 더 이상 저장할 수 없습니다.

참고

루트 사용자에 대해 설정된 할당량은 적용되지 않습니다. 마찬가지로 sudo 명령을 사용하여 루트 사용자로 데이터를 쓰면 할당량 적용을 우회할 수 있습니다.

할당량 제한 및 유예 기간

Amazon FSx는 사용자, 그룹 및 프로젝트 할당량에 엄격한 한도를 적용하거나 구성 가능한 유예 기간이 있는 완화된 한도를 적용합니다.

엄격한 한도는 절대 한도입니다. 사용자가 엄격한 한도를 초과하면 디스크 할당량 초과 메시지와 함께 블록 또는 inode 할당에 실패합니다. 엄격한 할당량 제한에 도달한 사용자는 할당량 한도 미만이 될 만큼 충분한 파일이나 디렉터리를 삭제해야 파일 시스템에 다시 저장할 수 있습니다. 유예 기간을 설정한 경우 사용자가 유예 기간 내에 엄격한 한도 이하까지는 유예 기간 내에 완화된 한도를 초과할 수 있습니다.

완화된 한도의 경우 유예 기간을 초 단위로 구성합니다. 완화된 한도는 엄격한 한도보다 작아야 합니다.

inode와 블록 할당량에 대해 서로 다른 유예 기간을 설정할 수 있습니다. 사용자 할당량, 그룹 할당량, 프로젝트 할당량에 대해 서로 다른 유예 기간을 설정할 수도 있습니다. 사용자, 그룹 및 프로젝트 할당량의 유예 기간이 서로 다른 경우 이러한 할당량의 유예 기간이 경과하면 완화된 한도가 엄격한 한도로 전환됩니다.

사용자가 완화된 한도를 초과하는 경우 Amazon FSx는 유예 기간이 경과하거나 엄격한 한도에 도달할 때까지 계속해서 할당량을 초과할 수 있도록 허용합니다. 유예 기간이 끝나면 완화된 한도가 엄격한 한도로 전환되고 스토리지 사용량이 정의된 블록 할당량 또는 inode 할당량 한도 아래로 돌아올 때까지 사용자는 추가 쓰기 작업을 할 수 없습니다. 유예 기간이 시작되어도 사용자는 알림이나 경고를 받지 않습니다.

할당량 설정 및 보기

Linux 터미널에서 Lustre 파일 시스템 lfs 명령을 사용하여 스토리지 할당량을 설정합니다. lfs setquota 명령은 할당량 제한을 설정하고 lfs quota 명령은 할당량 정보를 표시합니다.

Lustre 할당량 명령에 대한 자세한 내용은 Lustre 설명서 웹 사이트Lustre 운영 매뉴얼을 참조하세요.

사용자, 그룹, 프로젝트 할당량 설정

사용자, 그룹 또는 프로젝트 할당량을 설정하는 setquota 명령 구문은 다음과 같습니다.

lfs setquota {-u|--user|-g|--group|-p|--project} username|groupname|projectid [-b block_softlimit] [-B block_hardlimit] [-i inode_softlimit] [-I inode_hardlimit] /mount_point

위치:

  • -u 또는 --user 할당량을 설정할 사용자를 지정합니다.

  • -g 또는 --group 할당량을 설정할 그룹을 지정합니다.

  • -p 또는 --project 할당량을 설정할 프로젝트를 지정합니다.

  • -b 코드는 완화된 한도로 블록 할당량을 설정합니다. -B는 엄격한 한도로 블록 할당량을 설정합니다. block_softlimitblock_hardlimit는 모두 킬로바이트로 표시되며 최소값은 1024KB입니다.

  • -i 코드는 완화된 한도로 inode 할당량을 설정합니다. -I는 엄격한 한도로 inode 할당량을 설정합니다. inode_softlimitinode_hardlimit는 모두 inode 수로 표시되며 최소값은 1024개의 inode입니다.

  • mount_point는 파일 시스템이 마운트된 디렉터리입니다.

사용자 할당량 예제: 다음 명령은 /mnt/fsx에 마운트된 파일 시스템의 user1에 대해 5,000KB 완화된 블록 제한, 8,000KB 엄격한 블록 제한, 2,000 완화된 inode 제한 및 3,000개의 엄격한 inode 제한 할당량을 설정합니다.

sudo lfs setquota -u user1 -b 5000 -B 8000 -i 2000 -I 3000 /mnt/fsx

그룹 할당량 예제: 다음 명령은 /mnt/fsx에 마운트된 파일 시스템에 이름이 지정된 group1 그룹에 대해 100,000KB의 엄격한 블록 제한을 설정합니다.

sudo lfs setquota -g group1 -B 100000 /mnt/fsx

프로젝트 할당량 예제: 먼저 project 명령을 사용하여 원하는 파일 및 디렉터리를 프로젝트에 연결했는지 확인합니다. 예를 들어 다음 명령은 /mnt/fsxfs/dir1 디렉터리의 모든 파일 및 하위 디렉터리를 프로젝트 ID가 100인 프로젝트와 연결합니다.

sudo lfs project -p 100 -r -s /mnt/fsxfs/dir1

그런 다음 setquota 명령어를 사용하여 프로젝트 할당량을 설정합니다. 다음 명령은 /mnt/fsx에 마운트된 파일 시스템의 250 프로젝트에 대해 307,200KB 완화된 블록 제한, 309,200KB 엄격한 블록 제한, 10,000개의 완화된 inode 제한 및 11,000개의 엄격한 inode 제한 할당량을 설정합니다.

sudo lfs setquota -p 250 -b 307200 -B 309200 -i 10000 -I 11000 /mnt/fsx

유예 기간 설정

기본 유예 기간은 1주일입니다. 다음 구문을 사용하여 사용자, 그룹 또는 프로젝트의 기본 유예 기간을 조정할 수 있습니다.

lfs setquota -t {-u|-g|-p} [-b block_grace] [-i inode_grace] /mount_point

위치:

  • -t 유예 기간이 설정됨을 나타냅니다.

  • -u 모든 사용자에게 유예 기간을 설정합니다.

  • -g 모든 그룹에 유예 기간을 설정합니다.

  • -p 모든 프로젝트에 유예 기간을 설정합니다.

  • -b 블록 할당량의 유예 기간을 설정합니다. -i inode 할당량의 유예 기간을 설정합니다. block_graceinode_grace는 모두 정수(초) 또는 XXwXXdXXhXXmXXs 형식으로 표현됩니다.

  • mount_point는 파일 시스템이 마운트된 디렉터리입니다.

다음 명령은 사용자 블록 할당량의 유예 기간을 1,000초, 사용자 inode 할당량의 경우 1주 4일로 설정합니다.

sudo lfs setquota -t -u -b 1000 -i 1w4d /mnt/fsx

할당량 보기

quota 명령은 사용자 할당량, 그룹 할당량, 프로젝트 할당량, 유예 기간에 대한 정보를 표시합니다.

할당량 명령 보기 할당량 정보 표시

lfs quota /mount_point

명령을 실행하는 사용자 및 사용자의 주 그룹에 대한 일반 할당량 정보(디스크 사용량 및 한도)

lfs quota -u username /mount_point

특정 사용자에 대한 일반 할당량 정보. AWS 계정 루트 사용자 자격 증명이 있는 사용자는 모든 사용자에 대해 이 명령을 실행할 수 있지만 루트가 아닌 사용자는 이 명령을 실행하여 다른 사용자에 대한 할당량 정보를 가져올 수 없습니다.

lfs quota -u username -v /mount_point

특정 사용자에 대한 일반 할당량 정보와 각 OST(오브젝트 스토리지 대상) 및 메타데이터 대상(MDT)에 대한 세부 할당량 통계. AWS 계정 루트 사용자 자격 증명이 있는 사용자는 모든 사용자에 대해 이 명령을 실행할 수 있지만 루트가 아닌 사용자는 이 명령을 실행하여 다른 사용자에 대한 할당량 정보를 가져올 수 없습니다.

lfs quota -g groupname /mount_point

특정 그룹의 일반 할당량 정보.

lfs quota -p projectid /mount_point

특정 프로젝트의 일반 할당량 정보.

lfs quota -t -u /mount_point

사용자 할당량의 블록 및 inode 유예 시간

lfs quota -t -g /mount_point

그룹 할당량의 블록 및 inode 유예 시간

lfs quota -t -p /mount_point

프로젝트 할당량의 블록 및 inode 유예 시간

할당량 및 Amazon S3 연결 버킷

FSx for Lustre 파일 시스템을 Amazon S3 데이터 리포지토리에 연결할 수 있습니다. 자세한 내용은 파일 시스템을 Amazon S3 버킷에 연결 섹션을 참조하세요.

연결된 S3 버킷 내의 특정 폴더나 접두사를 파일 시스템의 가져오기 경로로 선택할 수도 있습니다. Amazon S3의 폴더를 지정하고 S3에서 파일 시스템으로 가져오면 해당 폴더의 데이터만 할당량에 적용됩니다. 전체 버킷의 데이터는 할당량 한도에 포함되지 않습니다.

연결된 S3 버킷의 파일 메타데이터는 Amazon S3에서 가져온 폴더와 구조가 일치하는 폴더로 가져옵니다. 이러한 파일은 파일을 소유한 사용자 및 그룹의 inode 할당량에 포함됩니다.

사용자가 파일을 hsm_restore 또는 지연 로드를 수행하면 파일의 전체 크기가 파일 소유자와 관련된 블록 할당량에 포함됩니다. 예를 들어 사용자 A가 사용자 B가 소유한 파일을 지연 로드하면 스토리지와 inode 사용량이 사용자 B의 할당량에 포함됩니다. 마찬가지로, 사용자가 Amazon FSx API를 사용하여 파일을 릴리스하면 파일을 소유한 사용자 또는 그룹의 블록 할당량에서 데이터가 비워집니다.

HSM 복원 및 지연 로딩은 루트 액세스를 통해 수행되므로 할당량 적용을 우회합니다. 데이터를 가져오면 S3에 설정된 소유권을 기준으로 사용자 또는 그룹에 포함되므로 사용자 또는 그룹이 블록 한도를 초과할 수 있습니다. 이 경우 파일 시스템에 다시 쓸 수 있도록 파일을 비워야 합니다.

마찬가지로, 자동 가져오기가 활성화된 파일 시스템은 S3에 추가된 객체에 대해 새 inode를 자동으로 생성합니다. 이러한 새 inode는 루트 액세스 권한으로 생성되며 생성되는 동안 할당량 적용을 우회합니다. 이러한 새 inode는 S3에서 객체를 소유한 사람을 기준으로 사용자와 그룹에 포함됩니다. 해당 사용자와 그룹이 자동 가져오기 활동에 따른 inode 할당량을 초과할 경우, 추가 용량을 확보하고 할당량 한도 미만으로 확보하기 위해 파일을 삭제해야 합니다.

할당량 및 백업 복원

백업을 복원하면 원래 파일 시스템의 할당량 설정이 복원된 파일 시스템에 구현됩니다. 예를 들어 파일 시스템 A에 할당량이 설정되어 있고 파일 시스템 A의 백업에서 파일 시스템 B가 생성되면 파일 시스템 A의 할당량이 파일 시스템 B에 적용됩니다.