메타데이터 성능 관리 - FSx for Lustre

메타데이터 성능 관리

최종 사용자나 애플리케이션을 중단하지 않고도 Amazon FSx 콘솔, Amazon FSx API 또는 AWS Command Line Interface (AWS CLI)를 사용하여 Lustre용 FSx 파일 시스템의 메타데이터 구성을 업데이트할 수 있습니다. 업데이트 절차는 파일 시스템에 대해 프로비저닝된 메타데이터 IOPS 수를 증가시킵니다.

참고

Persistent_2 배포 유형과 메타데이터 구성이 지정된 Lustre용 FSx 파일 시스템에서만 메타데이터 성능을 높일 수 있습니다.

파일 시스템의 향상된 메타데이터 성능은 몇 분 이내에 사용할 수 있습니다. 메타데이터 성능 증가 요청이 최소 6시간 간격으로 이루어지는 한 언제든지 메타데이터 성능을 업데이트할 수 있습니다. 메타데이터 성능을 확장하는 동안 파일 시스템을 몇 분 동안 사용할 수 없을 수 있습니다. 파일 시스템을 사용할 수 없는 동안 클라이언트가 수행한 파일 작업은 메타데이터 성능 확장이 완료된 후 투명하게 재시도되어 결국 성공합니다. 새 메타데이터 성능 증가를 사용할 수 있게 되면 요금이 청구됩니다.

Amazon FSx 콘솔, CLI 및 API를 사용하여 언제든지 메타데이터 성능 향상의 진행 상황을 추적할 수 있습니다. 자세한 내용은 메타데이터 구성 업데이트 모니터링 단원을 참조하십시오.

Lustre 메타데이터 성능 구성

프로비저닝된 메타데이터 IOPS의 수는 파일 시스템에서 지원할 수 있는 최대 메타데이터 작업 속도를 결정합니다.

파일 시스템을 생성할 때 자동 또는 사용자 프로비저닝의 두 메타데이터 구성 모드 중 하나를 선택합니다.

  • 자동 모드에서 Amazon FSx는 파일 시스템 스토리지 용량에 따라 파일 시스템의 메타데이터 IOPS 수를 자동으로 프로비저닝하고 조정합니다.

  • 사용자 프로비저닝 모드에서 파일 시스템에 프로비저닝할 메타데이터 IOPS 수를 지정합니다.

언제든지 자동 모드에서 사용자 프로비저닝 모드로 전환할 수 있습니다. 파일 시스템에 프로비저닝된 메타데이터 IOPS 수가 자동 모드에서 프로비저닝된 메타데이터 IOPS의 기본 수와 일치하는 경우 사용자 프로비저닝에서 자동 모드로 전환할 수도 있습니다.

유효한 메타데이터 IOPS 값은 1500, 3000, 6000, 12000, 배수 12000에서 최대 192000입니다. 각 12000 메타데이터 IOPS 값에는 파일 시스템이 있는 서브넷 내에 하나의 IP 주소가 필요합니다.

자동 모드에서 프로비저닝된 메타데이터 IOPS의 기본 수는 파일 시스템 용량에 따라 달라집니다. 파일 시스템 스토리지 용량에 따라 프로비저닝되는 메타데이터 IOPS의 기본 수에 대한 자세한 내용은 이 표를 참조하세요.

워크로드의 메타데이터 성능이 자동 모드에서 프로비저닝된 메타데이터 IOPS 수를 초과하는 경우 사용자 프로비저닝 모드를 사용하여 파일 시스템의 메타데이터 IOPS 값을 늘릴 수 있습니다.

다음과 같이 파일 시스템의 메타데이터 서버 구성의 현재 값을 볼 수 있습니다.

  • 콘솔 사용 - 파일 시스템 세부 정보 페이지의 요약 패널에서 메타데이터 IOPS 필드에 프로비저닝된 메타데이터 IOPS의 현재 값과 파일 시스템의 현재 메타데이터 구성 모드(자동 또는 사용자 프로비저닝)가 표시됩니다.

  • CLI 또는 API 사용 - describe-file-systems CLI 명령 또는 DescribeFileSystems API 작업을 사용하여 MetadataConfiguration 속성을 찾습니다.

메타데이터 성능 향상 시 고려 사항

메타데이터 성능을 높일 때 고려해야 할 몇 가지 중요한 사항은 다음과 같습니다.

  • 메타데이터 성능 증가만 - 파일 시스템의 메타데이터 IOPS 수만 늘릴 수 있으며 메타데이터 IOPS 수를 줄일 수는 없습니다.

  • 자동 모드에서 메타데이터 IOPS 지정이 지원되지 않음 - 자동 모드에 있는 파일 시스템에서 메타데이터 IOPS 수를 지정할 수 없습니다. 사용자 프로비저닝 모드로 전환한 다음 요청해야 합니다. 자세한 내용은 메타데이터 구성 모드 변경 단원을 참조하십시오.

  • 증가 간격 - 마지막 증가 요청 후 6시간이 경과할 때까지 파일 시스템에서 메타데이터 성능을 추가로 향상시킬 수 없습니다.

  • 동시 메타데이터 성능 및 SSD 스토리지 증가 - 메타데이터 성능 및 파일 시스템 스토리지 용량을 동시에 확장할 수 없습니다.

메타데이터 성능을 높여야 하는 경우

파일 시스템에서 기본적으로 프로비저닝된 것보다 높은 수준의 메타데이터 성능이 필요한 워크로드를 실행해야 하는 경우 메타데이터 IOPS 수를 늘리세요. 파일 시스템에서 사용 중인 프로비저닝된 메타데이터 서버 성능의 백분율을 제공하는 Metadata IOPS Utilization 그래프를 사용하여 AWS Management Console에서 메타데이터 성능을 모니터링할 수 있습니다.

더욱 세분화된 CloudWatch 지표를 사용하여 메타데이터 성능을 모니터링할 수도 있습니다. CloudWatch 지표에는 디스크 IO가 필요한 메타데이터 서버 작업의 볼륨과 파일 및 디렉터리 생성, 통계, 읽기 및 삭제를 포함한 메타데이터 작업에 대한 세분화된 지표를 제공하는 DiskReadOperationsDiskWriteOperations가 포함됩니다. 자세한 내용은 Lustre용 FSx 메타데이터 지표 단원을 참조하십시오.