Lustre 데이터 압축

Lustre 데이터 압축 기능을 사용하면 고성능 Amazon FSx for Lustre 파일 시스템 및 백업 스토리지에서 비용을 절감할 수 있습니다. 데이터 압축이 활성화되면 Amazon FSx for Lustre는 새로 작성된 파일을 디스크에 쓰기 전에 자동으로 압축하고, 읽을 때 자동으로 압축을 해제합니다.

데이터 압축은 파일 시스템 성능에 부정적인 영향을 주지 않으면서 높은 수준의 압축을 제공하도록 최적화된 LZ4 알고리즘을 사용합니다. LZ4는 커뮤니티에서 신뢰하는 성능 지향적인 Lustre 알고리즘으로, 압축 속도와 압축된 파일 크기 사이의 균형을 제공합니다. 일반적으로 데이터 압축을 활성화해도 지연 시간에 측정 가능한 영향을 미치지는 않습니다.

데이터 압축은 Amazon FSx for Lustre 파일 서버와 스토리지 간에 전송되는 데이터의 양을 줄입니다. 아직 압축된 파일 형식을 사용하고 있지 않은 경우, 데이터 압축을 사용하면 전체 파일 시스템 처리량 용량이 증가하는 것을 확인할 수 있습니다. 데이터 압축과 관련된 처리량 용량 증가는 프런트 엔드 네트워크 인터페이스 카드를 가득 채운 후에 제한됩니다.

예를 들어 파일 시스템이 PERSISTENT-50 SSD 배포 유형인 경우 네트워크 처리량의 기준은 스토리지 TiB당 250MBps입니다. 디스크 처리량의 기준은 TiB당 50MBps입니다. 데이터 압축을 사용하면 디스크 처리량이 TiB당 50MBps에서 기준 네트워크 처리량 한도인 TiB당 최대 250MBps로 증가할 수 있습니다. 네트워크 및 디스크 처리량 제한에 대한 자세한 내용은 파일 시스템 성능 총계의 파일 시스템 성능 표를 참조하세요. 데이터 압축 성능에 대한 자세한 내용은 AWS 스토리지 블로그의 Amazon FSx for Lustre 데이터 압축으로 성능은 높이면서 비용 절감하기 게시물을 참조하세요.

데이터 압축 관리

Amazon FSx for Lustre 파일 시스템을 생성할 때 데이터 압축을 켜거나 끌 수 있습니다. 콘솔 AWS CLI또는 API에서 Amazon FSx for Lustre 파일 시스템을 생성하면 데이터 압축이 기본적으로 꺼집니다.

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

기존 파일 시스템의 데이터 압축 구성을 변경할 수도 있습니다. 기존 파일 시스템의 데이터 압축을 켜면 새로 작성된 파일만 압축되고 기존 파일은 압축되지 않습니다. 자세한 내용은 이전에 작성한 파일 압축 섹션을 참조하세요.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

백업에서 파일 시스템을 생성할 때의 데이터 압축 구성

사용 가능한 백업을 사용하여 새로운 Amazon FSx for Lustre 파일 시스템을 생성할 수 있습니다. 백업에서 새 파일 시스템을 생성할 때는 백업의 DataCompressionType 설정을 사용하여 설정이 적용되므로 DataCompressionType을 지정할 필요가 없습니다. 백업에서 생성할 때 DataCompressionType을 지정하도록 선택한 경우 값이 백업 DataCompressionType 설정과 일치해야 합니다.

백업에 대한 설정을 보려면 Amazon FSx 콘솔의 백업 탭에서 해당 설정을 선택합니다. 백업의 세부 정보는 백업의 요약 페이지에 나열됩니다. describe-backups AWS CLI 명령을 실행할 수도 있습니다(동등한 API 작업은 ). DescribeBackups

이전에 작성한 파일 압축

Amazon FSx for Lustre 파일 시스템에서 데이터 압축이 해제되었을 때 생성된 파일은 압축되지 않습니다. 데이터 압축을 켜도 기존의 압축되지 않은 데이터는 자동으로 압축되지 않습니다.

Lustre 클라이언트 설치의 일부로 설치된 lfs_migrate 명령을 사용하여 기존 파일을 압축할 수 있습니다. 예를 들어 GitHub에서 사용할 수 있는 FSxL 압축을 참조하세요.

파일 크기 보기

다음 명령을 사용하여 파일 및 디렉터리의 압축되지 않은 크기 및 압축된 크기를 볼 수 있습니다.

다음 예제는 동일한 파일이 있는 각 명령의 출력을 보여줍니다.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

이 -h 옵션은 사람이 읽을 수 있는 형식으로 크기를 인쇄하므로 이러한 명령에 유용합니다.

CloudWatch 지표 사용

Amazon CloudWatch Logs 지표를 사용하여 파일 시스템 사용량을 확인할 수 있습니다. LogicalDiskUsage 지표는 총 논리적 디스크 사용량(압축 제외)을 PhysicalDiskUsage 지표는 총 물리적 디스크 사용량(압축 포함)을 보여줍니다. 이 두 지표는 파일 시스템에서 데이터 압축을 활성화했거나 이전에 활성화한 경우에만 사용할 수 있습니다.

LogicalDiskUsage 통계의 Sum을 PhysicalDiskUsage 통계의 Sum으로 나누어 파일 시스템의 압축률을 확인할 수 있습니다.

파일 시스템의 성능 모니터링에 대한 자세한 내용은 Amazon FSx for Lustre 파일 시스템 모니터링 섹션을 참조하세요.