Kilau kompresi data

Anda dapat menggunakan fitur kompresi Lustre data untuk mencapai penghematan biaya pada sistem file Amazon FSx for Lustre berkinerja tinggi dan penyimpanan cadangan. Ketika kompresi data diaktifkan, Amazon FSx for Lustre secara otomatis mengompres file yang baru ditulis sebelum ditulis ke disk dan secara otomatis membuka kompres ketika dibaca.

Kompresi data menggunakan algoritme LZ4, yang dioptimalkan untuk memberikan tingkat kompresi yang tinggi tanpa memberikan dampak pada performa sistem file. LZ4 adalah algoritma yang Lustre dipercaya komunitas dan berorientasi kinerja yang memberikan keseimbangan antara kecepatan kompresi dan ukuran file terkompresi. Mengaktifkan kompresi data biasanya tidak memiliki dampak terukur pada latensi.

Kompresi data meredam jumlah data yang ditransfer antara server file Amazon FSx for Lustre dan penyimpanan nya. Jika Anda belum menggunakan format file yang terkompresi, Anda akan melihat peningkatan sistem file kapasitas throughput saat menggunakan kompresi data. Peningkatan kapasitas throughput yang terkait dengan kompresi data akan dibatasi setelah Anda telah memenuhi kartu antarmuka jaringan front-end Anda.

Misalnya, jika sistem file Anda adalah tipe penyebaran PERSISTENT-50 SSD, throughput jaringan Anda memiliki baseline 250 MBps per TiB penyimpanan. Throughput disk Anda memiliki baseline 50 MBps per TiB. Dengan kompresi data, throughput disk Anda dapat meningkat dari 50 MBps per TiB hingga maksimum 250 MBps per TiB, yang merupakan batas throughput jaringan dasar. Untuk informasi selengkapnya tentang batas jaringan dan batas diska throughput , lihat tabel performa sistem file di Karakteristik kinerja kelas penyimpanan SSD dan HDD. Untuk informasi selengkapnya tentang kinerja kompresi data, lihat Menghabiskan lebih sedikit sambil meningkatkan kinerja dengan posting kompresi Amazon FSx for Lustre data di Blog AWS Penyimpanan.

Mengelola kompresi data

Anda dapat mengaktifkan atau menonaktifkan kompresi data saat membuat sistem file Amazon FSx for Lustre yang baru. Kompresi data dimatikan secara default saat Anda membuat sistem file Amazon FSx for Lustre dari konsol,, atau API. AWS CLI

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

Anda juga dapat mengubah konfigurasi kompresi data Anda dari sistem file yang sudah ada. Ketika Anda mengaktifkan kompresi data untuk sistem file yang ada, hanya file yang baru ditulis yang akan dikompresi, dan file yang ada tidak dikompresi. Untuk informasi selengkapnya, lihat Mengompresi file yang sebelumnya ditulis.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

Konfigurasi kompresi data saat membuat sistem file dari backup

Anda dapat menggunakan backup yang tersedia untuk membuat Amazon FSx for Lustre baru untuk sistem file Lustre. Ketika Anda membuat sistem file baru dari backup, tidak perlu untuk menentukan DataCompressionType; pengaturan akan diterapkan menggunakan pengaturan DataCompressionType backup. Jika Anda memilih untuk menentukan DataCompressionType saat membuatnya dari backup, nilainya harus sesuai dengan pengaturan DataCompressionType backup.

Untuk melihat pengaturan pada backup, pilih pengaturan dari tab Backup pada konsol Amazon FSx. Detail backup akan tercantum pada halaman Ringkasan untuk backup. Anda juga dapat menjalankan describe-backups AWS CLI perintah (tindakan API yang setara adalah DescribeBackups).

Mengompresi file yang sebelumnya ditulis

File tidak dikompresi jika mereka dibuat ketika kompresi data dimatikan pada sistem file Amazon FSx for Lustre. Mengaktifkan kompresi data tidak akan secara otomatis mengompresi data yang belum terkompresi.

Anda dapat menggunakan lfs_migrate perintah yang diinstal sebagai bagian dari instalasi Lustre klien untuk mengompres file yang ada. Sebagai contoh, lihat FSxL-Compressionmana yang tersedia di GitHub.

Melihat ukuran file

Anda dapat menggunakan perintah berikut untuk melihat ukuran data yang sudah dan belum terkompresi dan direktori Anda.

Contoh berikut menunjukkan output dari setiap perintah dengan file yang sama.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

Pilihan -h berguna untuk perintah ini karena dapat mencetak ukuran dalam format yang dapat dibaca manusia.

Menggunakan CloudWatch metrik

Anda dapat menggunakan metrik Amazon CloudWatch Logs untuk melihat penggunaan sistem file Anda. Metrik LogicalDiskUsage menunjukkan total penggunaan diska logis (tanpa kompresi), dan metrik PhysicalDiskUsage menunjukkan total penggunaan disk fisik (dengan kompresi). Dua metrik ini hanya tersedia jika sistem file Anda meminta kompresi data diaktifkan atau sebelumnya telah diaktifkan.

Anda dapat menentukan rasio kompresi sistem file Anda dengan membagi Sum dari statistik LogicalDiskUsage berdasarkan Sum dari statistik PhysicalDiskUsage.

Untuk informasi selengkapnya tentang cara memantau performa sistem file Anda, lihat Memantau sistem file Amazon FSx for Lustre.