데이터 중복 제거 문제 해결 - Amazon FSx for Windows File Server
데이터 중복 제거 작동하지 않음중복 제거 값이 예기치 않게 0으로 설정됨파일을 삭제한 후 파일 시스템의 여유 공간이 확보되지 않음

데이터 중복 제거 문제 해결

다음 정보를 사용하여 데이터 중복 제거를 구성하고 사용할 때 몇 가지 일반적인 문제를 해결할 수 있습니다.

데이터 중복 제거 작동하지 않음

데이터 중복 제거의 현재 상태를 보려면 Get-FSxDedupStatus PowerShell 명령을 실행하여 가장 최근 중복 제거 작업의 완료 상태를 확인합니다. 하나 이상의 작업이 실패하는 경우, 파일 시스템에서 사용 가능한 스토리지 용량이 증가하지 않을 수 있습니다.

데이터 중복 제거 작업이 실패하는 가장 일반적인 이유는 메모리가 부족하기 때문입니다.

  • Microsoft는 논리적 데이터 1TB당 1GB의 메모리(또는 논리적 데이터 1TB당 최소 350MB)를 사용하는 것을 권장합니다. Amazon FSx 성능 테이블을 사용하여 파일 시스템의 처리량 용량 관련 메모리를 확인해 메모리 리소스가 데이터 크기에 충분하도록 합니다. 그렇지 않은 경우 논리 데이터 1TB당 1GB의 메모리 요구 사항을 충족하는 수준으로 파일 시스템의 처리 용량을 늘려야 합니다.

  • 중복 제거 작업은 Windows 권장 기본값인 25% 메모리 할당으로 구성됩니다. 즉, 32GB 메모리가 있는 파일 시스템에서는 8GB를 중복 제거에 사용할 수 있습니다. 메모리 할당은 구성 가능합니다(파라미터 –Memory와 함께 Set-FSxDedupSchedule 명령 사용). 중복 제거에 더 높은 메모리 할당을 사용하면 파일 시스템 성능에 영향을 미칠 수 있습니다.

  • 중복 제거 작업의 구성을 수정하여 필요한 메모리 양을 줄일 수 있습니다. 예를 들어, 최적화를 특정 파일 유형 또는 폴더에서 실행하도록 제한하거나, 최적화를 위한 최소 파일 크기 및 기간을 설정할 수 있습니다. 또한 파일 시스템의 부하가 최소인 유휴 기간에 데이터 중복 제거 작업이 실행되도록 구성하는 것을 권장합니다.

데이터 중복 제거 작업을 완료하는 데 시간이 충분하지 않은 경우에도 오류가 발생할 수 있습니다. 데이터 중복 제거 일정 수정 섹션에 설명된 대로 작업의 최대 지속시간을 변경해야 할 수도 있습니다.

중복 제거 작업이 실패하는 기간이 길고, 이 기간 동안 파일 시스템의 데이터가 변경된 경우, 후속 데이터 중복 제거 작업을 처음 성공적으로 완료하려면 더 많은 리소스가 필요할 수 있습니다.

중복 제거 값이 예기치 않게 0으로 설정됨

데이터 중복 제거를 구성한 파일 시스템에서 SavedSpace 및 OptimizedFilesSavingsRate 값이 예기치 않게 0이 됩니다.

이는 스토리지 최적화 프로세스 중에 파일 시스템의 스토리지 용량을 늘릴 때 발생할 수 있습니다. 파일 시스템의 스토리지 용량을 늘리면, Amazon FSx는 스토리지 최적화 프로세스 중에 기존 데이터 중복 제거 작업을 취소하고 기존 디스크의 데이터를 더 큰 새 디스크로 마이그레이션합니다. Amazon FSx는 스토리지 최적화 작업이 완료되면 파일 시스템에서 데이터 중복 제거를 재개합니다. 스토리지 용량 증가 및 스토리지 최적화에 대한 자세한 내용은 스토리지 용량 관리 섹션을 참조하세요.

파일을 삭제한 후 파일 시스템의 여유 공간이 확보되지 않음

데이터 중복 제거를 통해 공간을 절약한 데이터가 삭제된 경우, 가비지 수집 작업이 실행될 때까지 파일 시스템에서 실제로 공간이 확보되지 않는 것은 데이터 중복 제거의 예상된 동작입니다.

많은 파일을 삭제한 후 바로 가비지 수집 작업을 실행하도록 일정을 설정하는 것이 도움이 될 수 있습니다. 가비지 수집 작업이 끝난 후, 가비지 수집 일정을 이전 설정으로 되돌릴 수 있습니다. 이렇게 하면 즉시 삭제된 공간을 빠르게 확인할 수 있습니다.

다음 절차로 5분 내에 가비지 수집 작업이 실행되도록 설정하세요.

  1. Get-FSxDedupStatus 명령을 사용하여 데이터 중복 제거가 활성화되었는지 확인합니다. 명령 및 예상되는 출력에 대한 자세한 내용은 절감된 공간의 양 보기 섹션을 참조하세요.

  2. 다음에 따라 5분 후에 가비지 수집 작업이 실행되도록 설정하세요.

    $FiveMinutesFromNowUTC = ((get-date).AddMinutes(5)).ToUniversalTime()
$DayOfWeek = $FiveMinutesFromNowUTC.DayOfWeek
$Time = $FiveMinutesFromNowUTC.ToString("HH:mm")

Invoke-Command -ComputerName ${RPS_ENDPOINT} -ConfigurationName FSxRemoteAdmin -ScriptBlock {   
    Set-FSxDedupSchedule -Name "WeeklyGarbageCollection" -Days $Using:DayOfWeek -Start $Using:Time -DurationHours 9
}

  3. 가비지 수집 작업을 실행하여 공간을 확보한 후, 일정을 원래대로 다시 설정합니다.