이전 배포 유형으로 작업하기 - FSx for Lustre

이전 배포 유형으로 작업하기

이 섹션은 Scratch 1 배포 유형이 있는 파일 시스템과 데이터 리포지토리 연결을 사용하지 않는 Scratch 2 또는 Persistent 1 배포 유형이 있는 파일 시스템에도 적용됩니다.

Amazon FSx for Lustre 파일 시스템을 생성하면 Amazon S3의 내구성 데이터 리포지토리에 연결할 수 있습니다. 파일 시스템을 생성하기 전에 연결하려는 Amazon S3 버킷을 이미 생성했는지 확인합니다. 파일 시스템 생성 마법사의 선택적 데이터 리포지토리 가져오기/내보내기 창에서 다음과 같은 데이터 리포지토리 구성 속성을 설정합니다.

  • 파일 시스템이 생성된 후 S3 버킷에 객체를 추가하거나 수정할 때 Amazon FSx가 파일 및 디렉터리 목록을 최신 상태로 유지하는 방법을 선택합니다. 자세한 내용은 S3 버킷에서 업데이트 자동 가져오기 섹션을 참조하세요.

  • 가져오기 버킷: 연결된 리포지토리에 사용 중인 S3 버킷의 이름을 입력합니다.

  • 가져오기 접두사: S3 버킷의 일부 파일 및 디렉터리 데이터 목록만 파일 시스템으로 가져오려면 선택적 가져오기 접두사를 입력합니다. 가져오기 접두사는 S3 버킷에서 데이터를 가져올 위치를 정의합니다.

  • 내보내기 접두사: Amazon FSx가 파일 시스템의 콘텐츠를 연결된 S3 버킷으로 내보내는 위치를 정의합니다.

Amazon FSx가 FSx for Lustre 파일 시스템의 데이터를 가져온 S3 버킷의 동일한 디렉터리로 다시 내보내는 1:1 매핑을 사용할 수 있습니다. 1:1 매핑을 사용하려면 파일 시스템을 생성할 때 접두사 없이 S3 버킷으로의 내보내기 경로를 지정합니다.

  • 콘솔을 사용하여 파일 시스템을 생성할 때는 접두사 내보내기 > 지정한 접두사 옵션을 선택하고 접두사 필드를 비워 둡니다.

  • AWS CLI 또는 API를 사용하여 파일 시스템을 생성할 때는 내보내기 경로를 추가 접두사 없이 S3 버킷의 이름으로 지정합니다(예:ExportPath=s3://amzn-s3-demo-bucket/).

이 방법을 사용하면 가져오기 경로를 지정할 때 가져오기 접두사를 포함할 수 있으며 내보내기의 1:1 매핑에는 영향을 주지 않습니다.

S3 버킷에 연결된 파일 시스템 생성

다음 절차는 AWS 관리 콘솔 및 AWS 명령줄 인터페이스(AWS CLI)를 사용하여 S3 버킷에 연결된 Amazon FSx 파일 시스템을 생성하는 프로세스를 안내합니다.

Console
  1. https://console.aws.amazon.com/fsx/에서 Amazon FSx 콘솔을 엽니다.

  2. 대시보드에서 파일 시스템 생성을 선택합니다.

  3. 파일 시스템 유형으로 FSx for Lustre를 선택한 후 다음을 선택합니다.

  4. 파일 시스템 세부 정보네트워크 및 보안 섹션에 필요한 정보를 제공합니다. 자세한 내용은 1단계: Lustre용 FSx 파일 시스템 생성 섹션을 참조하세요.

  5. 데이터 리포지토리 가져오기/내보내기 패널을 사용하여 Amazon S3의 연결된 데이터 리포지토리를 구성합니다. S3에서 데이터 가져오기 및 S3로 데이터 내보내기를 선택하여 데이터 리포지토리 가져오기/내보내기 섹션을 확장하고 데이터 리포지토리 설정을 구성합니다.

    Amazon S3에서 연결된 데이터 리포지토리를 구성하기 위한 데이터 리포지토리 가져오기 및 내보내기 패널.
  6. 연결된 S3 버킷에서 객체를 추가하거나 수정할 때 Amazon FSx가 파일 및 디렉터리 목록을 최신 상태로 유지하는 방법을 선택합니다. 파일 시스템을 생성하면 기존 S3 객체가 파일 및 디렉터리 목록에 표시됩니다.

    • 객체가 S3 버킷에 추가될 때 파일 및 디렉터리 목록 업데이트: (기본 설정) Amazon FSx는 현재 FSx 파일 시스템에 존재하지 않는 링크된 S3 버킷에 추가된 새 객체의 파일 및 디렉터리 목록을 자동으로 업데이트합니다. Amazon FSx는 S3 버킷에서 변경된 객체의 목록을 업데이트하지 않습니다. Amazon FSx는 S3 버킷에서 삭제된 객체 목록을 삭제하지 않습니다.

      참고

      CLI 및 API를 사용하여 연결된 S3 버킷에서 데이터를 가져오기 위한 기본 가져오기 기본 설정은 NONE입니다. 콘솔을 사용할 때의 기본 가져오기 기본 설정은 새 객체가 S3 버킷에 추가될 때 Lustre를 업데이트하는 것입니다.

    • 내 S3 버킷에 객체가 추가되거나 변경됨에 따라 내 파일 및 디렉터리 목록 업데이트: Amazon FSx는 이 옵션을 선택한 후 S3 버킷에 추가된 새 객체와 S3 버킷에서 변경된 기존 객체의 파일 및 디렉터리 목록을 자동으로 업데이트합니다. Amazon FSx는 S3 버킷에서 삭제된 객체 목록을 삭제하지 않습니다.

    • 내 S3 버킷에 오브젝트가 추가, 변경 또는 삭제될 때 내 파일 및 디렉터리 목록 업데이트: Amazon FSx는 이 옵션을 선택한 후 S3 버킷에 추가된 새 객체, S3 버킷에서 변경된 기존 객체 및 S3 버킷에서 삭제된 기존 객체의 파일 및 디렉터리 목록을 자동으로 업데이트합니다.

    • 내 파일을 업데이트하지 않고 내 S3 버킷에 객체가 추가, 변경 또는 삭제될 때 직접 나열하지 않음 - Amazon FSx는 파일 시스템을 생성할 때 연결된 S3 버킷과 디렉터리 목록을 업데이트합니다. FSx는 이 옵션을 선택한 후 새로 추가된 객체 또는 변경되거나 삭제된 객체에 대한 파일 및 디렉터리 목록을 업데이트하지 않습니다.

  7. S3 버킷에 있는 파일 및 디렉터리 데이터 목록 중 일부만 파일 시스템으로 가져오려면 선택적 가져오기 접두사를 입력합니다. 가져오기 접두사는 S3 버킷에서 데이터를 가져올 위치를 정의합니다. 자세한 내용은 S3 버킷에서 업데이트 자동 가져오기 섹션을 참조하세요.

  8. 사용 가능한 내보내기 접두사 옵션 중 하나를 선택합니다.

    • Amazon FSx가 버킷에 작성하는 고유 접두사: FSx for Lustre에서 생성한 접두사를 사용하여 새 객체와 변경된 객체를 내보내려면 이 옵션을 선택합니다. 해당 접두사는 /FSxLustrefile-system-creation- timestamp와 같습니다. 타임스탬프는 UTC 형식(예: FSxLustre20181105T222312Z)입니다.

    • 가져온 것과 동일한 접두사(기존 객체를 업데이트된 객체로 대체): 기존 객체를 업데이트된 객체로 바꾸려면 이 옵션을 선택합니다.

    • 지정한 접두사: 가져온 데이터를 보존하고 지정한 접두사를 사용하여 새 객체 및 변경된 객체를 내보내려면 이 옵션을 선택합니다. 데이터를 S3 버킷으로 내보낼 때 1:1 매핑을 구현하려면 이 옵션을 선택하고 접두사 필드를 비워 두세요. FSx는 데이터를 가져온 것과 동일한 디렉터리로 데이터를 내보냅니다.

  9. (선택 사항) 유지 관리 환경설정을 지정하거나 시스템 기본값을 사용합니다.

  10. 다음을 선택하고 설정을 검토합니다. 필요한 경우 변경합니다.

  11. 파일 시스템 생성을 선택합니다.

AWS CLI

다음 예제는 파일 시스템이 생성된 후 연결된 데이터 리포지토리의 새 파일, 변경 및 삭제된 파일을 가져오는 가져오기 기본 설정을 사용하여 amzn-s3-demo-bucket에 연결된 Amazon FSx 파일 시스템을 생성합니다.

참고

CLI 및 API를 사용하여 연결된 S3 버킷에서 데이터를 가져오기 위한 기본 가져오기 기본 설정은 NONE 이며, 이는 콘솔을 사용할 때의 기본 동작과 다릅니다.

FSx for Lustre 파일 시스템을 생성하려면 아래와 같이 Amazon FSx CLI 명령 create-file-system을 사용합니다. 해당 API 작업은 CreateFileSystem입니다.

$ aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.10 \ --lustre-configuration AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s 3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export, PerUnitStorageThroughput=50 \ --storage-capacity 2400 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2

파일 시스템을 생성한 후 Amazon FSx에서는 다음 예에서처럼 파일 시스템 설명을 JSON으로 반환합니다.

{ "FileSystems": [ { "OwnerId": "owner-id-string", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "FileSystemTypeVersion": "2.10", "Lifecycle": "CREATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "PERSISTENT_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 }, "PerUnitStorageThroughput": 50 } } ] }

파일 시스템의 내보내기 경로 보기

FSx for Lustre 콘솔, AWS CLI 및 API를 사용하여 파일 시스템의 내보내기 경로를 볼 수 있습니다.

Console
  1. https://console.aws.amazon.com/fsx/에서 Amazon FSx 콘솔을 엽니다.

  2. 내보내기 경로를 보려는 FSx for Lustre 파일 시스템의 파일 시스템 이름 또는 파일 시스템 ID를 선택합니다.

    해당 파일 시스템의 파일 시스템 세부 정보 페이지가 표시됩니다.

  3. 데이터 리포지토리 탭을 선택합니다.

    데이터 리포지토리 통합 패널이 나타나고 가져오기 및 내보내기 경로가 표시됩니다.

데이터 리포지토리 통합 패널의 데이터 리포지토리 가져오기 및 내보내기 경로입니다.
CLI

파일 시스템의 내보내기 경로를 결정하려면 describe-file-systems AWS CLI 명령을 사용합니다.

aws fsx describe-file-systems

응답의 LustreConfiguration에서 ExportPath 속성을 찾습니다.

{ "OwnerId": "111122223333", "CreationTime": 1563382847.014, "FileSystemId": "", "FileSystemType": "LUSTRE", "Lifecycle": "AVAILABLE", "StorageCapacity": 2400, "VpcId": "vpc-6296a00a", "SubnetIds": [ "subnet-1111111" ], "NetworkInterfaceIds": [ "eni-0c288d5b8cc06c82d", "eni-0f38b702442c6918c" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre System" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": " NEW_CHANGED_DELETED", "Lifecycle": "AVAILABLE", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z", "ImportedFileChunkSize": 1024 } }, "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "6:09:30" }

데이터 리포지토리 수명 주기 상태

데이터 리포지토리 수명 주기 상태는 파일 시스템의 연결된 데이터 리포지토리에 대한 상태 정보를 제공합니다. 데이터 리포지토리는 다음과 같은 수명 주기 상태를 가질 수 있습니다.

  • 생성: Amazon FSx는 파일 시스템과 연결된 데이터 리포지토리 사이에 데이터 리포지토리 구성을 생성합니다. 데이터 리포지토리를 사용할 수 없습니다.

  • 사용 가능: 데이터 리포지토리를 사용할 수 있습니다.

  • 업데이트: 데이터 리포지토리 구성이 고객 주도로 업데이트 중이므로 가용성에 영향을 미칠 수 있습니다.

  • 잘못된 구성: Amazon FSx는 데이터 리포지토리 구성이 수정될 때까지 S3 버킷에서 업데이트를 자동으로 가져올 수 없습니다. 자세한 내용은 잘못 구성된 연결된 S3 버킷 문제 해결 섹션을 참조하세요.

Amazon FSx 콘솔, AWS 명령줄 인터페이스 및 Amazon FSx API를 사용하여 파일 시스템의 연결된 데이터 리포지토리 수명 주기 상태를 볼 수 있습니다. Amazon FSx 콘솔에서는 파일 시스템의 데이터 리포지토리 탭에 있는 데이터 리포지토리 통합 창에서 데이터 리포지토리 수명 주기 상태에 액세스할 수 있습니다. Lifecycle 속성은 describe-file-systems CLI 명령(해당하는 API 작업 DescribeFileSystems)의 응답으로 DataRepositoryConfiguration 객체에 있습니다.

S3 버킷에서 업데이트 자동 가져오기

기본적으로 새 파일 시스템을 생성하면 Amazon FSx는 파일 시스템 생성 시 연결된 S3 버킷에 있는 객체의 파일 메타데이터(이름, 소유권, 타임스탬프, 권한)를 가져옵니다. 파일 시스템 생성 후 S3 버킷에 추가, 변경 또는 삭제된 객체의 메타데이터를 자동으로 가져오도록 FSx for Lustre 파일 시스템을 구성할 수 있습니다. FSx for Lustre는 파일 시스템 생성 시 파일 메타데이터를 가져오는 것과 같은 방식으로 생성 후 변경된 객체의 파일 및 디렉터리 목록을 업데이트합니다. Amazon FSx가 변경된 객체의 파일 및 디렉터리 목록을 업데이트할 때 S3 버킷의 변경된 객체에 더 이상 메타데이터가 포함되지 않는 경우 Amazon FSx는 기본 권한을 사용하지 않고 파일의 현재 메타데이터 값을 유지합니다.

참고

가져오기 설정은 2020년 7월 23일 오후 3시(동부 표준시) 이후에 생성된 FSx for Lustre 파일 시스템에서 사용할 수 있습니다.

새 파일 시스템을 생성할 때 가져오기 기본 설정을 지정하고 FSx 관리 콘솔, AWS CLI 및 AWS API를 사용하여 기존 파일 시스템의 설정을 업데이트할 수 있습니다. 파일 시스템을 생성하면 기존 S3 객체가 파일 및 디렉터리 목록에 표시됩니다. 파일 시스템을 생성한 후 S3 버킷의 콘텐츠가 업데이트될 때 어떻게 업데이트하고 싶은지 지정합니다. 파일 시스템은 다음 중 하나에 해당될 수 있습니다.

참고

업데이트를 자동으로 가져오려면 FSx for Lustre 파일 시스템과 연결된 S3 버킷이 같은 AWS 리전에 있어야 합니다.

  • 객체가 S3 버킷에 추가될 때 파일 및 디렉터리 목록 업데이트: (기본 설정) Amazon FSx는 현재 FSx 파일 시스템에 존재하지 않는 링크된 S3 버킷에 추가된 새 객체의 파일 및 디렉터리 목록을 자동으로 업데이트합니다. Amazon FSx는 S3 버킷에서 변경된 객체의 목록을 업데이트하지 않습니다. Amazon FSx는 S3 버킷에서 삭제된 객체 목록을 삭제하지 않습니다.

    참고

    CLI 및 API를 사용하여 연결된 S3 버킷에서 데이터를 가져오기 위한 기본 가져오기 기본 설정은 NONE입니다. 콘솔을 사용할 때의 기본 가져오기 기본 설정은 새 객체가 S3 버킷에 추가될 때 Lustre를 업데이트하는 것입니다.

  • 내 S3 버킷에 객체가 추가되거나 변경됨에 따라 내 파일 및 디렉터리 목록 업데이트: Amazon FSx는 이 옵션을 선택한 후 S3 버킷에 추가된 새 객체와 S3 버킷에서 변경된 기존 객체의 파일 및 디렉터리 목록을 자동으로 업데이트합니다. Amazon FSx는 S3 버킷에서 삭제된 객체 목록을 삭제하지 않습니다.

  • 내 S3 버킷에 오브젝트가 추가, 변경 또는 삭제될 때 내 파일 및 디렉터리 목록 업데이트: Amazon FSx는 이 옵션을 선택한 후 S3 버킷에 추가된 새 객체, S3 버킷에서 변경된 기존 객체 및 S3 버킷에서 삭제된 기존 객체의 파일 및 디렉터리 목록을 자동으로 업데이트합니다.

  • 내 파일을 업데이트하지 않고 내 S3 버킷에 객체가 추가, 변경 또는 삭제될 때 직접 나열하지 않음 - Amazon FSx는 파일 시스템을 생성할 때 연결된 S3 버킷과 디렉터리 목록을 업데이트합니다. FSx는 이 옵션을 선택한 후 새로 추가된 객체 또는 변경되거나 삭제된 객체에 대한 파일 및 디렉터리 목록을 업데이트하지 않습니다.

연결된 S3 버킷의 변경 내용을 기반으로 파일 시스템 파일 및 디렉터리 목록을 업데이트하도록 가져오기 기본 설정을 지정하면 Amazon FSx는 연결된 S3 버킷에 FSx이라는 이벤트 알림 구성을 생성합니다. S3 버킷의 FSx 이벤트 알림 구성을 수정하거나 삭제하지 마세요. 이렇게 하면 새 파일 또는 변경된 파일 및 디렉터리 목록을 파일 시스템으로 자동으로 가져올 수 없습니다.

Amazon FSx가 연결된 S3 버킷에서 변경된 파일 목록을 업데이트하면 파일이 쓰기 잠겨 있더라도 로컬 파일을 업데이트된 버전으로 덮어씁니다. 마찬가지로, 연결된 S3 버킷에서 해당 객체가 삭제되었을 때 Amazon FSx가 파일 목록을 업데이트하면 파일에 쓰기 잠금이 설정되어 있더라도 로컬 파일이 삭제됩니다.

Amazon FSx는 파일 시스템을 업데이트하기 위해 노력합니다. Amazon FSx는 다음과 같은 상황에서 파일 시스템을 변경하여 업데이트할 수 없습니다.

  • Amazon FSx에 변경되거나 새 S3 객체를 열 권한이 없는 경우.

  • 연결된 S3 버킷의 FSx 이벤트 알림 구성이 삭제되거나 변경된 경우.

이러한 조건 중 하나로 인해 데이터 리포지토리 수명 주기 상태가 잘못 구성될 수 있습니다. 자세한 내용은 데이터 리포지토리 수명 주기 상태 섹션을 참조하세요.

사전 조건

Amazon FSx가 연결된 S3 버킷에서 새 파일, 변경 또는 삭제된 파일을 자동으로 가져오려면 다음 조건이 필요합니다.

  • 파일 시스템과 연결된 S3 버킷은 같은 AWS 리전에 있어야 합니다.

  • S3 버킷에 잘못 구성된 수명 주기 상태가 없습니다. 자세한 내용은 데이터 리포지토리 수명 주기 상태 섹션을 참조하세요.

  • 계정에 연결된 S3 버킷에서 이벤트 알림을 구성하고 수신하는 데 필요한 권한이 있어야 합니다.

지원되는 파일 변경 유형

Amazon FSx는 연결된 S3 버킷에서 발생하는 파일 및 폴더에 대한 다음과 같은 변경 사항 가져오기를 지원합니다.

  • 파일 콘텐츠 변경

  • 파일 또는 폴더 메타데이터 변경

  • 심볼릭 링크 대상 또는 메타데이터 변경

가져오기 기본 설정 업데이트

새 파일 시스템을 생성할 때 파일 시스템의 가져오기 환경설정을 지정할 수 있습니다. 자세한 내용은 파일 시스템을 Amazon S3 버킷에 연결하기 섹션을 참조하세요.

다음 절차와 같이 파일 시스템을 생성한 후 AWS 관리 콘솔, AWS CLI 및 Amazon FSx API를 사용하여 파일 시스템의 가져오기 기본 설정을 업데이트할 수도 있습니다.

Console
  1. https://console.aws.amazon.com/fsx/에서 Amazon FSx 콘솔을 엽니다.

  2. 대시보드에서 파일 시스템을 선택합니다.

  3. 관리할 파일 시스템을 선택하여 파일 시스템 세부 정보를 표시합니다.

  4. 데이터 리포지토리 설정을 보려면 데이터 리포지토리를 선택합니다. 수명 주기 상태가 사용 가능이거나 잘못 구성됨인 경우 가져오기 기본 설정을 수정할 수 있습니다. 자세한 내용은 데이터 리포지토리 수명 주기 상태 섹션을 참조하세요.

  5. 작업을 선택한 다음 가져오기 기본 설정 업데이트를 선택하여 가져오기 기본 설정 업데이트 대화 상자를 표시합니다.

  6. 새 설정을 선택한 다음 업데이트를 선택하여 변경합니다.

CLI

가져오기 기본 설정을 업데이트하려면 update-file-system CLI 명령을 사용합니다. 해당 API 작업은 UpdateFileSystem입니다.

파일 시스템의 AutoImportPolicy을 업데이트하면 Amazon FSx는 업데이트된 파일 시스템의 설명을 다음과 같이 JSON으로 반환합니다.

{ "FileSystems": [ { "OwnerId": "111122223333", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "Lifecycle": "UPDATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 } "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "2:04:30" } } ] }