이전 배포 유형으로 작업하기
이 섹션은 Scratch 1 배포 유형이 있는 파일 시스템과 데이터 리포지토리 연결을 사용하지 않는 Scratch 2
또는 Persistent 1
배포 유형이 있는 파일 시스템에도 적용됩니다.
Amazon S3 버킷에 파일 시스템 연결
Amazon FSx for Lustre 파일 시스템을 생성하면 Amazon S3의 내구성 데이터 리포지토리에 연결할 수 있습니다. 파일 시스템을 생성하기 전에 연결하려는 Amazon S3 버킷을 이미 생성했는지 확인합니다. 파일 시스템 생성 마법사의 선택적 데이터 리포지토리 가져오기/내보내기 창에서 다음과 같은 데이터 리포지토리 구성 속성을 설정합니다.
-
파일 시스템이 생성된 후 S3 버킷에 객체를 추가하거나 수정할 때 Amazon FSx가 파일 및 디렉터리 목록을 최신 상태로 유지하는 방법을 선택합니다. 자세한 내용은 S3 버킷에서 업데이트 자동 가져오기 섹션을 참조하세요.
-
가져오기 버킷: 연결된 리포지토리에 사용 중인 S3 버킷의 이름을 입력합니다.
-
가져오기 접두사: S3 버킷의 일부 파일 및 디렉터리 데이터 목록만 파일 시스템으로 가져오려면 선택적 가져오기 접두사를 입력합니다. 가져오기 접두사는 S3 버킷에서 데이터를 가져올 위치를 정의합니다.
-
내보내기 접두사: Amazon FSx가 파일 시스템의 콘텐츠를 연결된 S3 버킷으로 내보내는 위치를 정의합니다.
Amazon FSx가 FSx for Lustre 파일 시스템의 데이터를 가져온 S3 버킷의 동일한 디렉터리로 다시 내보내는 1:1 매핑을 사용할 수 있습니다. 1:1 매핑을 사용하려면 파일 시스템을 생성할 때 접두사 없이 S3 버킷으로의 내보내기 경로를 지정합니다.
-
콘솔을 사용하여 파일 시스템을 생성할 때는 접두사 내보내기 > 지정한 접두사 옵션을 선택하고 접두사 필드를 비워 둡니다.
-
AWS CLI 또는 API를 사용하여 파일 시스템을 생성할 때는 내보내기 경로를 추가 접두사 없이 S3 버킷의 이름으로 지정합니다(예:
ExportPath=s3://amzn-s3-demo-bucket/
).
이 방법을 사용하면 가져오기 경로를 지정할 때 가져오기 접두사를 포함할 수 있으며 내보내기의 1:1 매핑에는 영향을 주지 않습니다.
S3 버킷에 연결된 파일 시스템 생성
다음 절차는 AWS 관리 콘솔 및 AWS 명령줄 인터페이스(AWS CLI)를 사용하여 S3 버킷에 연결된 Amazon FSx 파일 시스템을 생성하는 프로세스를 안내합니다.
파일 시스템의 내보내기 경로 보기
FSx for Lustre 콘솔, AWS CLI 및 API를 사용하여 파일 시스템의 내보내기 경로를 볼 수 있습니다.
데이터 리포지토리 수명 주기 상태
데이터 리포지토리 수명 주기 상태는 파일 시스템의 연결된 데이터 리포지토리에 대한 상태 정보를 제공합니다. 데이터 리포지토리는 다음과 같은 수명 주기 상태를 가질 수 있습니다.
-
생성: Amazon FSx는 파일 시스템과 연결된 데이터 리포지토리 사이에 데이터 리포지토리 구성을 생성합니다. 데이터 리포지토리를 사용할 수 없습니다.
-
사용 가능: 데이터 리포지토리를 사용할 수 있습니다.
-
업데이트: 데이터 리포지토리 구성이 고객 주도로 업데이트 중이므로 가용성에 영향을 미칠 수 있습니다.
-
잘못된 구성: Amazon FSx는 데이터 리포지토리 구성이 수정될 때까지 S3 버킷에서 업데이트를 자동으로 가져올 수 없습니다. 자세한 내용은 잘못 구성된 연결된 S3 버킷 문제 해결 섹션을 참조하세요.
Amazon FSx 콘솔, AWS 명령줄 인터페이스 및 Amazon FSx API를 사용하여 파일 시스템의 연결된 데이터 리포지토리 수명 주기 상태를 볼 수 있습니다. Amazon FSx 콘솔에서는 파일 시스템의 데이터 리포지토리 탭에 있는 데이터 리포지토리 통합 창에서 데이터 리포지토리 수명 주기 상태에 액세스할 수 있습니다. Lifecycle
속성은 describe-file-systems
CLI 명령(해당하는 API 작업 DescribeFileSystems
)의 응답으로 DataRepositoryConfiguration
객체에 있습니다.
S3 버킷에서 업데이트 자동 가져오기
기본적으로 새 파일 시스템을 생성하면 Amazon FSx는 파일 시스템 생성 시 연결된 S3 버킷에 있는 객체의 파일 메타데이터(이름, 소유권, 타임스탬프, 권한)를 가져옵니다. 파일 시스템 생성 후 S3 버킷에 추가, 변경 또는 삭제된 객체의 메타데이터를 자동으로 가져오도록 FSx for Lustre 파일 시스템을 구성할 수 있습니다. FSx for Lustre는 파일 시스템 생성 시 파일 메타데이터를 가져오는 것과 같은 방식으로 생성 후 변경된 객체의 파일 및 디렉터리 목록을 업데이트합니다. Amazon FSx가 변경된 객체의 파일 및 디렉터리 목록을 업데이트할 때 S3 버킷의 변경된 객체에 더 이상 메타데이터가 포함되지 않는 경우 Amazon FSx는 기본 권한을 사용하지 않고 파일의 현재 메타데이터 값을 유지합니다.
참고
가져오기 설정은 2020년 7월 23일 오후 3시(동부 표준시) 이후에 생성된 FSx for Lustre 파일 시스템에서 사용할 수 있습니다.
새 파일 시스템을 생성할 때 가져오기 기본 설정을 지정하고 FSx 관리 콘솔, AWS CLI 및 AWS API를 사용하여 기존 파일 시스템의 설정을 업데이트할 수 있습니다. 파일 시스템을 생성하면 기존 S3 객체가 파일 및 디렉터리 목록에 표시됩니다. 파일 시스템을 생성한 후 S3 버킷의 콘텐츠가 업데이트될 때 어떻게 업데이트하고 싶은지 지정합니다. 파일 시스템은 다음 중 하나에 해당될 수 있습니다.
참고
업데이트를 자동으로 가져오려면 FSx for Lustre 파일 시스템과 연결된 S3 버킷이 같은 AWS 리전에 있어야 합니다.
-
객체가 S3 버킷에 추가될 때 파일 및 디렉터리 목록 업데이트: (기본 설정) Amazon FSx는 현재 FSx 파일 시스템에 존재하지 않는 링크된 S3 버킷에 추가된 새 객체의 파일 및 디렉터리 목록을 자동으로 업데이트합니다. Amazon FSx는 S3 버킷에서 변경된 객체의 목록을 업데이트하지 않습니다. Amazon FSx는 S3 버킷에서 삭제된 객체 목록을 삭제하지 않습니다.
참고
CLI 및 API를 사용하여 연결된 S3 버킷에서 데이터를 가져오기 위한 기본 가져오기 기본 설정은
NONE
입니다. 콘솔을 사용할 때의 기본 가져오기 기본 설정은 새 객체가 S3 버킷에 추가될 때 Lustre를 업데이트하는 것입니다. -
내 S3 버킷에 객체가 추가되거나 변경됨에 따라 내 파일 및 디렉터리 목록 업데이트: Amazon FSx는 이 옵션을 선택한 후 S3 버킷에 추가된 새 객체와 S3 버킷에서 변경된 기존 객체의 파일 및 디렉터리 목록을 자동으로 업데이트합니다. Amazon FSx는 S3 버킷에서 삭제된 객체 목록을 삭제하지 않습니다.
-
내 S3 버킷에 오브젝트가 추가, 변경 또는 삭제될 때 내 파일 및 디렉터리 목록 업데이트: Amazon FSx는 이 옵션을 선택한 후 S3 버킷에 추가된 새 객체, S3 버킷에서 변경된 기존 객체 및 S3 버킷에서 삭제된 기존 객체의 파일 및 디렉터리 목록을 자동으로 업데이트합니다.
-
내 파일을 업데이트하지 않고 내 S3 버킷에 객체가 추가, 변경 또는 삭제될 때 직접 나열하지 않음 - Amazon FSx는 파일 시스템을 생성할 때 연결된 S3 버킷과 디렉터리 목록을 업데이트합니다. FSx는 이 옵션을 선택한 후 새로 추가된 객체 또는 변경되거나 삭제된 객체에 대한 파일 및 디렉터리 목록을 업데이트하지 않습니다.
연결된 S3 버킷의 변경 내용을 기반으로 파일 시스템 파일 및 디렉터리 목록을 업데이트하도록 가져오기 기본 설정을 지정하면 Amazon FSx는 연결된 S3 버킷에 FSx
이라는 이벤트 알림 구성을 생성합니다. S3 버킷의 FSx
이벤트 알림 구성을 수정하거나 삭제하지 마세요. 이렇게 하면 새 파일 또는 변경된 파일 및 디렉터리 목록을 파일 시스템으로 자동으로 가져올 수 없습니다.
Amazon FSx가 연결된 S3 버킷에서 변경된 파일 목록을 업데이트하면 파일이 쓰기 잠겨 있더라도 로컬 파일을 업데이트된 버전으로 덮어씁니다. 마찬가지로, 연결된 S3 버킷에서 해당 객체가 삭제되었을 때 Amazon FSx가 파일 목록을 업데이트하면 파일에 쓰기 잠금이 설정되어 있더라도 로컬 파일이 삭제됩니다.
Amazon FSx는 파일 시스템을 업데이트하기 위해 노력합니다. Amazon FSx는 다음과 같은 상황에서 파일 시스템을 변경하여 업데이트할 수 없습니다.
-
Amazon FSx에 변경되거나 새 S3 객체를 열 권한이 없는 경우.
-
연결된 S3 버킷의
FSx
이벤트 알림 구성이 삭제되거나 변경된 경우.
이러한 조건 중 하나로 인해 데이터 리포지토리 수명 주기 상태가 잘못 구성될 수 있습니다. 자세한 내용은 데이터 리포지토리 수명 주기 상태 섹션을 참조하세요.
사전 조건
Amazon FSx가 연결된 S3 버킷에서 새 파일, 변경 또는 삭제된 파일을 자동으로 가져오려면 다음 조건이 필요합니다.
-
파일 시스템과 연결된 S3 버킷은 같은 AWS 리전에 있어야 합니다.
-
S3 버킷에 잘못 구성된 수명 주기 상태가 없습니다. 자세한 내용은 데이터 리포지토리 수명 주기 상태 섹션을 참조하세요.
-
계정에 연결된 S3 버킷에서 이벤트 알림을 구성하고 수신하는 데 필요한 권한이 있어야 합니다.
지원되는 파일 변경 유형
Amazon FSx는 연결된 S3 버킷에서 발생하는 파일 및 폴더에 대한 다음과 같은 변경 사항 가져오기를 지원합니다.
-
파일 콘텐츠 변경
-
파일 또는 폴더 메타데이터 변경
-
심볼릭 링크 대상 또는 메타데이터 변경
가져오기 기본 설정 업데이트
새 파일 시스템을 생성할 때 파일 시스템의 가져오기 환경설정을 지정할 수 있습니다. 자세한 내용은 파일 시스템을 Amazon S3 버킷에 연결하기 섹션을 참조하세요.
다음 절차와 같이 파일 시스템을 생성한 후 AWS 관리 콘솔, AWS CLI 및 Amazon FSx API를 사용하여 파일 시스템의 가져오기 기본 설정을 업데이트할 수도 있습니다.