파일 시스템을 Amazon S3 버킷에 연결하기 - FSx for Lustre

파일 시스템을 Amazon S3 버킷에 연결하기

Amazon FSx for Lustre 파일 시스템을 Amazon S3의 데이터 리포지토리에 연결할 수 있습니다. 파일 시스템을 생성할 때 또는 파일 시스템을 생성한 후 언제든지 링크를 생성할 수 있습니다.

파일 시스템의 디렉터리와 S3 버킷 또는 접두사 간의 링크는 데이터 리포지토리 연결(DRA)이라고 부릅니다. FSx for Lustre 파일 시스템에 최대 8개의 데이터 리포지토리 연결을 구성할 수 있습니다. 최대 8개의 DRA 요청을 대기열에 넣을 수 있지만 파일 시스템에 대해 한 번에 하나의 요청만 처리할 수 있습니다. 각 데이터 리포지토리 연결에는 고유한 FSx for Lustre 파일 시스템 디렉터리 및 이와 연결된 고유한 S3 버킷 또는 접두사가 있어야 합니다.

참고

FSx for Lustre 2.10 파일 시스템 또는 Scratch 1 파일 시스템에서는 데이터 리포지토리 연결, 자동 내보내기 및 다중 데이터 리포지토리 지원을 사용할 수 없습니다.

파일 시스템의 파일 및 디렉터리로 S3 데이터 리포지토리의 객체에 액세스하려면 파일 및 디렉터리 메타데이터를 파일 시스템에 로드해야 합니다. DRA를 만들 때 연결된 데이터 리포지토리에서 메타데이터를 로드하거나, 나중에 데이터 리포지토리 가져오기 작업을 사용하여 FSx for Lustre 파일 시스템을 사용하여 액세스하려는 파일 및 디렉터리 배치에 대한 메타데이터를 로드하거나, 데이터 리포지토리에서 객체가 추가, 변경 또는 삭제될 때 자동 내보내기를 사용하여 메타데이터를 자동으로 로드할 수 있습니다.

자동 가져오기 전용, 자동 내보내기 전용 또는 두 가지 모두에 대해 데이터 리포지토리 연결을 구성할 수 있습니다. 자동 가져오기와 자동 내보내기로 구성된 데이터 리포지토리 연결은 파일 시스템과 연결된 S3 버킷 간에 데이터를 양방향으로 전파합니다. S3 데이터 리포지토리의 데이터를 변경하면 FSx for Lustre가 변경 사항을 감지한 다음 변경 사항을 파일 시스템으로 자동으로 가져옵니다. 파일을 생성, 수정 또는 삭제할 때 애플리케이션이 파일 수정을 완료하면 FSx for Lustre는 정의된 변경 사항을 자동으로 Amazon S3에 비동기식으로 내보냅니다.

중요
  • 파일 시스템과 S3 버킷 모두에서 동일한 파일을 수정하는 경우 애플리케이션 수준의 조정을 통해 충돌을 방지해야 합니다. FSx for Lustre는 여러 위치에서의 쓰기 충돌을 방지하지 않습니다.

  • 변경할 수 없는 속성으로 표시된 파일의 경우 FSx for Lustre는 FSx for Lustre 파일 시스템과 파일 시스템에 연결된 S3 버킷 간의 변경 사항을 동기화할 수 없습니다. 변경 불가 플래그를 장기간 설정하면 Amazon FSx와 S3 간의 데이터 이동 성능이 저하될 수 있습니다.

데이터 리포지토리 연결을 생성할 때 다음 속성을 구성할 수 있습니다.

  • 파일 시스템 경로 - 아래의 지정된 데이터 리포지토리 경로와 일대일로 매핑될 디렉터리(예:/ns1/) 또는 하위 디렉터리(예:/ns1/subdir/)를 가리키는 파일 시스템의 로컬 경로를 입력합니다. 이름 앞에 슬래시가 있어야 합니다. 두 개의 데이터 리포지토리 연결에 중복되는 파일 시스템 경로가 있을 수 없습니다. 예를 들어, 데이터 리포지토리가 파일 시스템 경로 /ns1과 연결된 경우, 또 다른 데이터 리포지토리를 파일 시스템 경로 /ns1/ns2와 연결할 수 없습니다.

    참고

    슬래시(/)만 파일 시스템 경로로 지정하는 경우 파일 시스템에 하나의 데이터 리포지토리만 연결할 수 있습니다. 파일 시스템과 연결된 첫 번째 데이터 리포지토리의 파일 시스템 경로로 '/'만 지정할 수 있습니다.

  • 데이터 리포지토리 경로 - S3 데이터 리포지토리의 경로를 입력합니다. 경로는 s3://bucket-name/prefix/ 형식의 S3 버킷 또는 접두사일 수 있습니다. 이 속성은 S3 데이터 리포지토리에서 파일을 가져오거나 내보낼 위치를 지정합니다. 데이터 리포지토리 경로를 제공하지 않으면 FSx for Lustre는 데이터 리포지토리 경로에 후행 “/”를 추가합니다. 예를 들어 데이터 리포지토리 s3://amzn-s3-demo-bucket/my-prefix 경로를 제공하면 FSx for Lustre는 이를 s3://amzn-s3-demo-bucket/my-prefix/와 같이 해석합니다.

    두 개의 데이터 리포지토리 연결에 중복되는 데이터 리포지토리 경로가 있을 수 없습니다. 예를 들어, 데이터 리포지토리가 파일 시스템 경로 s3://amzn-s3-demo-bucket/my-prefix/와 연결된 경우, 데이터 리포지토리 경로 s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix와 연결되는 또 다른 데이터 리포지토리를 생성할 수 없습니다.

  • 리포지토리에서 메타데이터 가져오기 - 이 옵션을 선택하면 데이터 리포지토리 연결을 생성한 후 즉시 전체 데이터 리포지토리에서 메타데이터를 가져올 수 있습니다. 또는 데이터 리포지토리 연결이 생성된 후 언제든지 데이터 리포지토리 가져오기 작업을 실행하여 연결된 데이터 리포지토리의 메타데이터 전체 또는 일부를 파일 시스템으로 로드할 수 있습니다.

  • 가져오기 설정 - 연결된 S3 버킷에서 파일 시스템으로 자동으로 가져올 업데이트된 객체(신규, 변경 및 삭제된 객체의 모든 조합)의 유형을 지정하는 가져오기 정책을 선택합니다. 콘솔에서 데이터 리포지토리를 추가하면 자동 가져오기(신규, 변경, 삭제)가 기본적으로 활성화되지만 AWS CLI 또는 Amazon FSx API를 사용할 때는 기본적으로 비활성화됩니다.

  • 내보내기 설정 - S3 버킷으로 자동으로 내보낼 업데이트된 객체(신규, 변경 및 삭제된 객체의 모든 조합)의 유형을 지정하는 내보내기 정책을 선택합니다. 콘솔에서 데이터 리포지토리를 추가하면 자동 내보내기(신규, 변경, 삭제)가 기본적으로 활성화되지만 AWS CLI 또는 Amazon FSx API를 사용할 때는 기본적으로 비활성화됩니다.

파일 시스템 경로데이터 리포지토리 경로 설정은 Amazon FSx의 경로와 S3의 객체 키 간 1:1 매핑을 제공합니다.