Amazon S3 バケットにファイルシステムにリンクする - FSx for Lustre

Amazon S3 バケットにファイルシステムにリンクする

Amazon FSx for Lustre ファイルシステムを Simple Storage Service (Amazon S3) のデータリポジトリにリンクできます。リンクは、ファイルシステムの作成時、またはファイルシステムの作成後いつでも作成できます。

ファイルシステム上のディレクトリと S3 バケットまたはプレフィックス間のリンクは、データリポジトリの関連付け (DRA) と呼ばれます。FSx for Lustre ファイルシステムには、最大 8 つのデータリポジトリの関連付けを設定できます。最大 8 つの DRA リクエストをキューに入れることができますが、ファイルシステムに対して一度に処理できるリクエストは 1 つだけです。各 DRA には、一意の FSx for Lustre ファイルシステムディレクトリと、それに関連付けられた一意の S3 バケットまたはプレフィックスが必要です。

注記

データリポジトリの関連付け、自動エクスポート、複数のリポジトリのサポートは、FSx for Lustre 2.10 ファイルシステムと Scratch 1 ファイルシステムでは使用できません。

S3 データリポジトリ上のオブジェクトにファイルシステム上のファイルとディレクトリとしてアクセスするには、ファイルおよびディレクトリのメタデータをファイルシステムにロードする必要があります。DRA を作成する際に、リンク先のデータリポジトリからメタデータをロードしたり、データリポジトリのインポートタスクを使用して、FSx for Lustre ファイルシステムを使用してアクセスするファイルやディレクトリのバッチのメタデータを後でロードしたりできます。また、自動エクスポートを使用して、オブジェクトがデータリポジトリに追加、変更、削除された場合にメタデータを自動的にロードすることもできます。

DRA は、自動インポートのみ、自動エクスポートのみ、またはその両方に設定できます。自動インポートと自動エクスポートの両方で設定されたデータリポジトリの関連付けは、ファイルシステムとリンクされた S3 バケット間で両方向にデータを転送します。S3 バケット内のデータに変更を加えると、FSx for Lustre が変更を検出し、その変更をファイルシステムに自動的にインポートします。ファイルを作成、変更、または削除すると、アプリケーションがファイルの変更を完了した後、FSx for Lustre が変更を非同期的に Amazon S3 に自動でエクスポートします。

重要

  • ファイルシステムと S3 バケットの両方で同じファイルを変更する場合は、アプリケーションレベルを調整して競合を防ぐ必要があります。FSx for Lustre では、複数の場所での競合する書き込みを防止できません。

  • 不変属性でマークされたファイルの場合、FSx for Lustre は、FSx for Lustre ファイルシステムと、ファイルシステムにリンクされた S3 バケット間の変更を同期できません。不変フラグを長期間設定すると、Amazon FSx と S3 間のデータ移動のパフォーマンスが低下する可能性があります。

データリポジトリの関連付けを作成すると、次のプロパティを設定できます。

  • ファイルシステムパス - ディレクトリを指すファイルシステム上のローカルパス (/ns1/ など) またはサブディレクトリ (/ns1/subdir/ など) を指すファイルシステムのローカルパスを入力します。入力されたデータは、以下の指定されたデータリポジトリパスで 特定のデータに 1 対 1 でマッピングされます。名前の先頭のスラッシュは必須です。2 つのデータリポジトリの関連付けは、重複するファイルシステムパスを持つことはできません。例えば、データリポジトリがファイルシステムパス /ns1 に関連付けられている場合、ファイルシステムパス /ns1/ns2 に別のデータリポジトリをリンクすることはできません。

    注記

    ファイルシステムパスとしてスラッシュ (/) のみを指定した場合、ファイルシステムにリンクできるデータリポジトリは 1 つだけです。「/」は、ファイルシステムに関連付けられた最初のデータリポジトリのファイルシステムパスとしてのみ指定できます。

  • データリポジトリパス - S3 データリポジトリにパスを入力します。パスには、次の S3 バケットまたは s3://bucket-name/prefix/ 形式のプレフィックスを使用できます。このプロパティは、S3 データリポジトリのファイルのインポート先またはエクスポート先を指定します。特に指定しなければ、FSx for Lustre はデータリポジトリのパスに末尾の「/」を追加します。例えば、s3://amzn-s3-demo-bucket/my-prefix のデータリポジトリのパスを指定すると、FSx for Lustre はそれを s3://amzn-s3-demo-bucket/my-prefix/ として解釈します。

    2 つのデータリポジトリの関連付けは、重複するデータリポジトリパスを持つことはできません。例えば、パス s3://amzn-s3-demo-bucket/my-prefix/ があるデータリポジトリがファイルシステムにリンクされている場合、データリポジトリのパス s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix と別のデータリポジトリの関連付けを作成することはできません。

  • リポジトリからメタデータをインポートする - このオプションを選択すると、データリポジトリの関連付けを作成した直後にデータリポジトリ全体からメタデータをインポートできます。または、データリポジトリのインポートタスクを実行して、データリポジトリの関連付けが作成された後でも、リンクされたデータリポジトリのメタデータのすべてまたはサブセットをファイルシステムにロードできます。

  • 設定のインポート - リンクされた S3 バケットからファイルシステムに自動的にインポートされる、更新されたオブジェクトのタイプ (新規、変更、および削除の任意の組み合わせ) を指定するインポートポリシーを選択します。コンソールからデータリポジトリを追加すると、自動インポート (新規、変更、削除) がデフォルトで有効になりますが、AWS CLI または Amazon FSx API を使用した場合はデフォルトで無効になります。

  • 設定をエクスポートする - S3 バケットに自動的にエクスポートされる更新されたオブジェクトのタイプ (新規、変更、および削除の任意の組み合わせ) を指定するエクスポートポリシーを選択します。コンソールからデータリポジトリを追加すると、自動エクスポート (新規、変更、削除) がデフォルトで有効になりますが、AWS CLI またはAmazon FSx API を使用した場合はデフォルトで無効になります。

ファイルシステムパスとデータリポジトリパスの設定により、Amazon FSx のパスと S3 のオブジェクトキーが 1 対 1 でマッピングされます。

トピック