ファイルシステムを Amazon S3 バケットにリンクする - FSx Lustre 用

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ファイルシステムを Amazon S3 バケットにリンクする

Amazon FSx for Lustre ファイルシステムを Amazon S3 のデータリポジトリにリンクできます。リンクは、ファイルシステムの作成時、またはファイルシステムの作成後いつでも作成できます。

ファイルシステム上のディレクトリと S3 バケットまたはプレフィックス間のリンクは、データリポジトリの関連付け (DRA) と呼ばれます。FSx for Lustre ファイルシステムでは、最大 8 つのデータリポジトリの関連付けを設定できます。最大 8 つのDRAリクエストをキューに入れることができますが、ファイルシステムに対して一度に処理できるリクエストは 1 つだけです。各 には、Lustre ファイルシステムディレクトリFSx用に一意の と、一意の S3 バケットまたはプレフィックスが関連付けられているDRA必要があります。

注記

データリポジトリの関連付け、自動エクスポート、複数のデータリポジトリのサポートは、 FSx for Lustre 2.10 ファイルシステムまたは Scratch 1 ファイルシステムでは利用できません。

S3 データリポジトリ上のオブジェクトにファイルシステム上のファイルとディレクトリとしてアクセスするには、ファイルおよびディレクトリのメタデータをファイルシステムにロードする必要があります。リンクされたデータリポジトリからメタデータをロードするには、 を作成するか、後で FSx for Lustre ファイルシステムを使用してアクセスするファイルやディレクトリのバッチのメタデータをDRAロードします。また、データリポジトリのインポートタスクを使用して、自動エクスポートを使用して、オブジェクトがデータリポジトリに追加、変更、または削除されたときにメタデータを自動的にロードします。

DRA は、自動インポートのみ、自動エクスポートのみ、またはその両方に対して設定できます。自動インポートと自動エクスポートの両方で設定されたデータリポジトリの関連付けは、ファイルシステムとリンクされた S3 バケット間で両方向にデータを転送します。S3 データリポジトリ内のデータに変更を加えると、 FSx for Lustre は変更を検出し、変更をファイルシステムに自動的にインポートします。ファイルを作成、変更、または削除すると、アプリケーションがファイルの変更を完了すると、 FSx for Lustre は自動的に変更を Amazon S3 に非同期的にエクスポートします。

重要
  • ファイルシステムと S3 バケットの両方で同じファイルを変更する場合は、アプリケーションレベルを調整して競合を防ぐ必要があります。FSx for Lustre は、複数の場所での書き込みの競合を防ぐものではありません。

  • イミュータブル属性でマークされたファイルの場合、 FSx for Lustre は for FSx Lustre ファイルシステムとファイルシステムにリンクされた S3 バケットの間で変更を同期できません。イミュータブルフラグを長期間設定すると、Amazon FSx と S3 間のデータ移動のパフォーマンスが低下する可能性があります。

データリポジトリの関連付けを作成すると、次のプロパティを設定できます。

  • ファイルシステムパス - 以下の指定されたデータリポジトリパス one-to-one にマッピングされるディレクトリ ( など/ns1/) またはサブディレクトリ ( など/ns1/subdir/) を指すファイルシステム上のローカルパスを入力します。名前の先頭のスラッシュは必須です。2 つのデータリポジトリの関連付けは、重複するファイルシステムパスを持つことはできません。例えば、データリポジトリがファイルシステムパス /ns1 に関連付けられている場合、ファイルシステムパス /ns1/ns2 に別のデータリポジトリをリンクすることはできません。

    注記

    ファイルシステムパスとしてスラッシュ (/) のみを指定した場合、ファイルシステムにリンクできるデータリポジトリは 1 つだけです。「/」は、ファイルシステムに関連付けられた最初のデータリポジトリのファイルシステムパスとしてのみ指定できます。

  • データリポジトリパス - S3 データリポジトリにパスを入力します。パスには、次の S3 バケットまたは s3://bucket-name/prefix/ 形式のプレフィックスを使用できます。このプロパティは、S3 データリポジトリのファイルのインポート先またはエクスポート先を指定します。FSx for Lustre は、データリポジトリパスを指定しない場合、末尾に「/」を追加します。例えば、 のデータリポジトリパスを指定するとs3://amzn-s3-demo-bucket/my-prefix、 FSx for Lustre はそれを と解釈しますs3://amzn-s3-demo-bucket/my-prefix/

    2 つのデータリポジトリの関連付けは、重複するデータリポジトリパスを持つことはできません。例えば、パス s3://amzn-s3-demo-bucket/my-prefix/ があるデータリポジトリがファイルシステムにリンクされている場合、データリポジトリのパス s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix と別のデータリポジトリの関連付けを作成することはできません。

  • リポジトリからメタデータをインポートする - このオプションを選択すると、データリポジトリの関連付けを作成した直後にデータリポジトリ全体からメタデータをインポートできます。または、データリポジトリのインポートタスクを実行して、データリポジトリの関連付けが作成された後でも、リンクされたデータリポジトリのメタデータのすべてまたはサブセットをファイルシステムにロードできます。

  • 設定のインポート - リンクされた S3 バケットからファイルシステムに自動的にインポートされる、更新されたオブジェクトのタイプ (新規、変更、および削除の任意の組み合わせ) を指定するインポートポリシーを選択します。コンソールからデータリポジトリを追加すると、自動インポート (新規、変更、削除) がデフォルトで有効になりますが、 AWS CLI または Amazon FSx を使用する場合、デフォルトでは無効になりますAPI。

  • 設定をエクスポートする - S3 バケットに自動的にエクスポートされる更新されたオブジェクトのタイプ (新規、変更、および削除の任意の組み合わせ) を指定するエクスポートポリシーを選択します。コンソールからデータリポジトリを追加すると、自動エクスポート (新規、変更、削除) がデフォルトで有効になりますが、 AWS CLI または Amazon FSx を使用する場合、デフォルトでは無効になりますAPI。

ファイルシステムパスデータリポジトリパスの設定は、Amazon のパスFSxと S3 のオブジェクトキー間の 1:1 マッピングを提供します。