データリポジトリタスク - FSx for Lustre

データリポジトリタスク

データリポジトリのインポートおよびエクスポートタスクを使用すると、FSx for Lustre ファイルシステムと Amazon S3 で耐久性のあるデータリポジトリ間のデータおよびメタデータの転送を管理できます。

[Data Repository Tasks] (データリポジトリタスク) は、FSx for Lustre ファイルシステムと S3 上のデータリポジトリ間のデータとメタデータの転送を最適化します。これを行う方法の 1 つは、Amazon FSx ファイルシステムとそのリンクされたデータリポジトリ間の変更を追跡することです。また、パラレル転送技術を使用して、最大数百 GB/秒の速度でデータを転送することによってこれを行います。データリポジトリタスクは、Amazon FSx コンソール、AWS CLI、および Amazon FSx API を使用して作成および表示します。

データリポジトリタスクは、所有権、許可、タイムスタンプなど、ファイルシステムのポータブルオペレーティングシステムインターフェイス (POSIX) メタデータを維持します。タスクはこのメタデータを保持するため、FSx for Lustre ファイルシステムとそのリンクされたデータリポジトリ間のアクセスコントロールを実装および維持できます。

リリースデータリポジトリタスクを使用して、Amazon S3 にエクスポートされたファイルをリリースすることで、新しいファイル用にファイルシステムのスペースを解放することができます。リリースされたファイルの内容は削除されますが、リリースされたファイルのメタデータはファイルシステムに残ります。ユーザーやアプリケーションは、リリースされたファイルを再度読み込むことで引き続きアクセスできます。ユーザーまたはアプリケーションがリリースされたファイルを読み取ると、FSx for Lustre はファイルコンテンツを Amazon S3 から透過的に取得します。

データリポジトリタスクのタイプ

データリポジトリタスクには 3 つのタイプがあります。

  • データリポジトリの [エクスポート] タスクは、Lustre ファイルシステムからリンクされた S3 バケットにエクスポートします。

  • データリポジトリの [インポート] タスクは、リンクされた S3 バケットから Lustre ファイルシステムにインポートします。

  • データリポジトリの [リリース] タスクは、リンクされている S3 バケットにエクスポートされたファイルを Lustre ファイルシステムからリリースします。

詳細については、「データリポジトリタスクの作成」を参照してください。