FSx for Lustre ファイルシステムのデプロイオプション - FSx for Lustre

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

FSx for Lustre ファイルシステムのデプロイオプション

FSx for Lustreは、パフォーマンスを最大化し、ボトルネックを軽減するために、複数のネットワークファイルサーバにデータを格納する、高性能のパラレルファイルシステムを提供します。サーバには複数のディスクがあります。ロードを分散するために、Amazon FSx はファイルシステムデータを小さなチャンクにシャードし、ストライプと呼ばれるプロセスを使用してディスクとサーバーに分散します。FSx for Lustre データストライプの詳細については、「ファイルシステム内のデータのストライピング」を参照してください。

Simple Storage Service (Amazon S3) に属する高い耐久性の長期データリポジトリを FSx for Lustre の高性能ファイルシステムとリンクすることがベストプラクティスです。

このシナリオでは、リンクされた Simple Storage Service (Amazon S3) データリポジトリにデータセットを保存します。FSx for Lustre ファイルシステムを作成するときは、S3 データリポジトリにリンクします。この時点で、S3 バケット内のオブジェクトは FSx ファイルシステム上のファイルとディレクトリとしてリストされます。Amazon FSx は、Amazon FSx ファイルシステム上で初めてファイルにアクセスしたときに、S3 から Lustre ファイルシステムにファイルの内容を自動的にコピーします。コンピューティングワークロードの実行後、またはいつでも、データリポジトリタスクを使用して S3 に変更をエクスポートすることができます。詳細については、「Amazon FSx for Lustre でデータリポジトリの使用」および「データリポジトリのタスクを使用した変更のエクスポート」を参照してください。

FSx for Lustre のファイルシステムデプロイオプション

Amazon FSx for Lustre には、2 つのファイルシステムデプロイオプション (スクラッチ および 永続的) があります。

注記

どちらのデプロイオプションでも、ソリッドステートドライブ (SSD) ストレージがサポートされています。ただし、ハードディスクドライブ (HDD) ストレージは、永続的デプロイタイプの 1 つでのみサポートされます。

ファイルシステムのデプロイタイプは、、 AWS Command Line Interface (AWS CLI) AWS Management Console、または Amazon FSx for Lustre API を使用して、新しいファイルシステムを作成するときに選択します。詳細については、「Amazon FSx API リファレンス」のFSx for Lustre ファイルシステムを作成する「」とCreateFile「システム」を参照してください。

保管中のデータの暗号化は、使用するデプロイタイプに関係なく、Amazon FSx for Lustre ファイルシステムを作成すると自動的に有効になります。スクラッチ 2 および永続ファイルシステムは、転送中の暗号化をサポートする Amazon EC2 インスタンスからアクセスされると、転送中のデータを自動的に暗号化します。暗号化の詳細については、「Amazon FSx for Lustre でのデータ暗号化」を参照してください。

スクラッチファイルシステム

スクラッチファイルシステム は、データのテンポラリストレージと短期間の処理のために設計されています。データはレプリケーションされず、ファイルサーバーに障害が発生しても永続しません。スクラッチファイルシステムでは、ストレージ容量 TiB あたり 200 MBps のベースラインスループットの最大 6 倍の高バーストスループットを提供します。詳細については、「ファイルシステムのパフォーマンスの集計」を参照してください。

短期的で処理負荷の高いワークロードにコスト最適化されたストレージが必要な場合は、スクラッチファイルシステムを使用します。

スクラッチファイルシステムでは、ファイルサーバーが失敗し、データがレプリケーションされない場合、ファイルサーバーは置き換えられません。スクラッチファイルシステム上でファイルサーバまたはストレージディスクが使用できなくなった場合でも、他のサーバに保存されているファイルには引き続きアクセスできます。クライアントが使用できないサーバーまたはディスク上のデータにアクセスしようとすると、クライアントは即座に I/O エラーを発生します。

次の表に、サンプルサイズのスクラッチファイルシステムに想定される 1 日および 1 週間の可用性と耐久性を示します。大規模なファイルシステムでは、ファイルサーバとディスクが多くなるため、障害が発生する可能性が高くなります。

ファイルシステムサイズ (TiB) ファイルサーバーの数 1 日の可用性 / 耐久性 1 週間の可用性 / 耐久性

1.2

2

99.9%

99.4%

2.4

2

99.9%

99.4%

4.8

3

99.8%

99.2%

9.6

5

99.8%

98.6%

50.4

22

99.1%

93.9%

永続的ファイルシステム

永続的ファイルシステム は、長期ストレージとワークロード用に設計されています。ファイルサーバーは高可用性であり、データはファイルシステムが存在するアベイラビリティーゾーン内で自動的にレプリケーションされます。ファイルサーバに添付されているデータボリュームは、添付先のファイルサーバとは別にレプリケーションされます。

Amazon FSx は、ハードウェア障害について永続的ファイルシステムを継続的にモニタリングし、障害発生時にインフラストラクチャのコンポーネントを自動的に置き換えます。永続的ファイルシステムでは、ファイルサーバが使用できなくなると、障害が発生してから数分以内にファイルサーバが自動的に置き換えられます。その間、クライアントはそのサーバー上のデータに対するリクエストを透過的に再試行し、最終的にファイルサーバーを交換した後に成功します。永続的ファイルシステム上のデータはディスク上にレプリケートされ、障害が発生したディスクはすべて自動的に透過的に置き換えられます。

長期ストレージや、長期間または無期限に実行され、可用性の中断の影響を受けやすいスループット重視のワークロードには、永続的ファイルシステムを使用します。

永続的デプロイタイプは、転送中の暗号化をサポートする Amazon EC2 インスタンスからアクセスされると、転送中のデータを自動的に暗号化します。

Amazon FSx for Lustre は、Persistent_1 と Persistent_2 の 2 つの永続デプロイタイプをサポートしています。

Persistent_2 デプロイタイプ

Persistent_2 は最新世代の Persistent デプロイタイプで、長期ストレージを必要とし、最高レベルの IOPS とスループットを必要とするレイテンシーの影響を受けやすいワークロードを使用するユースケースに最適です。Persistent_2 デプロイタイプは、Persistent_1 ファイルシステムと比較してユニットストレージあたりのスループットレベルが高く、ストレージユニットあたりのスループットは 125、250、500、1000 MB/秒/TiB の 4 レベルです。

Persistent_2 ファイルシステムの作成時にメタデータ設定を指定すると、ファイルシステムのストレージ容量とは無関係に、メタデータのパフォーマンスを経時的に向上させて、増加するパフォーマンス要件を満たし、より大きなワークロードをサポートできます。

Amazon FSx コンソール、および API を使用して AWS Command Line Interface、メタデータ設定モードで Persistent_2 ファイルシステムを作成できます。

Persistent_1 デプロイタイプ

Persistent_1 デプロイタイプは Lustre 2.10 または 2.12 上に構築でき、SSD (ソリッドステートドライブ) と HDD (ハードディスクドライブ) のストレージタイプをサポートします。Persistent_1 デプロイタイプは、長期ストレージを必要とし、レイテンシーの影響を受けないスループット重視のワークロードがあるユースケースに適しています。

SSD ストレージを備えた Persistent_1 ファイルシステムの場合、ストレージ単位あたりのスループットは、テビバイト (TiB) あたり 50、100、または 200 MB / 秒のいずれかになります。HDD ストレージの場合、ストレージ単位あたりの Persistent_1 スループットは、TiB あたり 12 または 40 MB / 秒です。

Persistent_1 デプロイタイプは、 AWS CLI と Amazon FSx API を使用してのみ作成できます。

利用できるリージョン

永続的なデプロイタイプは、次の で使用できます AWS リージョン。

AWS リージョン Persistent_1 Persistent_2

米国東部 (オハイオ)

米国東部 (バージニア北部)

米国東部 (アトランタ) ローカルゾーン

(永続 125 および 250 のみ)

米国西部(北カリフォルニア)

米国西部 (ロサンゼルス) ローカルゾーン

米国西部(オレゴン)

アフリカ (ケープタウン)

アジアパシフィック (香港)

アジアパシフィック (ハイデラバード)

アジアパシフィック (ジャカルタ)

アジアパシフィック (メルボルン)

アジアパシフィック(ムンバイ)

アジアパシフィック (大阪)

アジアパシフィック (ソウル)

アジアパシフィック (シンガポール)

アジアパシフィック (シドニー)

アジアパシフィック (東京)

カナダ (中部)

カナダ西部 (カルガリー)

(永続 125 および 250 のみ)

欧州 (フランクフルト)

欧州 (アイルランド)

欧州 (ロンドン)

欧州 (ミラノ)

欧州 (パリ)

欧州 (スペイン)

欧州 (ストックホルム)

欧州 (チューリッヒ)

イスラエル (テルアビブ)

(永続 125 および 250 のみ)

中東 (バーレーン)

中東 (アラブ首長国連邦)

南米(サンパウロ)

AWS GovCloud (米国東部)

AWS GovCloud (米国西部)

FSx for Lustre パフォーマンスの詳細については、「ファイルシステムのパフォーマンスの集計」を参照してください。