翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon FSx for Lustre とは何ですか？

FSx for Lustre を使用すると、人気のあるハイパフォーマンス Lustre ファイルシステムを簡単かつ費用効果の高い方法で起動して実行できます。機械学習、ハイパフォーマンスコンピューティング (HPC)、ビデオ処理、財務モデリングなど、速度が重要なワークロードには Lustre を使用します。

オープンソースの Lustre ファイルシステムは、高速ストレージを必要とするアプリケーション向けに設計されており、ストレージがコンピューティングに対応できるように設計されています。Lustre は、増え続ける世界のデータセットを迅速かつ安価に処理するという問題を解決するために構築されました。Lustre は、世界最速のコンピュータ向けに設計された、広く使用されているファイルシステムです。ミリ秒未満のレイテンシー、最大数百 Gbps のスループット、および最大数百万の IOPS を提供します。Lustre の詳細については、Lustre ウェブサイト を参照してください。

フルマネージドサービスである Amazon FSx を使用すると、ストレージ速度が重要なワークロードで Lustre を簡単に使用できます。FSx for Lustre は、Lustre ファイルシステムの設定と管理における従来の複雑さを排除し、バトルテスト済みのハイパフォーマンスファイルシステムを数分でスピンアップおよび実行できるようにします。また、複数のデプロイオプションが用意されているため、ニーズに合わせてコストを最適化できます。

FSx for Lustre は POSIX に準拠しているため、変更を加えなくても、現在の Linux ベースのアプリケーションを使用できます。FSx for Lustre は、ネイティブファイルシステムインターフェイスを提供し、他のあらゆるファイルシステムと同様に Linux オペレーティングシステムで機能します。また、 read-after-write整合性を提供し、ファイルロックもサポートします。

複数のデプロイオプション

Amazon FSx for Lustre は、さまざまなデータ処理のニーズに対応するために、スクラッチ ファイルシステムと 永続 ファイルシステムの選択肢を提供します。スクラッチファイルシステムは、テンポラリストレージと短期間のデータ処理に最適です。データはレプリケーションされず、ファイルサーバに障害が発生しても保持されません。整合性のあるファイルシステムは、長期的なストレージとスループット重視のワークロードに最適です。永続ファイルシステムでは、データがレプリケーションされ、障害が発生した場合はファイルサーバーが置き換えられます。詳細については、「FSx for Lustre ファイルシステムのデプロイオプション」を参照してください。

複数のストレージオプション

Amazon FSx for Lustre では、さまざまなデータ処理要件に最適化されたソリッドステートドライブ (SSD) およびハードディスクドライブ (HDD) ストレージタイプを選択できます。

HDD ストレージオプションを使用してファイルシステムをプロビジョニングする場合は、オプションで HDD ストレージ容量の 20% のサイズの読み取り専用 SSD キャッシュをプロビジョニングできます。これにより、頻繁にアクセスされるファイルに対して、サブミリ秒のレイテンシーとより高い IOPS が提供されます。SSD ベースと HDD ベースのファイルシステムは、SSD ベースのメタデータサーバーでプロビジョニングされます。その結果、ファイルシステムオペレーションの大部分を表すすべてのメタデータオペレーションは、ミリ秒未満のレイテンシーで配信されます。

ストレージオプションのパフォーマンスについては、「Amazon FSx for Lustre のパフォーマンス」を参照してください。

FSx for Lustre とデータリポジトリ

FSx for Lustre ファイルシステムを Simple Storage Service (Amazon S3) のデータリポジトリまたはオンプレミスのデータストアにリンクできます。

FSx for Lustre S3 データリポジトリ統合

FSx for Lustre は Simple Storage Service (Amazon S3) と統合されているため、Lustre のハイパフォーマンスファイルシステムを使用してクラウドデータセットを簡単に処理できます。Simple Storage Service (Amazon S3) バケットにリンクすると、FSx for Lustre ファイルシステムは S3 オブジェクトをファイルとして透過的に表示します。Amazon FSx は、ファイルシステムの作成時に S3 バケット内のすべての既存ファイルのリストをインポートします。Amazon FSx は、ファイルシステムの作成後にデータリポジトリに追加されたファイルのリストをインポートすることもできます。ワークフローのニーズに合わせてインポートプリファレンスを設定できます。ファイルシステムによって、ファイルシステムデータを S3 に書き戻すこともできます。データリポジトリタスクによって、FSx for Lustre ファイルシステムと Simple Storage Service (Amazon S3) 上の耐久性のあるデータリポジトリ間のデータとメタデータの転送が簡単に行えます。詳細については、「Amazon FSx for Lustre でデータリポジトリの使用」および「データリポジトリタスク」を参照してください。

FSx for Lustre およびオンプレミスのデータリポジトリ

Amazon FSx for Lustre では、 AWS Direct Connect または を使用してデータをインポート AWS クラウド することで、データ処理ワークロードをオンプレミスから にバーストできます AWS VPN。詳細については、「オンプレミスのデータに対する Amazon FSx の使用」を参照してください。

FSx for Lustre ファイルシステムへのアクセス

単一の FSx for Lustre ファイルシステムに接続されているコンピューティングインスタンスタイプと Linux Amazon マシンイメージ (AMI) を混在させて一致させることができます。

Amazon FSx for Lustre ファイルシステムには、Amazon Elastic Compute Cloud (Amazon EC2) インスタンス、Amazon Elastic Container Service (Amazon ECS) Docker コンテナ、および Amazon Elastic Kubernetes Service (Amazon EKS) で実行中のコンテナからアクセスできます。

Amazon FSx for Lustre は、Amazon Linux 2 および Amazon Linux、Red Hat Enterprise Linux (RHEL)、CentOS、Ubuntu、SUSE Linux など、最も人気の高い Linux ベースの AMI と互換性があります。Lustre クライアントは、Amazon Linux 2 および Amazon Linux に含まれています。RHEL、CentOS、Ubuntu の場合、 AWS Lustre クライアントリポジトリは、これらのオペレーティングシステムと互換性のあるクライアントを提供します。

FSx for Lustre を使用すると、 AWS Direct Connect または 経由でデータをインポート AWS クラウド することで、コンピューティング負荷の高いワークロードをオンプレミスから にバーストできます AWS Virtual Private Network。オンプレミスから Amazon FSx ファイルシステムにアクセスし、必要に応じてデータをファイルシステムにコピーし、クラウド内のインスタンスでコンピューティング集約型のワークロードを実行できます。

FSx for Lustre ファイルシステムにアクセスできるクライアント、コンピューティングインスタンス、および環境の詳細については、「ファイルシステムへのアクセス」を参照してください。

AWS サービスとの統合

Amazon FSx for Lustre は、入力データソース SageMaker として Amazon と統合されます。FSx for Lustre SageMaker で を使用すると、Amazon S3 からの最初のダウンロードステップがなくなるため、機械学習トレーニングジョブが高速化されます。さらに、S3 リクエストのコストを節約することで、同じデータセットで反復ジョブの一般的なオブジェクトが繰り返しダウンロードされるのを防ぐことができるため、総保有コスト (TCO) を削減することができます。詳細については、「Amazon SageMaker デベロッパーガイド」の SageMaker「 とは」を参照してください。Amazon FSx for Lustre を のデータソースとして使用する方法のチュートリアルについては SageMaker、 AWS Machine Learning Blog の「Amazon FSx for Lustre と Amazon EFS ファイルシステム SageMaker を使用して Amazon でのトレーニングを高速化する」を参照してください。

FSx for Lustre は、EC2 起動テンプレート AWS Batch を使用して と統合されます。 AWS Batch を使用すると、ハイパフォーマンスコンピューティング (HPC) AWS クラウド、機械学習 (ML)、その他の非同期ワークロードなど、 でバッチコンピューティングワークロードを実行できます。 は、ジョブリソースの要件に基づいてインスタンスを AWS Batch 自動的かつ動的にサイズ設定します。詳細については、「 ユーザーガイド」の AWS Batch「 とはAWS Batch 」を参照してください。

FSx for Lustre は と統合されています AWS ParallelCluster。 AWS ParallelCluster は、HPC クラスターのデプロイと管理に使用される が AWSサポートするオープンソースのクラスター管理ツールです。クラスター作成プロセス中に、FSx for Lustre ファイルシステムを自動的に作成したり、既存のファイルシステムを使用したりできます。

セキュリティとコンプライアンス

FSx for Lustre ファイルシステムでは、保管時と転送中の暗号化がサポートされています。Amazon FSx は、 AWS Key Management Service () で管理されるキーを使用して、保管中のファイルシステムデータを自動的に暗号化しますAWS KMS。また、転送中のデータは、サポートされている Amazon EC2 インスタンスからアクセスされると、特定の AWS リージョン のファイルシステムで自動的に暗号化されます。転送中のデータの暗号化がサポートされている AWS リージョン 場所など、FSx for Lustre のデータ暗号化の詳細については、「」を参照してくださいAmazon FSx for Lustre でのデータ暗号化。Amazon FSx は、ISO、PCI-DSS、および SOC の認定に準拠していると評価されており、HIPAA の対象となります。詳細については、「FSx for Lustre のセキュリティー」を参照してください。

前提

このガイドでは、以下の仮定を行います。

Amazon FSx for Lustre の料金

Amazon FSx for Lustre では、ハードウェアやソフトウェアの前払い費用は発生しません。最低コミットメント、セットアップコスト、追加料金なしで、使用したリソースに対してのみ、お支払いいただきます。サービスに関連した料金や費用については、「 Amazon FSx for Lustre の料金」を参照してください。

Amazon FSx for Lustre フォーラム

Amazon FSx for Lustre の使用中に問題が発生した場合は、フォーラム を確認してください。

Amazon FSx for Lustre を初めてお使いですか？

Amazon FSx for Lustre を初めて使用する方は、以下のセクションを順に読むことをお勧めします。