翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
[fsx]
セクション
アタッチされた FSx for Lustre ファイルシステムの設定を定義します。詳細については、「Amazon FSx API リファレンス」の「Amazon FSx CreateFileSystem」を参照してください。
FSx for Lustre は,base_os が alinux2
、centos7
、ubuntu1804
、または ubuntu2004
の場合に対応しています。
Amazon Linux を使用する場合、カーネルは 4.14.104-78.84.amzn1.x86_64
以上である必要があります。手順については、「Amazon FSx for Lustre ユーザーガイド」の「Lustre クライアントをインストールする」を参照してください。
注記
awsbatch
をスケジューラとして使用する場合、FSx for Lustre は現在サポートされていません。
注記
AWS ParallelCluster バージョン 2.10.4 では centos8
の FSx for Lustre がサポートされなくなりました。ubuntu2004
バージョン 2.11.0 で AWS ParallelCluster の FSx for Lustre をサポートしました。AWS ParallelCluster バージョン 2.10.0 で centos8
の FSx for Lustre をサポートしました。AWS ParallelCluster バージョン 2.6.0 で FSx for Lustre の alinux2
、ubuntu1604
、ubuntu1804
をサポートしました。AWS ParallelCluster バージョン 2.4.0 で centos7
の FSx for Lustre をサポートしました。
既存のファイルシステムを使用する場合は、ポート 988
経由のインバウンドの TCP トラフィックを許可するセキュリティグループに関連付ける必要があります。セキュリティグループルールでソースを 0.0.0.0/0
に設定すると、そのルールのプロトコルとポート範囲に対する VPC セキュリティグループ内のすべての IP 範囲からのクライアントアクセスが可能になります。ファイルシステムへのアクセスをさらに制限するために、セキュリティグループルールには、より限定的なソースを使用することをお勧めします。例えば、より具体的な CIDR の範囲、IP アドレス、セキュリティグループ ID などを使用することができます。vpc_security_group_id を使用しない場合、これは自動的に行われます。
クラスターのライフサイクルとは関係なく、既存の Amazon FSx ファイルシステムを長期の永続的なストレージとして使用するには、fsx_fs_id を指定します。
fsx_fs_id を指定しない場合、AWS ParallelCluster は、クラスターの作成時に [fsx]
設定からFSx for Lustre ファイルシステムを作成し、クラスターを削除するときにファイルシステムとデータを削除します。
詳細については、「ベストプラクティス: AWS ParallelCluster クラスターを新しいマイナーバージョンまたはパッチバージョンに移動する」を参照してください。
形式は、[fsx
です。fsx-name
]fsx-name
は、英字で始まり、30 文字以下で、英字、数字、ハイフン (-)、アンダーライン (‗) のみで構成される必要があります。
[fsx fs] shared_dir = /fsx fsx_fs_id =
fs-073c3803dca3e28a6
新しいファイルシステムを作成し、設定するには、次のパラメータを使用します。
[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://
bucket/folder
import_path = s3://bucket
weekly_maintenance_start_time = 1:00:00
トピック
- auto_import_policy
- automatic_backup_retention_days
- copy_tags_to_backups
- daily_automatic_backup_start_time
- data_compression_type
- deployment_type
- drive_cache_type
- export_path
- fsx_backup_id
- fsx_fs_id
- fsx_kms_key_id
- import_path
- imported_file_chunk_size
- per_unit_storage_throughput
- shared_dir
- storage_capacity
- storage_type
- weekly_maintenance_start_time
auto_import_policy
(オプション) FSx for Lustre ファイルシステムの作成に使用する S3 バケットに変更を反映させるための自動インポートポリシーを指定します。取り得る値には以下のものがあります。
NEW
-
FSx for Lustre は、リンクされた S3 バケットに追加された新しいオブジェクトのうち、現在 FSx for Lustre ファイルシステム内に存在しないオブジェクトのディレクトリリストを自動的にインポートします。
NEW_CHANGED
-
S3 バケットに追加された新しいオブジェクトや S3 バケットで変更された既存のオブジェクトのファイルとディレクトリのリストが、FSx for Lustre によって自動的にインポートされます。
これは、AutoImportPolicy プロパティに対応しています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「S3 バケットから更新を自動的にインポートする」を参照してください。auto_import_policy パラメータを指定する場合、automatic_backup_retention_days、copy_tags_to_backups、daily_automatic_backup_start_time および fsx_backup_id パラメータを指定してはいけません。
auto_import_policy
の設定が指定されていない場合、自動インポートは無効になります。FSx for Lustre は、ファイルシステムの作成時に、リンクされた S3 バケットのファイルとディレクトリのリストのみを更新します。
auto_import_policy = NEW_CHANGED
注記
AWS ParallelCluster バージョン 2.10.0 で auto_import_policy をサポートしました。
更新ポリシー: この設定が変更された場合、更新は許可されません。
automatic_backup_retention_days
(オプション) 自動バックアップを保持する日数を指定します。これは、PERSISTENT_1
デプロイタイプでのみ有効です。automatic_backup_retention_days パラメータを指定する場合、auto_import_policy、export_path、import_path および imported_file_chunk_size パラメータを指定してはいけません。これは、AutomaticBackupRetentionDays プロパティに対応しています。
デフォルト値は 0 です。この設定は、自動バックアップを無効にします。指定できる値は 0 から 35 までの整数です。
automatic_backup_retention_days = 35
注記
AWS ParallelCluster バージョン 2.8.0 で automatic_backup_retention_days をサポートしました。
copy_tags_to_backups
(オプション) ファイルシステムのタグをバックアップにコピーするかどうかを指定します。これは、PERSISTENT_1
デプロイタイプでのみ有効です。copy_tags_to_backups パラメータを指定した場合、automatic_backup_retention_days には 0 以上の値を指定し、auto_import_policy、export_path、import_path および imported_file_chunk_size パラメータは指定してはいけません。これは、CopyTagsToBackups プロパティに対応しています。
デフォルト値は false
です。
copy_tags_to_backups = true
注記
AWS ParallelCluster バージョン 2.8.0 で copy_tags_to_backups をサポートしました。
更新ポリシー: この設定が変更された場合、更新は許可されません。
daily_automatic_backup_start_time
(オプション) 自動バックアップを開始する時刻 (UTC) を指定します。これは、PERSISTENT_1
デプロイタイプでのみ有効です。daily_automatic_backup_start_time パラメータを指定した場合、automatic_backup_retention_days には 0 以上の値を指定し、auto_import_policy、export_path、import_path および imported_file_chunk_size パラメータは指定してはいけません。これは、DailyAutomaticBackupStartTime プロパティに対応しています。
フォーマットは HH:MM
で、HH
はゼロパディングされたその日の時間 (0~23)、MM
はゼロパディングされたその日の分を表します。例えば、午前 1:03 UTC は次のようになります。
daily_automatic_backup_start_time = 01:03
初期値は 00:00
~23:59
の間のランダムな時間です。
注記
AWS ParallelCluster バージョン 2.8.0 で daily_automatic_backup_start_time をサポートしました。
data_compression_type
(オプション) FSx for Lustre のデータ圧縮タイプを指定します。これは、DataCompressionType プロパティに対応しています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「FSx for Lustre データ圧縮」を参照してください。
唯一の有効な値は LZ4
です。データ圧縮を無効にするには、data_compression_type パラメータを削除します。
data_compression_type = LZ4
注記
AWS ParallelCluster バージョン 2.11.0 で data_compression_type をサポートしました。
deployment_type
(オプション) FSx for Lustre のデプロイタイプを指定します。これは、DeploymentType プロパティに対応しています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「FSx for Lustre デプロイオプション」を参照してください。一時ストレージとデータの短期処理には、スクラッチデプロイタイプを選択します。SCRATCH_2
は、最新世代のスクラッチファイルシステムです。ベースラインスループットよりも高いバーストスループットと、データの転送中の暗号化を実現しています。
有効な値は SCRATCH_1
、SCRATCH_2
、および PERSISTENT_1
です。
SCRATCH_1
-
FSx for Lustre のデフォルトのデプロイタイプ。このデプロイタイプでは、storage_capacity 設定の可能な値は 1200、2400、および 3600 の倍数です。AWS ParallelCluster バージョン 2.4.0 で
SCRATCH_1
をサポートしました。 SCRATCH_2
-
最新世代のスクラッチファイルシステム。スパイキーなワークロードに対して、ベースラインの最大 6 倍のスループットをサポートします。また、サポートされている AWS リージョン のサポートされているインスタンスタイプでは、データの転送中の暗号化もサポートされています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「転送中のデータの暗号化」を参照してください。このデプロイタイプでは、storage_capacity 設定の可能な値は 1200 および 2400 の倍数です。AWS ParallelCluster バージョン 2.6.0 で
SCRATCH_2
をサポートしました。 PERSISTENT_1
-
長期ストレージ用に設計されています。ファイルサーバーは高可用性であり、データはファイルシステムの AWS アベイラビリティーゾーン内で自動的にレプリケーションされます。サポートされているインスタンスタイプでは、データの転送中の暗号化もサポートされています。このデプロイタイプでは、storage_capacity 設定の可能な値は 1200 および 2400 の倍数です。AWS ParallelCluster バージョン 2.6.0 で
PERSISTENT_1
をサポートしました。
デフォルト値は SCRATCH_1
です。
deployment_type = SCRATCH_2
注記
AWS ParallelCluster バージョン 2.6.0 で deployment_type をサポートしました。
更新ポリシー: この設定が変更された場合、更新は許可されません。
drive_cache_type
(オプション) ファイルシステムに SSD ドライブキャッシュを搭載することを指定します。storage_type の設定が HDD
になっている場合のみ設定可能です。これは、DriveCacheType プロパティに対応しています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「FSx for Lustre デプロイオプション」を参照してください。
唯一の有効な値は READ
です。SSD ドライブのキャッシュを無効にするには、drive_cache_type
の設定を指定しないでください。
drive_cache_type = READ
注記
AWS ParallelCluster バージョン 2.10.0 で drive_cache_type をサポートしました。
更新ポリシー: この設定が変更された場合、更新は許可されません。
export_path
(オプション) ファイルシステムのルートがエクスポートされる Amazon S3 パスを指定します。export_path パラメータを指定する場合、automatic_backup_retention_days、copy_tags_to_backups、daily_automatic_backup_start_time および fsx_backup_id パラメータを指定してはいけません。これは、ExportPath プロパティに対応しています。ファイルのデータやメタデータが自動的に export_path
にエクスポートされません。データやメタデータのエクスポートについては、「Amazon FSx for Lustre ユーザーガイド」の「データリポジトリに変更をエクスポートする」を参照してください。
デフォルト値は s3://
です。ここで、import-bucket
/FSxLustre[creation-timestamp]
は import_path パラメータで指定されるバケットです。import-bucket
export_path = s3://
bucket/folder
更新ポリシー: この設定が変更された場合、更新は許可されません。
fsx_backup_id
(オプション) 既存のバックアップからファイルシステムを復元する際に使用するバックアップの ID を指定します。fsx_backup_id パラメータが指定されている場合、auto_import_policy、deployment_type、export_path、fsx_kms_key_id、import_path、imported_file_chunk_size、storage_capacity および per_unit_storage_throughput パラメータは指定できません。これらのパラメータはバックアップから読み込まれます。また、auto_import_policy、export_path、import_path および imported_file_chunk_size パラメータは指定できません。
これは、BackupId プロパティに対応しています。
fsx_backup_id = backup-fedcba98
注記
AWS ParallelCluster バージョン 2.8.0 で fsx_backup_id をサポートしました。
更新ポリシー: この設定が変更された場合、更新は許可されません。
fsx_fs_id
(オプション) 既存の FSx for Lustre ファイルシステムをアタッチします。
このオプションを指定した場合、[fsx] セクションの shared_dir および fsx_fs_id の設定のみが使用され、[fsx] セクションのその他の設定は無視されます。
fsx_fs_id = fs-073c3803dca3e28a6
更新ポリシー: この設定が変更された場合、更新は許可されません。
fsx_kms_key_id
(オプション) AWS Key Management Service (AWS KMS) カスタマー管理キーのキー ID を指定します。
このキーは、保管時のファイルシステムのデータを暗号化するために使用されます。
これは、カスタム ec2_iam_role と使用する必要があります。詳細については、「カスタム KMS キーを使用したディスク暗号化」を参照してください。これは、Amazon FSx API リファレンスの KmsKeyId パラメータに対応しています。
fsx_kms_key_id =
xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
注記
AWS ParallelCluster バージョン 2.6.0 で fsx_kms_key_id をサポートしました。
更新ポリシー: この設定が変更された場合、更新は許可されません。
import_path
(オプション) データをファイルシステムにロードし、エクスポートバケットとして機能する S3 バケットを指定します。詳細については、「export_path」を参照してください。import_path パラメータを指定する場合、automatic_backup_retention_days、copy_tags_to_backups、daily_automatic_backup_start_time および fsx_backup_id パラメータを指定してはいけません。これは、Amazon FSx API リファレンスの ImportPath パラメータに対応しています。
インポートは、クラスター作成時に行われます。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「データリポジトリからデータをインポートする」を参照してください。インポート時には、ファイルのメタデータ (名前、所有権、タイムスタンプ、パーミッション) のみがインポートされます。ファイルデータは、ファイルが最初にアクセスされるまで、S3 バケットからインポートされません。ファイルコンテンツのプリロードについては、「Amazon FSx for Lustre ユーザーガイド」の「ファイルシステムへのファイルのプリロード」をご参照ください。
値が指定されない場合、ファイルシステムは空になります。
import_path = s3://
bucket
更新ポリシー: この設定が変更された場合、更新は許可されません。
imported_file_chunk_size
(オプション) データリポジトリからインポートされたファイルの場合 (import_path を使用)、この値がストライプカウントと 1 つの物理ディスクに保存されたファイルごとの最大データ量 (MiB 単位) を決定します。1 つのファイルにストライピングできるディスクの最大数は、ファイルシステムを構成するディスクの合計数によって制限されます。imported_file_chunk_size パラメータを指定する場合、automatic_backup_retention_days、copy_tags_to_backups、daily_automatic_backup_start_time および fsx_backup_id パラメータを指定してはいけません。これは、ImportedFileChunkSize プロパティに対応しています。
チャンクサイズのデフォルトは 1024
(1 GiB) であり、それは、512,000 MiB (500 GiB) まで高くすることができます。Amazon S3 オブジェクトの最大サイズは 5 TB です。
imported_file_chunk_size = 1024
更新ポリシー: この設定が変更された場合、更新は許可されません。
per_unit_storage_throughput
(PERSISTENT_1
デプロイタイプに必須) deployment_type = PERSISTENT_1
デプロイタイプの場合、1 テラバイト (TiB) のストレージごとの読み取りおよび書き込みスループットの量を MB/s/TiB 単位で取得します。ファイルシステムのスループット容量は、ファイルシステムのストレージ容量 (TiB) に per_unit_storage_throughput (MB/s/TiB) を掛けて計算されます。2.4 TiB のファイルシステムの場合、50 MB/s/TiB の per_unit_storage_throughput をプロビジョニングすると、ファイルシステムのスループットは 120 MB/s になります。プロビジョニングしたスループットに対して支払いが発生します。これは、PerUnitStorageThroughput プロパティに対応しています。
設定可能な値は、storage_type の設定値によって異なります。
storage_type = SSD
-
指定できる値は 50、100、200 です。
storage_type = HDD
-
指定できる値は 12、40 です。
per_unit_storage_throughput = 200
注記
AWS ParallelCluster バージョン 2.6.0 で per_unit_storage_throughput をサポートしました。
更新ポリシー: この設定が変更された場合、更新は許可されません。
shared_dir
(必須) ヘッドノードとコンピューティングノードで FSx for Lustre ファイルシステムのマウントポイントを定義します。
共有ディレクトリとして /NONE
または NONE
を使用しないでください。
次の例では、ファイルシステムを /fsx
にマウントします。
shared_dir = /fsx
更新ポリシー: この設定が変更された場合、更新は許可されません。
storage_capacity
(必須) ファイルシステムのストレージ容量 (GiB 単位) を指定します。これは、StorageCapacity プロパティに対応しています。
ストレージ容量の可能な値は deployment_type 設定によって異なります。
SCRATCH_1
-
可能な値は 1200、2400、および 3600 の倍数です。
SCRATCH_2
-
可能な値は 1200 および 2400 の倍数です。
PERSISTENT_1
-
設定可能な値は、他の設定の値によって異なります。
storage_type = SSD
-
可能な値は 1200 および 2400 の倍数です。
storage_type = HDD
-
設定可能な値は、per_unit_storage_throughput の設定内容によって異なります。
per_unit_storage_throughput = 12
-
可能な値は 6000 の倍数です。
per_unit_storage_throughput = 40
-
可能な値は 1800 の倍数です。
storage_capacity = 7200
注記
AWS ParallelCluster バージョン 2.5.0 および 2.5.1 では、storage_capacity の可能な値は 1200、2400、および 3600 の倍数です。AWS ParallelCluster バージョン 2.5.0 より前のバージョンでは、storage_capacity の最小サイズは 3600 でした。
更新ポリシー: この設定が変更された場合、更新は許可されません。
storage_type
(オプション) フファイルシステムのストレージタイプを指定します。これは、StorageType プロパティに対応しています。指定できる値は SSD
および HDD
です。デフォルト: SSD
。
ストレージタイプによって、他の設定の可能な値が変わります。
storage_type = SSD
-
ソリッドステートドライブ (SSD) ストレージタイプを指定します。
storage_type = SSD
は、他のいくつかの設定の可能な値を変更します。- drive_cache_type
-
この設定は指定できません。
- deployment_type
-
この設定は、
SCRATCH_1
、SCRATCH_2
、PERSISTENT_1
のいずれかに設定できます。 - per_unit_storage_throughput
-
deployment_type を
PERSISTENT_1
に設定する場合は、この設定を指定する必要があります。指定できる値は 50、100、200 です。 - storage_capacity
-
この設定は必ず指定する必要があります。可能な値は、deployment_type に基づいて変化します。
deployment_type = SCRATCH_1
-
storage_capacity は 1200、2400、または 3600 の任意の倍数です。
deployment_type = SCRATCH_2
、またはdeployment_type = PERSISTENT_1
-
storage_capacity は 1200、または 2400 の任意の倍数です。
storage_type = HDD
-
ハードディスクドライブ (HDD) のストレージタイプを指定します。
storage_type = HDD
は、他の設定の可能な値を変更します。- drive_cache_type
-
この設定を指定することができます。
- deployment_type
-
この設定は
PERSISTENT_1
に設定する必要があります。 - per_unit_storage_throughput
-
この設定は必ず指定する必要があります。指定できる値は 12、または、40 です。
- storage_capacity
-
この設定は必ず指定する必要があります。設定可能な値は、per_unit_storage_throughput の設定によって異なります。
storage_capacity = 12
-
storage_capacity は 6000 の任意の倍数です。
storage_capacity = 40
-
storage_capacity は 1800 の任意の倍数です。
storage_type = SSD
注記
AWS ParallelCluster バージョン 2.10.0 で storage_type をサポートしました。
更新ポリシー: この設定が変更された場合、更新は許可されません。
weekly_maintenance_start_time
(オプション) 毎週のメンテナンスを実行する推奨時間 (UTC タイムゾーン) を指定します。これは、WeeklyMaintenanceStartTime プロパティに対応しています。
形式は [曜日]: [時間]: [分] です。例えば、月曜日の深夜は次のようになります。
weekly_maintenance_start_time = 1:00:00