[fsx] セクション - AWS ParallelCluster

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

[fsx] セクション

アタッチされた FSx for Lustre ファイルシステムの設定を定義します。詳細については、「Amazon FSx API リファレンス」の「Amazon FSx CreateFileSystem」を参照してください。

FSx for Lustre は,base_osalinux2centos7ubuntu1804、または ubuntu2004 の場合に対応しています。

Amazon Linux を使用する場合、カーネルは 4.14.104-78.84.amzn1.x86_64 以上である必要があります。手順については、「Amazon FSx for Lustre ユーザーガイド」の「Lustre クライアントをインストールする」を参照してください。

注記

awsbatch をスケジューラとして使用する場合、FSx for Lustre は現在サポートされていません。

注記

AWS ParallelCluster バージョン 2.10.4 では centos8 の FSx for Lustre がサポートされなくなりました。ubuntu2004 バージョン 2.11.0 で AWS ParallelCluster の FSx for Lustre をサポートしました。AWS ParallelCluster バージョン 2.10.0 で centos8 の FSx for Lustre をサポートしました。AWS ParallelCluster バージョン 2.6.0 で FSx for Lustre の alinux2ubuntu1604ubuntu1804 をサポートしました。AWS ParallelCluster バージョン 2.4.0 で centos7 の FSx for Lustre をサポートしました。

既存のファイルシステムを使用する場合は、ポート 988 経由のインバウンドの TCP トラフィックを許可するセキュリティグループに関連付ける必要があります。セキュリティグループルールでソースを 0.0.0.0/0 に設定すると、そのルールのプロトコルとポート範囲に対する VPC セキュリティグループ内のすべての IP 範囲からのクライアントアクセスが可能になります。ファイルシステムへのアクセスをさらに制限するために、セキュリティグループルールには、より限定的なソースを使用することをお勧めします。例えば、より具体的な CIDR の範囲、IP アドレス、セキュリティグループ ID などを使用することができます。vpc_security_group_id を使用しない場合、これは自動的に行われます。

クラスターのライフサイクルとは関係なく、既存の Amazon FSx ファイルシステムを長期の永続的なストレージとして使用するには、fsx_fs_id を指定します。

fsx_fs_id を指定しない場合、AWS ParallelCluster は、クラスターの作成時に [fsx] 設定からFSx for Lustre ファイルシステムを作成し、クラスターを削除するときにファイルシステムとデータを削除します。

詳細については、「ベストプラクティス: AWS ParallelCluster クラスターを新しいマイナーバージョンまたはパッチバージョンに移動する」を参照してください。

形式は、[fsx fsx-name] です。fsx-name は、英字で始まり、30 文字以下で、英字、数字、ハイフン (-)、アンダーライン (‗) のみで構成される必要があります。

[fsx fs] shared_dir = /fsx fsx_fs_id = fs-073c3803dca3e28a6

新しいファイルシステムを作成し、設定するには、次のパラメータを使用します。

[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://bucket/folder import_path = s3://bucket weekly_maintenance_start_time = 1:00:00

auto_import_policy

(オプション) FSx for Lustre ファイルシステムの作成に使用する S3 バケットに変更を反映させるための自動インポートポリシーを指定します。取り得る値には以下のものがあります。

NEW

FSx for Lustre は、リンクされた S3 バケットに追加された新しいオブジェクトのうち、現在 FSx for Lustre ファイルシステム内に存在しないオブジェクトのディレクトリリストを自動的にインポートします。

NEW_CHANGED

S3 バケットに追加された新しいオブジェクトや S3 バケットで変更された既存のオブジェクトのファイルとディレクトリのリストが、FSx for Lustre によって自動的にインポートされます。

これは、AutoImportPolicy プロパティに対応しています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「S3 バケットから更新を自動的にインポートする」を参照してください。auto_import_policy パラメータを指定する場合、automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time および fsx_backup_id パラメータを指定してはいけません。

auto_import_policy の設定が指定されていない場合、自動インポートは無効になります。FSx for Lustre は、ファイルシステムの作成時に、リンクされた S3 バケットのファイルとディレクトリのリストのみを更新します。

auto_import_policy = NEW_CHANGED
注記

AWS ParallelCluster バージョン 2.10.0 で auto_import_policy をサポートしました。

更新ポリシー: この設定が変更された場合、更新は許可されません。

automatic_backup_retention_days

(オプション) 自動バックアップを保持する日数を指定します。これは、PERSISTENT_1 デプロイタイプでのみ有効です。automatic_backup_retention_days パラメータを指定する場合、auto_import_policyexport_pathimport_path および imported_file_chunk_size パラメータを指定してはいけません。これは、AutomaticBackupRetentionDays プロパティに対応しています。

デフォルト値は 0 です。この設定は、自動バックアップを無効にします。指定できる値は 0 から 35 までの整数です。

automatic_backup_retention_days = 35
注記

AWS ParallelCluster バージョン 2.8.0 で automatic_backup_retention_days をサポートしました。

更新ポリシー: この設定は、更新中に変更できます。

copy_tags_to_backups

(オプション) ファイルシステムのタグをバックアップにコピーするかどうかを指定します。これは、PERSISTENT_1 デプロイタイプでのみ有効です。copy_tags_to_backups パラメータを指定した場合、automatic_backup_retention_days には 0 以上の値を指定し、auto_import_policyexport_pathimport_path および imported_file_chunk_size パラメータは指定してはいけません。これは、CopyTagsToBackups プロパティに対応しています。

デフォルト値は false です。

copy_tags_to_backups = true
注記

AWS ParallelCluster バージョン 2.8.0 で copy_tags_to_backups をサポートしました。

更新ポリシー: この設定が変更された場合、更新は許可されません。

daily_automatic_backup_start_time

(オプション) 自動バックアップを開始する時刻 (UTC) を指定します。これは、PERSISTENT_1 デプロイタイプでのみ有効です。daily_automatic_backup_start_time パラメータを指定した場合、automatic_backup_retention_days には 0 以上の値を指定し、auto_import_policyexport_pathimport_path および imported_file_chunk_size パラメータは指定してはいけません。これは、DailyAutomaticBackupStartTime プロパティに対応しています。

フォーマットは HH:MM で、HH はゼロパディングされたその日の時間 (0~23)、MM はゼロパディングされたその日の分を表します。例えば、午前 1:03 UTC は次のようになります。

daily_automatic_backup_start_time = 01:03

初期値は 00:0023:59 の間のランダムな時間です。

注記

AWS ParallelCluster バージョン 2.8.0 で daily_automatic_backup_start_time をサポートしました。

更新ポリシー: この設定は、更新中に変更できます。

data_compression_type

(オプション) FSx for Lustre のデータ圧縮タイプを指定します。これは、DataCompressionType プロパティに対応しています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「FSx for Lustre データ圧縮」を参照してください。

唯一の有効な値は LZ4 です。データ圧縮を無効にするには、data_compression_type パラメータを削除します。

data_compression_type = LZ4
注記

AWS ParallelCluster バージョン 2.11.0 で data_compression_type をサポートしました。

更新ポリシー: この設定は、更新中に変更できます。

deployment_type

(オプション) FSx for Lustre のデプロイタイプを指定します。これは、DeploymentType プロパティに対応しています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「FSx for Lustre デプロイオプション」を参照してください。一時ストレージとデータの短期処理には、スクラッチデプロイタイプを選択します。SCRATCH_2 は、最新世代のスクラッチファイルシステムです。ベースラインスループットよりも高いバーストスループットと、データの転送中の暗号化を実現しています。

有効な値は SCRATCH_1SCRATCH_2、および PERSISTENT_1 です。

SCRATCH_1

FSx for Lustre のデフォルトのデプロイタイプ。このデプロイタイプでは、storage_capacity 設定の可能な値は 1200、2400、および 3600 の倍数です。AWS ParallelCluster バージョン 2.4.0 で SCRATCH_1 をサポートしました。

SCRATCH_2

最新世代のスクラッチファイルシステム。スパイキーなワークロードに対して、ベースラインの最大 6 倍のスループットをサポートします。また、サポートされている AWS リージョン のサポートされているインスタンスタイプでは、データの転送中の暗号化もサポートされています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「転送中のデータの暗号化」を参照してください。このデプロイタイプでは、storage_capacity 設定の可能な値は 1200 および 2400 の倍数です。AWS ParallelCluster バージョン 2.6.0 で SCRATCH_2 をサポートしました。

PERSISTENT_1

長期ストレージ用に設計されています。ファイルサーバーは高可用性であり、データはファイルシステムの AWS アベイラビリティーゾーン内で自動的にレプリケーションされます。サポートされているインスタンスタイプでは、データの転送中の暗号化もサポートされています。このデプロイタイプでは、storage_capacity 設定の可能な値は 1200 および 2400 の倍数です。AWS ParallelCluster バージョン 2.6.0 で PERSISTENT_1 をサポートしました。

デフォルト値は SCRATCH_1 です。

deployment_type = SCRATCH_2
注記

AWS ParallelCluster バージョン 2.6.0 で deployment_type をサポートしました。

更新ポリシー: この設定が変更された場合、更新は許可されません。

drive_cache_type

(オプション) ファイルシステムに SSD ドライブキャッシュを搭載することを指定します。storage_type の設定が HDD になっている場合のみ設定可能です。これは、DriveCacheType プロパティに対応しています。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「FSx for Lustre デプロイオプション」を参照してください。

唯一の有効な値は READ です。SSD ドライブのキャッシュを無効にするには、drive_cache_type の設定を指定しないでください。

drive_cache_type = READ
注記

AWS ParallelCluster バージョン 2.10.0 で drive_cache_type をサポートしました。

更新ポリシー: この設定が変更された場合、更新は許可されません。

export_path

(オプション) ファイルシステムのルートがエクスポートされる Amazon S3 パスを指定します。export_path パラメータを指定する場合、automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time および fsx_backup_id パラメータを指定してはいけません。これは、ExportPath プロパティに対応しています。ファイルのデータやメタデータが自動的に export_path にエクスポートされません。データやメタデータのエクスポートについては、「Amazon FSx for Lustre ユーザーガイド」の「データリポジトリに変更をエクスポートする」を参照してください。

デフォルト値は s3://import-bucket/FSxLustre[creation-timestamp] です。ここで、import-bucketimport_path パラメータで指定されるバケットです。

export_path = s3://bucket/folder

更新ポリシー: この設定が変更された場合、更新は許可されません。

fsx_backup_id

(オプション) 既存のバックアップからファイルシステムを復元する際に使用するバックアップの ID を指定します。fsx_backup_id パラメータが指定されている場合、auto_import_policydeployment_typeexport_pathfsx_kms_key_idimport_pathimported_file_chunk_sizestorage_capacity および per_unit_storage_throughput パラメータは指定できません。これらのパラメータはバックアップから読み込まれます。また、auto_import_policyexport_pathimport_path および imported_file_chunk_size パラメータは指定できません。

これは、BackupId プロパティに対応しています。

fsx_backup_id = backup-fedcba98
注記

AWS ParallelCluster バージョン 2.8.0 で fsx_backup_id をサポートしました。

更新ポリシー: この設定が変更された場合、更新は許可されません。

fsx_fs_id

(オプション) 既存の FSx for Lustre ファイルシステムをアタッチします。

このオプションを指定した場合、[fsx] セクションshared_dir および fsx_fs_id の設定のみが使用され、[fsx] セクションのその他の設定は無視されます。

fsx_fs_id = fs-073c3803dca3e28a6

更新ポリシー: この設定が変更された場合、更新は許可されません。

fsx_kms_key_id

(オプション) AWS Key Management Service (AWS KMS) カスタマー管理キーのキー ID を指定します。

このキーは、保管時のファイルシステムのデータを暗号化するために使用されます。

これは、カスタム ec2_iam_role と使用する必要があります。詳細については、「カスタム KMS キーを使用したディスク暗号化」を参照してください。これは、Amazon FSx API リファレンスKmsKeyId パラメータに対応しています。

fsx_kms_key_id = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
注記

AWS ParallelCluster バージョン 2.6.0 で fsx_kms_key_id をサポートしました。

更新ポリシー: この設定が変更された場合、更新は許可されません。

import_path

(オプション) データをファイルシステムにロードし、エクスポートバケットとして機能する S3 バケットを指定します。詳細については、「export_path」を参照してください。import_path パラメータを指定する場合、automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time および fsx_backup_id パラメータを指定してはいけません。これは、Amazon FSx API リファレンスImportPath パラメータに対応しています。

インポートは、クラスター作成時に行われます。詳細については、「Amazon FSx for Lustre ユーザーガイド」の「データリポジトリからデータをインポートする」を参照してください。インポート時には、ファイルのメタデータ (名前、所有権、タイムスタンプ、パーミッション) のみがインポートされます。ファイルデータは、ファイルが最初にアクセスされるまで、S3 バケットからインポートされません。ファイルコンテンツのプリロードについては、「Amazon FSx for Lustre ユーザーガイド」の「ファイルシステムへのファイルのプリロード」をご参照ください。

値が指定されない場合、ファイルシステムは空になります。

import_path = s3://bucket

更新ポリシー: この設定が変更された場合、更新は許可されません。

imported_file_chunk_size

(オプション) データリポジトリからインポートされたファイルの場合 (import_path を使用)、この値がストライプカウントと 1 つの物理ディスクに保存されたファイルごとの最大データ量 (MiB 単位) を決定します。1 つのファイルにストライピングできるディスクの最大数は、ファイルシステムを構成するディスクの合計数によって制限されます。imported_file_chunk_size パラメータを指定する場合、automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time および fsx_backup_id パラメータを指定してはいけません。これは、ImportedFileChunkSize プロパティに対応しています。

チャンクサイズのデフォルトは 1024 (1 GiB) であり、それは、512,000 MiB (500 GiB) まで高くすることができます。Amazon S3 オブジェクトの最大サイズは 5 TB です。

imported_file_chunk_size = 1024

更新ポリシー: この設定が変更された場合、更新は許可されません。

per_unit_storage_throughput

(PERSISTENT_1 デプロイタイプに必須) deployment_type = PERSISTENT_1 デプロイタイプの場合、1 テラバイト (TiB) のストレージごとの読み取りおよび書き込みスループットの量を MB/s/TiB 単位で取得します。ファイルシステムのスループット容量は、ファイルシステムのストレージ容量 (TiB) に per_unit_storage_throughput (MB/s/TiB) を掛けて計算されます。2.4 TiB のファイルシステムの場合、50 MB/s/TiB の per_unit_storage_throughput をプロビジョニングすると、ファイルシステムのスループットは 120 MB/s になります。プロビジョニングしたスループットに対して支払いが発生します。これは、PerUnitStorageThroughput プロパティに対応しています。

設定可能な値は、storage_type の設定値によって異なります。

storage_type = SSD

指定できる値は 50、100、200 です。

storage_type = HDD

指定できる値は 12、40 です。

per_unit_storage_throughput = 200
注記

AWS ParallelCluster バージョン 2.6.0 で per_unit_storage_throughput をサポートしました。

更新ポリシー: この設定が変更された場合、更新は許可されません。

shared_dir

(必須) ヘッドノードとコンピューティングノードで FSx for Lustre ファイルシステムのマウントポイントを定義します。

共有ディレクトリとして /NONE または NONE を使用しないでください。

次の例では、ファイルシステムを /fsx にマウントします。

shared_dir = /fsx

更新ポリシー: この設定が変更された場合、更新は許可されません。

storage_capacity

(必須) ファイルシステムのストレージ容量 (GiB 単位) を指定します。これは、StorageCapacity プロパティに対応しています。

ストレージ容量の可能な値は deployment_type 設定によって異なります。

SCRATCH_1

可能な値は 1200、2400、および 3600 の倍数です。

SCRATCH_2

可能な値は 1200 および 2400 の倍数です。

PERSISTENT_1

設定可能な値は、他の設定の値によって異なります。

storage_type = SSD

可能な値は 1200 および 2400 の倍数です。

storage_type = HDD

設定可能な値は、per_unit_storage_throughput の設定内容によって異なります。

per_unit_storage_throughput = 12

可能な値は 6000 の倍数です。

per_unit_storage_throughput = 40

可能な値は 1800 の倍数です。

storage_capacity = 7200
注記

AWS ParallelCluster バージョン 2.5.0 および 2.5.1 では、storage_capacity の可能な値は 1200、2400、および 3600 の倍数です。AWS ParallelCluster バージョン 2.5.0 より前のバージョンでは、storage_capacity の最小サイズは 3600 でした。

更新ポリシー: この設定が変更された場合、更新は許可されません。

storage_type

(オプション) フファイルシステムのストレージタイプを指定します。これは、StorageType プロパティに対応しています。指定できる値は SSD および HDD です。デフォルト: SSD

ストレージタイプによって、他の設定の可能な値が変わります。

storage_type = SSD

ソリッドステートドライブ (SSD) ストレージタイプを指定します。

storage_type = SSD は、他のいくつかの設定の可能な値を変更します。

drive_cache_type

この設定は指定できません。

deployment_type

この設定は、SCRATCH_1SCRATCH_2PERSISTENT_1 のいずれかに設定できます。

per_unit_storage_throughput

deployment_typePERSISTENT_1 に設定する場合は、この設定を指定する必要があります。指定できる値は 50、100、200 です。

storage_capacity

この設定は必ず指定する必要があります。可能な値は、deployment_type に基づいて変化します。

deployment_type = SCRATCH_1

storage_capacity は 1200、2400、または 3600 の任意の倍数です。

deployment_type = SCRATCH_2、または deployment_type = PERSISTENT_1

storage_capacity は 1200、または 2400 の任意の倍数です。

storage_type = HDD

ハードディスクドライブ (HDD) のストレージタイプを指定します。

storage_type = HDD は、他の設定の可能な値を変更します。

drive_cache_type

この設定を指定することができます。

deployment_type

この設定は PERSISTENT_1 に設定する必要があります。

per_unit_storage_throughput

この設定は必ず指定する必要があります。指定できる値は 12、または、40 です。

storage_capacity

この設定は必ず指定する必要があります。設定可能な値は、per_unit_storage_throughput の設定によって異なります。

storage_capacity = 12

storage_capacity は 6000 の任意の倍数です。

storage_capacity = 40

storage_capacity は 1800 の任意の倍数です。

storage_type = SSD
注記

AWS ParallelCluster バージョン 2.10.0 で storage_type をサポートしました。

更新ポリシー: この設定が変更された場合、更新は許可されません。

weekly_maintenance_start_time

(オプション) 毎週のメンテナンスを実行する推奨時間 (UTC タイムゾーン) を指定します。これは、WeeklyMaintenanceStartTime プロパティに対応しています。

形式は [曜日]: [時間]: [分] です。例えば、月曜日の深夜は次のようになります。

weekly_maintenance_start_time = 1:00:00

更新ポリシー: この設定は、更新中に変更できます。