View a markdown version of this page

PCS での Slurm AWS バージョンのリリースノート - AWS PCS

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

PCS での Slurm AWS バージョンのリリースノート

このトピックでは、 AWS PCS で現在サポートされている Slurm バージョンごとの重要な変更について説明します。クラスターをアップグレードするときは、古いバージョンと新しいバージョンの変更を確認することをお勧めします。

PCS AWS で実装される変更

  • gresCustomSettings プロパティを使用してコンピューティングノードグループのgres.confレコードを設定し、Gresカスタム Slurm 設定でスケジュール可能な GRES を宣言できます。これにより、GPU トポロジ、MIG デバイス、MPS、シャード、独自の汎用リソースを設定できます。詳細については、「PCS でのカスタム GRES AWS 設定の構成」を参照してください。

  • AWS PCS は、GPUs を持つコンピューティングノードグループでデフォルトで Slurm GRES 自動検出を有効にします。 AWS PCS は、ノードのソケットレイアウトがわかっている場合にのみ自動検出を有効にします。詳細については、「PCS でのカスタム GRES AWS 設定の構成」を参照してください。

  • AWS PCS は、デフォルトでコンピューティングノードグループの CPU トポロジを設定します。インスタンスタイプから NUMA ドメインの数を決定し、各ノードParameters=numa_node_as_socketに Sockets、CoresPerSocket、 を設定します。詳細については、「PCS AWS でのハードウェアトポロジの設定」を参照してください。

  • CommitDelay=1 は でデフォルトで設定されますslurmdbd.conf。 は、slurmdbdバッチがアカウンティングデータベースにコミットされる時間CommitDelayを制御し、設定することでslurmdbdパフォーマンスを向上させます。別の値を使用するには、クラスターのslurmdbd.confカスタム設定CommitDelayで を設定します。

  • Slurm REST API は、JWT の idクレーム内の nameフィールドからユーザー名を読み取ります。最上位の sun、username、およびカスタムuserclaimfieldクレームは廃止されました。既存のトークンは引き続き認証されます。詳細については、「PCS での Slurm REST API AWS を使用した認証」を参照してください。

  • 単一のサンプル AMI が EOL ではないすべての Slurm バージョンをサポートするようになり、AMI 名に Slurm バージョンが含まれなくなりました。詳細については、「サンプル AMIs」を参照してください。

  • SPANK プラグインを使用するクラスターは、 を 26.05 以降に更新するときにローリング更新をサポートします。Slurm CLI フィルタープラグインを使用するクラスターは、25.11 以降から更新するときにローリング更新をサポートします。詳細については、「PCS AWS でのクラスターのスケジューラバージョンの更新」を参照してください。

  • 新しいカスタム設定が利用可能になりました。Exclusiveキュー設定、 PurgeJobEnvAfterおよびPurgeJobScriptAfterカスタム slurmdbd 設定、slurmdbd Parameters設定PreserveCaseResourceの値、および REBOOT_ONLYの値ですHealthCheckNodeState。

廃止と削除

  • Slurm はExclusiveUserキュー設定とOverSubscribe=EXCLUSIVE値を廃止し、新しいExclusiveキュー設定を優先します。 AWS PCS は 26.05 OverSubscribe=EXCLUSIVEに ExclusiveUserと を引き続きサポートしますが、 に移行することをお勧めしますExclusive。

  • Slurm は を削除しますSchedulerParameters=enable_job_state_cache。26.05 に更新する前に、クラスターのカスタム Slurm 設定から削除します。

Slurm 26.05 の詳細については、以下の出版物を参照してください。

PCS AWS で実装される変更

  • スケジューラの監査ログは、PCS_SCHEDULER_AUDIT_LOGSログタイプを通じて個別に配信されるようになりました。これにより、ログ配信を個別に制御してトラブルシューティングと監査を簡素化できます。詳細については、「AWS PCS のスケジューラ監査ログ」を参照してください。

  • 迅速再キューはデフォルトで有効になっています。ノードの問題 (容量不足エラーなど) が原因で失敗したジョブは、 を使用して最も高いスケジューリング優先度で再キューに入れることができますsbatch --requeue=expedite。これは SchedulerParameters=enable_expedited_requeue 設定によって制御されます。

  • requeue_delay パラメータは、デフォルトが 5 秒のカスタムクラスター設定として使用できます。以前は、再キューの遅延は認証情報の有効期限 (70 秒) に関連していました。管理者は、 を介してこれを個別に設定できるようになりましたSchedulerParameters=requeue_delay=<seconds>。

  • HealthCheckNodeState は START_ONLY値をサポートするようになりました。この値は、ノードの起動時 (Slurmd Start) にのみヘルスチェックプログラムを実行します。

  • CommunicationParameters=disable_http は、Slurm 25.11 で導入された HTTP エンドポイント (メトリクスとヘルスプローブ) を無効にするようにデフォルトで設定されています。これらのエンドポイントを再度有効にするには、 を設定しますCommunicationParameters=enable_http。詳細については、「AWS PCS の Slurm メトリクス」を参照してください。

既知の問題

  • Slurm 25.11 AccountingStorageEnforce=QOSは、 が設定されていない場合でも、 AllowQOSとDenyQOSパーティションの設定を検証します。AllowQOS または で参照されている QOS DenyQOSが Slurm アカウンティングデータベースに存在しない場合、 は致命的なエラーでslurmctld終了します。Slurm 25.11 にアップグレードまたは再起動する前に、パーティションAllowQOSとDenyQOS設定にリストされているすべての QOS 値がアカウンティングデータベースに存在することを確認してください。

  • slurmd ログにはエラーメッセージ が表示される場合がありますerror: cannot create url_parser context for http_parser/libhttp_parser。これは、 が設定されている場合でも発生する既知の Slurm の問題CommunicationParameters=disable_httpです。エラーは安全に無視でき、クラスターオペレーションには影響しません。

Slurm 25.11 の詳細については、以下の出版物を参照してください。

PCS AWS で実装される変更

  • Slurm requeue_on_resume_failure SchedulerParameter がデフォルトで有効になりました。

  • 「stderr」は、Slurm 25.05 で無効になっているため、LogTimeFormat のオプションとして削除されました。

  • AWS PCS はマルチクラスターのサック設定をサポートしています。ログインノードは複数のクラスターにアクセスできます。

Slurm 25.05 の詳細については、以下の出版物を参照してください。

PCS AWS で実装される変更

Slurm 24.11 の詳細については、以下の出版物を参照してください。

PCS AWS で実装される変更

  • 新しい Slurm Step Manager モジュールが PCS AWS でデフォルトで有効になりました。このモジュールでは、ステップ管理を中央コントローラーからコンピューティングノードにオフロードすることで、ステップ使用率が高い環境でのシステム同時実行を大幅に改善することで、大きなメリットが得られます。この設定をサポートし、分離PrologとEpilogプロセスの実行を改善するために、新しいプロログフラグ (Contain、Alloc) が有効になっています。

  • コントローラーからコンピューティングノードへの階層通信を有効にすると、Slurm のノード内通信を最適化できるため、スケーラビリティとパフォーマンスが向上します。さらに、ルーティング設定では、プラグインのデフォルトのルーティングアルゴリズムではなく、コントローラーからの通信にパーティションノードリストを使用するようになり、システムの耐障害性が向上しました。

  • 新しいハッシュプラグインは、前の をHashPlugin=hash/sha3置き換えますhash/k12 plugin。これは PCS AWS クラスターでデフォルトで有効になりました。

  • Slurm コントローラーログに、 へのすべてのインバウンドリモートプロシージャコール (RPC) の拡張監査機能が含まれるようになりましたslurmctld。ログには、接続処理前の送信元アドレス、認証されたユーザー、および RPC タイプが含まれます。

Slurm 24.05 の詳細については、以下の出版物を参照してください。

PCS で変更できる Slurm AWS 設定

  • のSuspendTimeデフォルトは です60。PCS AWS scaleDownIdleTimeInSeconds設定パラメータを使用して設定します。詳細については、AWS PCS API リファレンスClusterSlurmConfigurationのデータ型の scaleDownIdleTimeInSecondsパラメータを参照してください。

  • MaxJobCount および MaxArraySizeは、クラスター用に選択したサイズに基づいています。詳細については、PCS CreateCluster API AWS リファレンスの API アクションの sizeパラメータを参照してください。

  • Slurm SelectTypeParameters 設定のデフォルトは ですCR_CPU。クラスターの作成時に設定slurmCustomSettingsするための の値として指定できます。詳細については、「PCS CreateCluster API AWS リファレンス」の「 API アクションの slurmCustomSettingsパラメータ」およびSlurmCustomSetting」を参照してください。

  • クラスターレベルで Prologと Epilog を設定できます。クラスターの作成時に設定slurmCustomSettingsするための の値として指定できます。詳細については、AWS 「PCS API リファレンス」のCreateCluster「」とSlurmCustomSetting」を参照してください。

  • コンピューティングノードグループレベルで Weightと RealMemory を設定できます。コンピューティングノードグループの作成時に設定slurmCustomSettingsするための の値として指定できます。詳細については、AWS 「PCS API リファレンス」のCreateComputeNodeGroup「」とSlurmCustomSetting」を参照してください。