のEC2 AWS PCSインスタンスは再起動後に終了および置き換えられます

問題の概要

コンピューティングノードグループのEC2インスタンスを再起動すると、 AWS PCS は自動的にインスタンスを終了して置き換えます。

これが発生する理由

AWS PCS はインスタンスの再起動をサポートしていません。EC2 インスタンスが再起動された場合、 AWS PCSはインスタンスを異常と見なし、置き換えます。がインスタンス AWS PCSを継続的に終了して置き換える場合は、インスタンスの起動後にインスタンスが再起動する原因である可能性があります。例としては、EC2インスタンスのオートメーションによる再起動 (パッチ適用後の自動再起動など）、EC2インスタンス外部のオートメーション (ネットワーク管理アプリケーションなど）、別の AWS サービス ( など AWS Systems Manager）、人による手動再起動などがあります。

対応方法

slurmctld または slurmdログをチェックして、インスタンスが再起動されたかどうかを確認できます。詳細については、「AWS PCS スケジューラログ」および「Amazon を使用したインスタンスのモニタリング AWS PCS CloudWatch」を参照してください。次のslurmctldログエントリの例は、インスタンスが再起動されたことを示しています。

[2024-09-12T06:42:50.393+00:00] validate_node_specs: Node Login-1 unexpectedly rebooted boot_time=1726123354 last response=1726123285

パッチ適用による再起動

パッチを適用した後は、再起動が必要になることがよくあります。 AWS PCS コンピューティングノードグループの一部であるEC2インスタンスに直接パッチを適用しないでください。EC2 インスタンスにパッチを適用する必要がある場合は、更新された Amazon マシンイメージ (AMI) にパッチを適用し、更新された を使用するようにコンピューティングノードグループを更新する必要がありますAMI。これらのコンピューティングノードグループに対して起動される AWS PCS新しいEC2インスタンスは、更新された (パッチ適用された) を使用しますAMI。詳細については、「のカスタム Amazon マシンイメージ (AMIs) AWS PCS」を参照してください。