View a markdown version of this page

ジョブレベルのスケーリング - AWS PCS
スケジューリングとスケーリングの連携方法PCS AWS がジョブの容量を提供する方法大規模または時間的制約のあるジョブの容量の保証

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ジョブレベルのスケーリング

AWS PCS はジョブレベルのスケーリングを使用して、クラスターの動的容量 (コンピューティングノードグループで設定した最小数と最大数の間のインスタンス) を管理します。 AWS PCS は定期的に待機中のジョブを確認し、それを満たすために Amazon EC2 インスタンスを起動し、ジョブが終了してインスタンスがアイドル状態になると動的容量をスケールダウンします。このプロセスは管理しません。 AWS PCS はワークロードを評価し、容量を調整します。

静的キャパシティ (常時オンにする最小値) は、ジョブレベルのスケーリングの影響を受けません。詳細については、「PCS AWS でのコンピューティングノードグループの作成」を参照してください。

スケジューリングとスケーリングの連携方法

ジョブを送信すると、Slurm はジョブの要件を満たすクラスターノードを選択して割り当てます。動的容量にバックアップされた割り当てられたノードの場合、 AWS PCS はそれらのノードをバックアップするために必要な Amazon EC2 インスタンスを起動し、各インスタンスをそのノードに割り当てます。これらの Amazon EC2 インスタンスは直接管理しません。 AWS PCS はユーザーに代わって動的容量の起動と解放を処理します。

PCS AWS がジョブの容量を提供する方法

ジョブは、必要なすべてのノードが使用可能になった後にのみ実行されます。部分的な割り当てでは開始されません。PCS AWS が容量を提供する方法は、ジョブの要件とコンピューティングノードグループの設定によって異なります。たとえば、ジョブに必要なノードの数、複数のコンピューティングノードグループにまたがるかどうか、1 つの Amazon EC2 リクエストが提供できる容量よりも多くの容量をリクエストするかどうか、ターゲットノードグループが容量予約によってバックアップされているかどうかによって異なります。

AWS PCS は各ジョブを評価し、適切なアプローチを選択します。実際には、これは次の 2 つの形式のいずれかになります。

  • All at once. AWS PCS は、ジョブに必要なすべてのノードを一緒に提供するか、何も提供しません。ジョブは、フルキャパシティーが使用可能になった後にのみ開始されます。

  • 増分。1 つの Amazon EC2 リクエストが提供できる容量よりも多くの容量を必要とするジョブなど、一部のジョブでは、 AWS PCS は利用可能になったときに容量を提供し、フルセットに向かって動作している間に取得した容量を保持します。

コンピューティングノードグループがオンデマンド購入オプションを使用して複数のサブネットを一覧表示すると、 AWS PCS は CreateComputeNodeGroupまたは UpdateComputeNodeGroupリクエストで指定したサブネットの順序でインスタンスを起動します。サブネットがリクエストされた容量を提供できない場合、 AWS PCS はリスト内の次のサブネットを試行し、使用可能な容量が見つかるまで続行します。

ジョブの全容量が利用できない場合、ジョブは起動しません。 AWS PCS はジョブのインスタンスを起動しないか、起動したインスタンスをリリースする可能性があります。ジョブは保留中のままで、PCS AWS は容量が提供されるまで後続の間隔でジョブを再評価します。

例容量の増分プロビジョニングを備えた大規模なジョブ

一度に提供できる数を超える多数のノードを必要とするジョブを送信するとします。 AWS PCS は、ジョブのノードの一部に対してインスタンスを起動し、割り当て、その容量を保持しながら、残りのノードを後で取得し続けます。ジョブは、必要なノードがすべて使用可能になると開始されます。ジョブの開始時にフルキャパシティーが利用可能であることを確認する必要がある場合は、次のセクションで説明するように、コンピューティングノードグループをキャパシティー予約でバックアップします。

大規模または時間的制約のあるジョブの容量の保証

ジョブに大量の容量が必要な場合、または特定の時間に開始する必要がある場合は、送信時にオンデマンド容量が使用できないことがあります。ジョブの実行時に使用できるようにキャパシティを事前に予約するには、ML のオンデマンドキャパシティ予約 (ODCRs) または Amazon EC2 キャパシティブロックを使用できます。

予約を使用するようにコンピューティングノードグループを設定し、そのノードグループに関連付けられたキューにジョブを送信します。リザーブドキャパシティは、ジョブが実行されているかどうかにかかわらず、ODCR またはキャパシティブロックに従って請求されます。詳細については、「Using ODCRs with AWS PCS」および「Using Amazon EC2 Capacity Blocks for ML with AWS PCS」を参照してください。