グレースフルな廃止による Presto Auto Scaling の使用

Amazon EMRリリースバージョン 5.30.0 以降には、特定のスケーリングアクションの猶予期間を設定するために使用できる機能が含まれています。猶予期間を使用することで、スケールインサイズ変更アクションまたは自動スケーリングポリシーリクエストによってノードが終了するまで Presto タスクの実行を続けることができます。スケーリングルールの詳細については、「Amazon EMR 管理ガイド」の「自動スケーリングルールについて」を参照してください。グレースフルな廃止を使用する Presto Auto Scaling では、廃止処理中のノードでの新しいタスクのスケジューリングを回避するとともに、シャットダウンタイムアウトに達する前に、既に実行中のタスクを完了できます。実行中のクエリは、ノードが廃止される前に実行を完了します。Autoscaling は、インスタンスフリートではサポートされていません。

自動スケーリングのシャットダウンリクエストが受け取られた後、Presto タスクが完了するまでの許容時間を制御できます。デフォルトでは、Amazon のシャットダウンタイムアウトEMRは0分です。つまり、Amazon はスケールインリクエストで必要な場合、ノードとそのノードで実行されている Presto タスクをEMR直ちに終了します。Amazon で Presto タスクのタイムアウトを長く設定EMRして、クラスターをスケールダウンする前にクエリを実行できるようにするには、 presto-config設定分類を使用して、 graceful-shutdown-timeoutパラメータを秒単位または分単位でゼロより大きい値に設定します。詳細については、「アプリケーションの設定」を参照してください。

例えば、graceful-shutdown-timeout 値を "30m" に増加すると、30 分間のタイムアウト期間が指定されます。シャットダウンタイムアウト期間が終了すると、廃止対象としてマークされたノードは、クエリタスクの完了を待機していても強制的に終了され、クエリは失敗します。クエリタスクが 5 分で終了すると、廃止対象としてマークされたノードは、他のYARNアプリケーションの実行が完了している限り、5 分で終了します。

[
    {
        "classification": "presto-config",
        "properties": {
            "graceful-shutdown-timeout": "1800s"
        }
    }
]
            

制約事項

が に設定されている場合など、HTTP接続が無効になっているEMRクラスターでは、PrestoDB グレースフル廃止http-server.http.enabledは機能しませんfalse。Trino では、http-server.http.enabled の設定に関係なく、グレースフルな廃止はサポートされていません。