Amazon EMR on EKS 仮想クラスターに作業を送信するとどうなるか

Amazon EMR を Amazon EKS 上の Kubernetes 名前空間に登録すると、仮想クラスターが作成されます。これで、Amazon EMR はその名前空間で分析ワークロードを実行できるようになります。ユーザーが Amazon EMR on EKS を使って Spark ジョブを仮想クラスターに送信すると、Amazon EMR on EKS は Amazon EKS 上の Kubernetes スケジューラにポッドのスケジュールをリクエストします。

次の手順と図は、Amazon EMR on EKS のワークフローを示しています。

Amazon EMR on EKS は、ユーザーが実行するジョブごとに、Amazon Linux 2 ベースイメージ、Apache Spark、および関連する依存関係を持つコンテナを作成します。各ジョブはポッドで実行され、コンテナがダウンロードされて実行が開始されます。ポッドはジョブの終了後に終了します。コンテナのイメージが既にノードにデプロイされている場合は、キャッシュされたイメージが使用されてダウンロードがバイパスされます。ログフォワーダーやメトリクスフォワーダーなどのサイドカーコンテナをポッドにデプロイできます。ジョブが終了した後でも、Amazon EMR コンソールの Spark アプリケーション UI を使用してジョブをデバッグできます。