翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon EMR on EKS での spark-submit のセットアップ
Amazon EMR on EKS で spark-submit を使用してアプリケーションを実行する前に、以下のタスクを完了してセットアップを行います。Amazon Web Services (AWS) に既にサインアップしていて、Amazon EKS を既に使用している場合、Amazon EMR on EKS を使用する準備はほぼ整っています。前提条件のいずれかを既に完了している場合は、その前提条件をスキップして、次の前提条件に進むことができます。
-
AWS CLI の最新バージョンのインストールまたは更新 – AWS CLI を既にインストールしている場合は、最新バージョンであることを確認してください。
-
kubectl と eksctl の設定 — eksctl は、Amazon EKS との通信に使用するコマンドラインツールです。
-
Amazon EKS – eksctl の使用開始 – Amazon EKS にノードを持つ新しい Kubernetes クラスターを作成する手順に従います。
-
Amazon EMR ベースイメージ URI (リリース 6.10.0 以上) を選択する –
spark-submitコマンドは Amazon EMR リリース 6.10.0 以降でサポートされています。 -
ドライバーサービスアカウントにエグゼキューターポッドを作成および監視するための適切な権限があることを確認します。詳細については、「spark-submit の Spark ドライバーサービスアカウントセキュリティ要件を確認する」を参照してください。
-
ローカルの AWS 認証情報プロファイルをセットアップします。
-
Amazon EKS コンソールから EKS クラスターを選択し、[概要] [詳細]、[API サーバーエンドポイント] にある EKS クラスターエンドポイントを見つけます。
