コンソールから EMR Serverless の使用を開始する

Spark ジョブを実行するには

1. 次のコマンドを使用して、サンプルスクリプト wordcount.py を新しいバケットにアップロードします。

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. ステップ 1: EMR Serverless アプリケーションを作成する を完了すると、EMR Studio の [アプリケーションの詳細] ページに移動します。そこで、[ジョブの送信] オプションを選択します。

3. [ジョブの送信] ページで、以下の内容を行います。

   • [名前] フィールドに、ジョブ実行を呼び出す名前を入力します。

   • [ランタイムロール] フィールドに、ジョブランタイムロールを作成する で作成したロールの名前を入力します。

   • [スクリプトの場所] フィールドに、S3 URI として s3://amzn-s3-demo-bucket/scripts/wordcount.py を入力します。

   • [スクリプト引数] フィールドに、「["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"]」と入力します。

   • [Spark プロパティ] セクションで、[テキストとして編集] を選択し、次の設定を入力します。

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. [ジョブの送信] を選択してジョブの実行を開始します。

5. [ジョブ実行] タブには、新しいジョブ実行が [実行中] のステータスで表示されます。

Hive ジョブを実行するには

1. Hive ジョブで実行するすべてのクエリを含む hive-query.ql というファイルを作成します。

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. 次のコマンドを使用して、hive-query.ql を S3 バケットにアップロードします。

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. ステップ 1: EMR Serverless アプリケーションを作成する を完了すると、EMR Studio の [アプリケーションの詳細] ページに移動します。そこで、[ジョブの送信] オプションを選択します。

4. [ジョブの送信] ページで、以下の内容を行います。

   • [名前] フィールドに、ジョブ実行を呼び出す名前を入力します。

   • [ランタイムロール] フィールドに、ジョブランタイムロールを作成する で作成したロールの名前を入力します。

   • [スクリプトの場所] フィールドに、S3 URI として s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql を入力します。

   • [Hive プロパティ] セクションで、[テキストとして編集] を選択し、次の設定を入力します。

     --hiveconf hive.log.explain.output=false

   • [ジョブ設定] セクションで、[JSON として編集] を選択し、次の JSON を入力します。

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. [ジョブの送信] を選択してジョブの実行を開始します。

6. [ジョブ実行] タブには、新しいジョブ実行が [実行中] のステータスで表示されます。

1. EMR Studio UI で [Workspaces] タブに移動します。Amazon S3 ストレージの場所と EMR Studio サービスロール を引き続き設定する必要がある場合は、画面上部のバナーで [スタジオを設定する] ボタンを選択します。

2. ノートブックにアクセスするには、Workspace を選択するか、新しい Workspace を作成します。クイック起動を使用して、新しいタブで Workspace を開きます。

3. 新しく開いたタブに移動します。左側のナビゲーションからコンピューティングアイコンを選択します。EMR Serverless を [コンピューティングタイプ] として選択します。

4. 前のセクションで作成したインタラクティブ対応アプリケーションを選択します。

5. [ランタイムロール] フィールドに、EMR Serverless アプリケーションがジョブ実行のために引き受けることができる IAM ロールの名前を入力します。ランタイムロールの詳細については、「Amazon EMR Serverless ユーザーガイド」の「Job runtime roles」を参照してください。

6. [アタッチ] を選択します。これには最大 1 分を要する場合があります。ページはアタッチされると更新されます。

7. カーネルを選択し、ノートブックを起動します。EMR Serverless でサンプルノートブックを参照し、Workspace にコピーすることもできます。サンプルノートブックにアクセスするには、左側のナビゲーションの [{...}] メニューに移動し、ノートブックファイル名に serverless があるノートブックを参照します。

8. ノートブックでは、ドライバーログリンクと、ジョブをモニタリングするためのメトリクスを備えたリアルタイムインターフェイスである Apache Spark UI へのリンクにアクセスできます。詳細については、「Amazon EMR Serverless ユーザーガイド」の「EMR Serverless アプリケーションとジョブのモニタリング」を参照してください。