コンソールから EMR Serverless の使用を開始する

Spark ジョブを実行するには

1. 次のコマンドを使用して、サンプルスクリプトwordcount.pyを新しいバケットにアップロードします。

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. 完了するとステップ 1: EMR Serverless アプリケーションを作成する、EMRStudio のアプリケーションの詳細ページに移動します。そこで、ジョブの送信オプションを選択します。

3. ジョブの送信ページで、以下を実行します。

   • 名前 フィールドに、ジョブ実行を呼び出す名前を入力します。

   • ランタイムロールフィールドに、 で作成したロールの名前を入力しますジョブランタイムロールを作成する。

   • スクリプトの場所フィールドに、S3 s3://amzn-s3-demo-bucket/scripts/wordcount.pyとして を入力しますURI。

   • Script 引数 フィールドに、 と入力します["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"]。

   • Spark プロパティセクションで、テキストとして編集を選択し、次の設定を入力します。

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. ジョブの実行を開始するには、ジョブの送信 を選択します。

5. ジョブ実行タブには、新しいジョブ実行が実行ステータスで表示されます。

Hive ジョブを実行するには

1. Hive ジョブで実行するすべてのクエリhive-query.qlを含む というファイルを作成します。

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. 次のコマンドを使用して S3 バケットhive-query.qlにアップロードします。

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. 完了するとステップ 1: EMR Serverless アプリケーションを作成する、EMRStudio のアプリケーションの詳細ページに移動します。そこで、ジョブの送信オプションを選択します。

4. ジョブの送信ページで、以下を完了します。

   • 名前 フィールドに、ジョブ実行を呼び出す名前を入力します。

   • ランタイムロールフィールドに、 で作成したロールの名前を入力しますジョブランタイムロールを作成する。

   • スクリプトの場所 フィールドに、S3 s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.qlとして を入力しますURI。

   • Hive プロパティセクションで、テキストとして編集 を選択し、次の設定を入力します。

     --hiveconf hive.log.explain.output=false

   • ジョブ設定セクションで、 として編集 JSONを選択し、次の を入力しますJSON。

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. ジョブの実行を開始するには、ジョブの送信 を選択します。

6. ジョブ実行タブには、新しいジョブ実行が実行ステータスで表示されます。

1. EMR Studio の Workspaces タブに移動します。Amazon S3 ストレージロケーションと EMR Studio サービスロール を設定する必要がある場合は、画面上部のバナーでスタジオを設定するボタンを選択します。

2. ノートブックにアクセスするには、Workspace を選択するか、新しい Workspace を作成します。クイック起動を使用して、新しいタブで Workspace を開きます。

3. 新しく開いたタブに移動します。左側のナビゲーションからコンピューティングアイコンを選択します。EMR Serverless をコンピューティングタイプ として選択します。

4. 前のセクションで作成したインタラクティブ対応アプリケーションを選択します。

5. Runtime ロールフィールドに、ジョブ実行のために EMR Serverless アプリケーションが引き受けることができるIAMロールの名前を入力します。ランタイムロールの詳細については、「Amazon Serverless ユーザーガイド」の「ジョブランタイムロール」を参照してください。 EMR

6. アタッチ を選択します。これには最大 1 分かかる場合があります。ページはアタッチされると更新されます。

7. カーネルを選択し、ノートブックを起動します。EMR Serverless でサンプルノートブックを参照し、Workspace にコピーすることもできます。サンプルノートブックにアクセスするには、左側のナビゲーションの{...}メニューに移動し、ノートブックファイル名serverlessに があるノートブックをブラウズします。

8. ノートブックでは、ドライバーログリンクと、ジョブをモニタリングするためのメトリクスを提供するリアルタイムインターフェイスである Apache Spark UI へのリンクにアクセスできます。詳細については、「Amazon EMR Serverless ユーザーガイド」の「サーバーレスアプリケーションとジョブのモニタリング」を参照してください。 EMR