从控制台开始使用 EMR Serverless

运行 Spark 作业

1. 使用以下命令将示例脚本 wordcount.py 上传到新存储桶。

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. 完成 步骤 1：创建 EMR Serverless 应用程序 后，您将进入 EMR Studio 中的应用程序详情页面。在此页面上，选择提交作业选项。

3. 在提交作业页面上，完成以下操作。

   • 在名称字段中，输入要调用的作业运行名称。

   • 在运行时角色字段中，输入您在 创建作业运行时角色 中创建的角色名称。

   • 在脚本位置字段中，输入 s3://amzn-s3-demo-bucket/scripts/wordcount.py 作为 S3 URI。

   • 在脚本参数字段中，输入 ["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"]。

   • 在 Spark 属性部分，选择以文本形式编辑，然后输入以下配置。

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. 要开始作业运行，请选择提交作业。

5. 在作业运行选项卡中，您应该看到状态为正在运行的新作业运行。

运行 Hive 作业

1. 创建一个名为 hive-query.ql 的文件，其中包含您要在 Hive 作业中运行的所有查询。

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. 使用以下命令将 hive-query.ql 上传到 S3 存储桶。

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. 完成 步骤 1：创建 EMR Serverless 应用程序 后，您将进入 EMR Studio 中的应用程序详情页面。在此页面上，选择提交作业选项。

4. 在提交作业页面上，完成以下操作。

   • 在名称字段中，输入要调用的作业运行名称。

   • 在运行时角色字段中，输入您在 创建作业运行时角色 中创建的角色名称。

   • 在脚本位置字段中，输入 s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql 作为 S3 URI。

   • 在 Hive 属性部分，选择以文本形式编辑，然后输入以下配置。

     --hiveconf hive.log.explain.output=false

   • 在作业属性部分，选择以文本形式编辑，然后输入以下 JSON。

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. 要开始运行作业，请选择提交作业。

6. 在作业运行选项卡中，您应该看到状态为正在运行的新作业运行。

1. 导航到 EMR Studio 中的工作区。如果仍需要配置 Amazon S3 存储位置和 EMR Studio 服务角色，请选择屏幕顶部横幅中的配置 Studio 按钮。

2. 要访问笔记本，请选择一个工作区或创建一个新工作区。使用快速启动在新选项卡中打开工作区。

3. 转到新打开的选项卡。从左侧导航栏中选择计算图标。选择 EMR Serverless 作为计算类型。

4. 选择您在上一节中创建的交互式应用程序。

5. 在运行时角色字段中，输入 EMR Serverless 应用程序在运行作业时可代入的 IAM 角色名称。要了解有关运行时角色的更多信息，请参阅《Amazon EMR Serverless 用户指南》中的作业运行时角色。

6. 选择附加。该过程可能需要一分钟。附加后，页面将会刷新。

7. 选择内核并启动笔记本。您还可以浏览 EMR Serverless 上的示例笔记本，将其复制到工作区。要访问示例笔记本，请导航到左侧导航栏中的 {...} 菜单，然后浏览笔记本文件名中包含 serverless 的笔记本。

8. 在笔记本中，您可以访问驱动程序日志链接和指向 Apache Spark UI 链接，Apache Spark UI 是一个实时界面，提供了监控作业的指标。有关更多信息，请参阅《Amazon EMR Serverless 用户指南》中的监控 EMR Serverless 应用程序和作业。