从控制台开始使用EMR无服务器

运行 Spark 作业

1. 使用以下命令将示例脚本上传wordcount.py到您的新存储桶。

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. 步骤 1：创建EMR无服务器应用程序完成后，您将进入 EMR Studio 中的应用程序详细信息页面。在那里，选择 “提交作业” 选项。

3. 在 “提交作业” 页面上，完成以下操作。

   • 在名称字段中，输入您要称之为作业运行的名称。

   • 在 “运行时角色” 字段中，输入您在中创建的角色的名称创建作业运行时角色。

   • 在 “脚本位置” 字段中，以 S3 的s3://amzn-s3-demo-bucket/scripts/wordcount.py身份输入URI。

   • 在 “脚本参数” 字段中输入["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"]。

   • 在 Spark 属性部分，选择以文本形式编辑，然后输入以下配置。

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. 要开始运行作业，请选择提交作业。

5. 在 Job runs 选项卡中，您应该看到新作业的运行状态为 “正在运行”。

运行 Hive 作业

1. 创建一个名为的文件hive-query.ql，其中包含您要在 Hive 作业中运行的所有查询。

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. 使用以下命令上传hive-query.ql到您的 S3 存储桶。

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. 步骤 1：创建EMR无服务器应用程序完成后，您将进入 EMR Studio 中的应用程序详细信息页面。在那里，选择 “提交作业” 选项。

4. 在 “提交作业” 页面上，完成以下操作。

   • 在名称字段中，输入您要称之为作业运行的名称。

   • 在 “运行时角色” 字段中，输入您在中创建的角色的名称创建作业运行时角色。

   • 在 “脚本位置” 字段中，以 S3 的s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql身份输入URI。

   • 在 Hive 属性部分，选择编辑为文本，然后输入以下配置。

     --hiveconf hive.log.explain.output=false

   • 在 Job 配置部分，选择编辑为 JSON，然后输入以下内容JSON。

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. 要开始运行作业，请选择提交作业。

6. 在 Job runs 选项卡中，您应该看到新作业的运行状态为 “正在运行”。

1. 在 EMR Studio 中导航到 “工作区” 选项卡。如果您仍需要配置 Amazon S3 存储位置和 EMRStudio 服务角色，请选择屏幕顶部横幅中的配置 Studio 按钮。

2. 要访问笔记本，请选择一个工作区或创建一个新的工作区。使用快速启动在新选项卡中打开您的工作区。

3. 转到新打开的选项卡。从左侧导航栏中选择 “计算” 图标。选择EMR无服务器作为计算类型。

4. 选择您在上一节中创建的支持交互的应用程序。

5. 在 “运行时角色” 字段中，输入您的EMR无服务器应用程序可以在作业运行中IAM扮演的角色的名称。要了解有关运行时角色的更多信息，请参阅 Amazon EMR Serverless 用户指南中的 Job 运行时角色。

6. 选择 “附加”。这最多可能需要一分钟。附加后，页面将刷新。

7. 选择一个内核并启动一个笔记本。您也可以在 EMR Serverless 上浏览示例笔记本并将其复制到您的工作区。要访问示例笔记本，请导航至左侧导航栏中的{...}菜单，然后浏览笔记本文件名serverless中包含的笔记本。

8. 在笔记本中，您可以访问驱动程序日志链接和指向 Apache Spark UI 的链接，Apache Spark UI 是一个实时界面，可提供监控作业的指标。有关更多信息，请参阅 Amazon EMR 无服务器用户指南中的监控EMR无服务器应用程序和作业。