EMRStudio 的功能、要求和限制

EMRStudio 有以下几种可供选择 AWS 区域：

* 这些区域不支持实时 Spark UI。

要让用户EC2为工作区配置在 Amazon 上运行的新EMR集群，您可以将 EMR Studio 与一组集群模板相关联。管理员可以使用 Service Catalog 定义集群模板，并且可以选择用户或组是可以访问 Studio 中的集群模板，还是不能访问集群模板。

当您定义对存储在 Amazon S3 中的笔记本文件或从中读取密钥的访问权限时 AWS Secrets Manager，请使用 Amazon EMR 服务角色。这些权限不支持会话策略。

您可以创建多个 EMR Studio 来控制对不同EMR集群的访问权限VPCs。

使用在 AWS CLI 集EKS群EMR上设置 Amazon。然后，您可以使用 Studio 界面通过托管式终端节点将集群附加到 Workspaces，以运行 Notebook 任务。

在 Amazon 上使用可信身份传播时，还有其他注意事项EMR，这些注意事项也适用于 EMR Studio。有关更多信息，请参阅 集成身份中心的 Amazon EMR 注意事项和限制。

EMRStudio 不支持以下 Python 魔法命令：

EKS集群EMR上的 Amazon 不支持 EMR Studio 的 SparkMagic 命令。

要在 Notebook 单元格中编写多行 Scala 语句，请确保除最后一行以外的所有其他行均以句点结束。下面的示例对多行 Scala 语句使用了正确的句法。

val df = spark.sql("SELECT * from table_name).
        filter("col1=='value'").
        limit(50)

为了增强您可能与 Amazon 一起使用的非控制台应用程序的安全性EMR，应用程序托管域已在公共后缀列表 () 中注册。PSL这些托管域的示例包括以下各项：emrstudio-prod.us-east-1.amazonaws.com、emrnotebooks-prod.us-east-1.amazonaws.com、emrappui-prod.us-east-1.amazonaws.com。为进一步增强安全性，如果您需要在默认域名中设置敏感 Cookie，我们建议您使用带 __Host- 前缀的 Cookie。这有助于保护您的域名免受跨站请求伪造企图的侵害（）CSRF。有关更多信息，请参阅 。Set-CookieMozilla 开发者网络中的页面。

Amazon EMR Studio 工作空间和永久用户界面终端节点使用 FIPS 140-2 经过验证的加密模块 encryption-in-transit，这使得受监管的工作负载可以更轻松地采用该服务。有关永久用户界面终端节点的更多背景信息，请参阅在 Amazon 中查看永久应用程序用户界面EMR。有关笔记本的更多背景信息，请参阅 Amazon EMR 笔记本概述。

在启用了可信IAM身份传播的情况下使用 Identity Center 的 EMR Studio 只能与也使用可信身份传播的EMR集群关联。

请务必停用代理管理工具，例如 FoxyProxy 或 SwitchyOmega 在创建 Studio 之前在浏览器中。当您选择 Create Studio (创建 Studio) 时，活动代理可能会导致错误，并导致出现 Network Failure (网络故障) 错误消息。

由于超时问题，在 Amaz EMR on EKS 集群上运行的内核可能无法启动。如果您在启动内核时遇到错误或问题，请关闭 Notebook 文件、关闭内核，然后重新打开 Notebook 文件。

当您在EKS集群EMR上使用 Amazon 时，重启内核操作无法按预期运行。在您选择 Restart kernel (重新启动内核) 后，请刷新 Workspace 以使重启生效。

如果 Workspace 未附加到集群，则当 Studio 用户打开 Notebook 文件并尝试选择内核时会显示一条错误消息。您可以通过选择 Ok (确定) 忽略此错误消息，但您必须先将 Workspace 附加到集群并选择内核，然后才能运行 Notebook 代码。

当您使用带有安全配置的 Amazon EMR 6.2.0 来设置集群安全时，Workspace 界面显示为空白，无法按预期运行。EMR如果您要为集群配置数据加密或 Amazon S3 授权，我们建议您使用其他支持版本的 EMRFS Amazon。 EMRStudio 适用于亚马逊EMR版本 5.32.0（亚马逊 EMR 5.x 系列）和 6.2.0（EMR亚马逊 6.x 系列）及更高版本。

当您调试在亚马逊上EMR运行的亚马逊EC2作业时，指向集群上 Spark UI 的链接可能无法正常工作或无法显示。要重新生成链接，请创建一个新的 Notebook 单元格并运行%%info命令。

在以下亚马逊EMR发行版本中，Jupyter Enterprise Gateway 不会清理集群主节点上的空闲内核：5.32.0、5.33.0、6.2.0 和 6.3.0。空闲内核消耗计算资源，这可能会导致长时间运行的集群出现故障。您可以使用以下示例脚本为 Jupyter Enterprise Gateway 配置空闲内核清理。您可以使用连接到 Amazon EMR 集群主节点 SSH，或以步骤的形式提交脚本。有关更多信息，请参阅在 Amazon EMR 集群上运行命令和脚本。

#!/bin/bash
sudo tee -a /emr/notebook-env/conf/jupyter_enterprise_gateway_config.py << EOF
c.MappingKernelManager.cull_connected = True
c.MappingKernelManager.cull_idle_timeout = 10800
c.MappingKernelManager.cull_interval = 300
EOF
sudo systemctl daemon-reload
sudo systemctl restart jupyter_enterprise_gateway

当您在亚马逊EMR版本 5.32.0、5.33.0、6.2.0 或 6.3.0 上使用自动终止策略时，Amazon 会将集群EMR标记为空闲状态，即使您有活跃的 Python3 内核，也可能会自动终止集群。这是因为执行 Python3 内核不会在该集群上提交 Spark 作业。要在 Python3 内核中使用自动终止功能，我们建议您使用亚马逊 6.4.0 或更高EMR版本。有关自动终止的更多信息，请参阅 使用自动终止策略清理 Amazon EMR 集群。

当你习惯%%display在表格 DataFrame 中显示 Spark 时，很宽的表可能会被截断。您可以右键单击输出，然后选择 Create New View for Output（为输出创建新视图），以获取输出的可滚动视图。

启动基于 Spark 的内核（例如 PySpark Spark 或 SparkR）会启动 Spark 会话，而在笔记本中运行单元会将该会话中的 Spark 作业排入队列。当您中断正在运行的单元格时，Spark 作业将继续运行。要停止 Spark 作业，您应该使用集群上的 Spark UI。有关如何连接到 Spark UI 的说明，请参阅 使用 EMR Studio 调试应用程序和作业。

在中以 root 用户身份使用 Amazon EMR Studio 工作空间 AWS 账户 会导致403: Forbidden错误。这是因为 Amazon 中的 Jupyter Enterprise Gateway 配置EMR不允许根用户进行访问。建议您不要使用根用户执行日常任务。有关其他身份验证选项，请参阅适用AWS Identity and Access Management 于 Amazon 的身份验证选项EMR。

使用指定 Kerberos 身份验证的安全配置在EMR集群上附加和运行作业

具有多个主节点的集群

使用基于 AWS Graviton2 的亚马逊EC2实例的集群 6.x 版本低于 EMR 6.9.0，5.x 版本低于 5.36.1

在没有模板的情况下创建EMR集群。

使用EMR无服务器应用程序。

EMR在EKS集群上启动 Amazon。

使用运行时系统角色。

启用SQL资源管理器或工作区协作。