应用程序支持和限制 - Amazon EMR
受支持的应用程序应用程序限制插件限制

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

应用程序支持和限制

受支持的应用程序

亚马逊EMR和EMR安装Ranger插件的Apache Ranger之间的集成目前支持以下应用程序：

  • Apache Spark（在 EMR 5.32+ 和 6.3+ 版本中可用）EMR

  • Apache Hive（在 EMR 5.32+ 和 6.3+ 版本中可用）EMR

  • 通过 S3 访问EMRFS（在 EMR 5.32+ 和 EMR 6.3+ 版本中可用）

以下应用程序可以安装在EMR群集上，可能需要对其进行配置以满足您的安全需求：

  • Apache Hadoop（在 EMR 5.32+ 和 6.3+ 版本中可用，包括和）EMRYARNHDFS

  • Apache Livy（在 EMR 5.32+ 和 6.3+ 版本中可用）EMR

  • Apache Zeppelin（有 5.32+ 和 6.3+ 版本可供选择）EMREMR

  • Apache Hue（在 EMR 5.32+ 和 6.3+ 版本中可用）EMR

  • Ganglia（在 EMR 5.32+ 和 6.3+ 版本中可用）EMR

  • HCatalog（在 EMR 5.32+ 和 EMR 6.3+ 版本中可用）

  • Mahout（在 EMR 5.32+ 和 6.3+ 版本中可用）EMR

  • MXNet（在 EMR 5.32+ 和 EMR 6.3+ 版本中可用）

  • TensorFlow （在 EMR 5.32+ 和 EMR 6.3+ 版本中可用）

  • Tez（在 EMR 5.32+ 和 6.3+ 版本中可用）EMR

  • Trino（在 EMR 6.7+ 版本中可用）

  • ZooKeeper （在 EMR 5.32+ 和 EMR 6.3+ 版本中可用）

重要

上面列出的应用程序是目前唯一支持的应用程序。为确保集群安全，启用 Apache Ranger 后，您可以创建仅包含上述列表中的应用程序的EMR集群。

当前不支持其它应用程序。为了确保集群的安全性，尝试安装其它应用程序会导致您的集群被拒绝。

支持的功能

以下亚马逊EMR功能可以与亚马逊EMR和 Apache Ranger 配合使用：

  • 静态和动态加密

  • Kerberos 身份验证（必需）

  • 实例组、实例集和竞价型实例

  • 在运行中的集群上重新配置应用程序

  • EMRFS服务器端加密 () SSE

注意

亚马逊的EMR加密设置受管辖SSE。有关更多信息，请参阅加密选项。

应用程序限制

在整合 Amazon EMR 和 Apache Ranger 时，需要记住几个限制：

  • 您当前无法使用控制台创建指定以下内容的安全配置 AWS 里面的 Ranger 集成选项 AWS GovCloud (US) Region。 可以使用来完成安全配置CLI。

  • Kerberos 必须安装在您的集群上。

  • 默认情况下，YARN资源管理器用户界面、用户界面和 Livy HDFS NameNode UI 等应用程序UIs（用户界面）未设置身份验证。

  • HDFS默认权限umask的配置使创建的对象在world wide readable默认情况下设置为。

  • 亚马逊EMR不支持 Apache Ranger 的高可用性（多主模式）模式。

  • 有关其他限制，请参阅各个应用程序的具体限制。

注意

亚马逊的EMR加密设置受管辖SSE。有关更多信息，请参阅加密选项。

插件限制

每个插件都有特定的限制。有关 Apache Hive 插件的限制，请参阅 Apache Hive 插件限制。有关 Apache Spark 插件的限制，请参阅 Apache Spark 插件限制。有关 S EMRFS 3 插件的限制，请参阅 EMRFSS3 插件限制。