选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

Apache Pig

聚焦模式
Apache Pig - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Pig 是一个开源 Apache 库,它在 Hadoop 的顶层运行,提供一种脚本语言,您可以用来转换大型数据集,而不必用底层计算机语言 (例如 Java) 编写复杂的代码。该库采用一种名为 Pig Latin 的语言编写的类似 SQL 的命令,并根据有向无环图 () DAGs 或程序将这些命令转换为 Tez 作业。 MapReduce Pig 可与各种格式的结构化和非结构化数据结合使用。有关 Pig 的详细信息,请参阅 http://pig.apache.org/

您可以通过交互方式或批处理方式执行 Pig 命令。要以交互方式使用 Pig,请创建到主节点的 SSH 连接,并使用 Grunt Shell 提交命令。要以批处理方式使用 Pig,请编写 Pig 脚本,将脚本上传到 Amazon S3,并作为集群步骤提交。有关向集群提交工作的更多信息,请参阅《Amazon EMR 管理指南》中的向集群提交工作

当您使用 Pig 将输出写入 Amazon S3 中的 HCatalog 表时,请通过将mapred.output.direct.NativeS3FileSystemmapred.output.direct.EmrFileSystem属性设置为来禁用 Amazon EMR 直接写入。false有关更多信息,请参阅 使用 HCatalog。在 Pig 脚本中,可使用 SET mapred.output.direct.NativeS3FileSystem falseSET mapred.output.direct.EmrFileSystem false 命令。

下表列出了 Amazon EMR 7.x 系列的最新发行版附带的 Pig 的版本,以及 Amazon EMR 随 Pig 一起安装的组件。

有关此版本中与 Pig 一起安装的组件的版本,请参阅 7.8.0 版组件版本

emr-7.8.0 的 Pig 版本信息
Amazon EMR 发行版标签 Pig 版本 随 Pig 安装的组件

emr-7.8.0

Pig 0.17.0

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, pig-client, tez-on-yarn, tez-on-worker

下表列出了 Amazon EMR 6.x 系列的最新发行版附带的 Pig 的版本,以及 Amazon EMR 随 Pig 一起安装的组件。

有关此发行版中随 Pig 安装的组件版本,请参阅发行版 6.15.0 组件版本

emr-6.15.0 的 Pig 版本信息
Amazon EMR 发行版标签 Pig 版本 随 Pig 安装的组件

emr-6.15.0

Pig 0.17.0

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, pig-client, tez-on-yarn, tez-on-worker

下表列出了 Amazon EMR 5.x 系列的最新发行版附带的 Pig 的版本,以及 Amazon EMR 随 Pig 一起安装的组件。

有关此发行版中随 Pig 安装的组件版本,请参阅发行版 5.36.2 组件版本

emr-5.36.2 的 Pig 版本信息
Amazon EMR 发行版标签 Pig 版本 随 Pig 安装的组件

emr-5.36.2

Pig 0.17.0

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, pig-client, tez-on-yarn

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。