选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

连接器和实用工具 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

连接器和实用工具

Amazon EMR 提供了多个连接器和实用工具,用于将其他 AWS 服务作为数据源进行访问。您通常可在一个程序内访问这些服务中的数据。例如,您可以在 Hive 查询、Pig 脚本或 MapReduce 应用程序中指定 Kinesis 流,然后对该数据进行操作。

在 S3 DistCp 任务失败后进行清理

如果 S3 DistCp 无法复制部分或全部指定文件,则命令或集群步骤将失败并返回非零错误代码。如果发生这种情况,S3 DistCp 不会清理部分复制的文件。您必须手动删除它们。

部分复制的文件以 S3 DistCp 作业的唯一标识符保存到 HDFS tmp 目录中的子目录中。您可以在作业的标准输出中找到此 ID。

例如,对于 ID 为 S3 的DistCp 作业4b1c37bb-91af-4391-aaf8-46a6067085a6,您可以连接到集群的主节点并运行以下命令来查看与该任务关联的输出文件。

hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output

该命令将返回与以下类似的文件列表:

Found 8 items -rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS -rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000 -rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001 -rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002 -rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003 -rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004 -rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005 -rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006

然后,您可以运行以下命令来删除目录和所有内容。

hdfs dfs rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6
隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。