本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
连接器和实用工具
Amazon EMR 提供了多个连接器和实用工具,用于将其他 AWS 服务作为数据源进行访问。您通常可在一个程序内访问这些服务中的数据。例如,您可以在 Hive 查询、Pig 脚本或 MapReduce 应用程序中指定 Kinesis 流,然后对该数据进行操作。
在 S3 DistCp 任务失败后进行清理
如果 S3 DistCp 无法复制部分或全部指定文件,则命令或集群步骤将失败并返回非零错误代码。如果发生这种情况,S3 DistCp 不会清理部分复制的文件。您必须手动删除它们。
部分复制的文件以 S3 DistCp 作业的唯一标识符保存到 HDFS tmp
目录中的子目录中。您可以在作业的标准输出中找到此 ID。
例如,对于 ID 为 S3 的DistCp 作业4b1c37bb-91af-4391-aaf8-46a6067085a6
,您可以连接到集群的主节点并运行以下命令来查看与该任务关联的输出文件。
hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output
该命令将返回与以下类似的文件列表:
Found 8 items
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005
-rw-r‑‑r‑‑ 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006
然后,您可以运行以下命令来删除目录和所有内容。
hdfs dfs rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6