Spark 脚本编程 - AWS Glue

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Spark 脚本编程

使用 AWS Glue 可轻松编写或自动生成提取、转换和加载 (ETL) 脚本,以及测试并运行这些脚本。本部分介绍 AWS Glue 引入的 Apache Spark 扩展,并提供如何在 Python 和 Scala 中编写和运行 ETL 脚本的示例。

重要

不同版本的 AWS Glue 支持不同版本的 Apache Spark。您的自定义脚本必须与受支持的 Apache Spark 版本兼容。有关 AWS Glue 版本的信息,请参阅 Glue version job property