在 PySpark 中编写 AWS Glue ETL 脚本

您可以在 GitHub 网站上的 AWS Glue 示例存储库中找到 AWS Glue 的 Python 代码示例和实用程序。

将 Python 和 AWS Glue 一起使用

AWS Glue 支持使用 PySpark Python 方言的扩展来编写提取、转换和加载（ETL）任务脚本。本部分介绍如何在 ETL 脚本中以及如何通过 AWS Glue API 使用 Python。

AWS Glue PySpark 扩展

AWS Glue 为 PySpark Python 方言创建了以下扩展。

AWS Glue PySpark 转换

AWS Glue 创建了以下转换类以在 PySpark ETL 操作中使用。