在 PySpark 中编写 AWS Glue ETL 脚本 - AWS Glue

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 PySpark 中编写 AWS Glue ETL 脚本

您可以在 GitHub 网站上的 AWS Glue 示例存储库中找到 AWS Glue 的 Python 代码示例和实用程序。

将 Python 和 AWS Glue 一起使用

AWS Glue 支持使用 PySpark Python 方言的扩展来编写提取、转换和加载(ETL)任务脚本。本节介绍如何在 ETL 脚本中以及如何通过 AWS Glue API 使用 Python。

AWS Glue PySpark 扩展

AWS Glue 为 PySpark Python 方言创建了以下扩展。

AWS Glue PySpark 转换

AWS Glue 创建了以下转换类以在 PySpark ETL 操作中使用。