AWS Glue 版本支持策略
AWS Glue 是一项无服务器数据集成服务,可轻松发现、准备和组合数据,以用于分析、机器学习和应用程序开发。AWS Glue 任务包含在 AWS Glue 中执行数据集成工作的业务逻辑。AWS Glue 中有三种类型的作业:Spark(批次和流式处理)、Ray 和 Python shell。定义作业时,需要指定 AWS Glue 版本,其在底层 Spark、Ray 或 Python 运行时环境中配置版本。例如:AWS Glue 版本 2.0 Spark 作业支持 Spark 2.4.3 和 Python 3.7。
支持策略
AWS Glue 版本由操作系统、编程语言以及需要提供维护和安全更新的软件库组合而成。根据 AWS Glue 的版本支持政策,当某个版本的任何主要组件的社区长期支持(LTS)结束且不再提供安全更新时,就会终止对该版本的支持。在某个版本停止支持(EOS)后,AWS Glue 可能无法再对 EOS 版本应用安全补丁或其他更新。在 EOS 版本上运行的 AWS Glue 作业将不能获得技术支持。在 EOS 版本上运行作业时,AWS Glue 可能不保证 SLA。
下列 AWS Glue 版本已经或计划终止支持。终止支持从指定日期午夜(太平洋时区)生效。
类型 | Glue 版本 | 终止支持 |
---|---|---|
Spark | Spark 2.2、Scala 2(Glue 版本 0.9) | 2022 年 6 月 1 日 |
Spark | Spark 2.2、Python 2(Glue 版本 0.9) | 2022 年 6 月 1 日 |
Spark | Spark 2.4、Python 2(Glue 版本 1.0) | 2022 年 6 月 1 日 |
Spark | Spark 2.4、Python 3(Glue 版本 1.0) | 2022 年 9 月 30 日 |
Spark | Spark 2.4、Scala 2(Glue 版本 1.0) | 2022 年 9 月 30 日 |
Spark | Glue 版本 2.0 | 2024 年 1 月 31 日 |
类型 | Python 版本 | 终止支持 |
Python shell | Python 2(Glue 版本 1.0) | 2022 年 6 月 1 日 |
类型 | Notebook 版本 | 终止支持 |
开发终端节点 | Zeppelin notebook | 2022 年 9 月 30 日 |
AWS 强烈建议您将任务迁移到受支持的版本。
有关将 Spark 任务迁移到最新 AWS Glue 版本的信息,请参阅将 AWS Glue 任务迁移到 AWS Glue 4.0 版本。
要将 Python shell 任务迁移到最新 AWS Glue 版本,请执行以下操作: