什么是 AWS Glue？ - AWS Glue
AWS Glue 功能 了解 AWS Glue 中的创新 开始使用 AWS Glue 访问 AWS Glue 相关服务

什么是 AWS Glue？

AWS Glue 是一项无服务器数据集成服务，可让使用分析功能的用户轻松发现、准备、移动和集成来自多个来源的数据。您可以将其用于分析、机器学习和应用程序开发。它还包括用于编写、运行任务和实施业务工作流程的额外生产力和数据操作工具。

通过使用 AWS Glue，您可以发现并连接到 70 多个不同的数据来源，并在集中式数据目录中管理您的数据。您可以直观地创建、运行和监控“提取、转换、加载（ETL）”管道，以将数据加载到数据湖中。此外，您可以使用 Amazon Athena、Amazon EMR 和 Amazon Redshift Spectrum 立即搜索和查询已编目数据。

AWS Glue 将主要数据集成功能整合到一项服务中。其中包括数据发现、现代 ETL、清理、转换和集中式编目。这也是一项无服务器服务，即无需管理基础设施。通过在一项服务中灵活支持 ETL、ELT 和流式传输之类的所有工作负载，AWS Glue 可为不同工作负载和类型的用户提供支持。

此外，AWS Glue 可以轻松地在您的架构中集成数据。它可与 AWS 分析服务和 Amazon S3 数据湖集成。AWS Glue 具有集成式界面和任务编写工具，对于从开发人员到业务用户在内的所有用户来说，使用十分方便，还可针对不同的技术技能组合提供定制解决方案。

AWS Glue 可按需扩展，因此可帮助您专注于能最大限度地提高数据价值的高价值活动。可针对任何数据大小进行扩展，并支持所有数据类型和架构变化。为了提高灵活性并优化成本，AWS Glue 提供内置的高可用性和即付即用计费模式。

有关定价信息，请参阅 AWS Glue 定价。

AWS Glue Studio

AWS Glue Studio 采用图形界面，能让您轻松创建、运行和监控 AWS Glue 中的数据集成任务。您可以直观地编写数据转换工作流，并在 AWS Glue 中的基于 Apache Spark 的无服务器 ETL 引擎上无缝运行。

使用 AWS Glue Studio，您能够创建并管理收集、转换和清理数据的任务。您还可以使用 AWS Glue Studio 进行问题排查并编辑任务脚本。

AWS Glue 功能

AWS Glue 功能分为三大类：

  • 发现和整理数据

  • 转换、准备和清理数据以进行分析

  • 构建和监控数据管道

发现和整理数据

  • 跨多个数据存储的统一和搜索 – 通过对 AWS 中的所有数据进行编目，跨多个数据来源和接收器进行存储、索引和搜索。

  • 自动发现数据 – 使用 AWS Glue 爬网程序自动推断架构信息并将其集成到 AWS Glue Data Catalog。

  • 管理架构和权限 – 验证和控制对数据库和表的访问。

  • 连接到各种数据来源 – 利用本地和 AWS 的多个数据来源，使用 AWS Glue 连接构建您的数据湖，从而了解多个数据源。

转换、准备和清理数据以进行分析

  • 使用作业画布界面直观地转换数据 – 在可视任务编辑器中定义 ETL 流程，并自动生成用于提取、转换和加载数据的代码。

  • 通过简单的任务计划构建复杂的 ETL 管道 – 按计划、按需或按事件调用 AWS Glue 任务。

  • 清理和转换传输中流数据 – 支持持续性的数据使用，并在传输过程中对其进行清理和转换。这样便可在数秒内在目标数据存储中完成分析。

  • 通过内置的机器学习去除重复数据和清理数据 – 使用 FindMatches 功能，您无需成为机器学习专家也能轻松清理和准备数据以进行分析。此功能可去除重复项并查找彼此不完全匹配的记录。

  • 内置任务笔记本 – 仅需在 AWS Glue 中进行最少设置，AWS Glue 任务笔记本即可提供无服务器笔记本，以便于您快速开始使用。

  • 编辑、调试和测试 ETL 代码 – 通过 AWS Glue 交互式会话，您能够以交互方式探索和准备数据。您可以使用 IDE 或自己选择的笔记本以交互方式探索数据、对数据进行试验以及处理数据。

  • 定义、检测和修复敏感数据 – AWS Glue 的敏感数据检测功能可让您定义、识别和处理数据管道和数据湖中的敏感数据。

构建和监控数据管道

  • 根据工作负载自动扩展 – 根据工作负载动态扩展和缩减资源。仅在需要时才为工作人员分配任务。

  • 使用基于事件的触发器自动处理任务 – 使用基于事件的触发器启动爬网程序或 AWS Glue 任务，并设计相互依赖的任务与爬网程序链。

  • 运行和监控作业 - 使用您选择的引擎（Spark 或 Ray）运行 AWS Glue 作业。使用自动监控工具 AWS Glue 作业运行见解和 AWS CloudTrail 对其进行监控。使用 Apache Spark 用户界面改善对 Spark 支持的作业的监控。

  • 定义 ETL 和集成活动的工作流程 – 为多个爬网程序、任务和触发器定义 ETL 和集成活动的工作流程。

了解 AWS Glue 中的创新

了解 AWS Glue 中最新的创新，听听客户如何使用 AWS Glue 在整个组织中实现自助式数据准备。

了解客户如何在传统设置之外扩展 AWS Glue，以及他们如何针对作业监控和性能配置 AWS Glue。

开始使用 AWS Glue

我们建议您首先阅读以下部分：

访问 AWS Glue

可以使用以下界面创建、查看和管理您的 AWS Glue 任务：

  • AWS Glue 控制台 – 提供 Web 界面供您创建、查看和管理 AWS Glue 任务。要访问此控制台，请参阅 AWS Glue。

  • AWS Glue Studio – 提供图形界面供您直观地创建和编辑 AWS Glue 任务。有关更多信息，请参阅 使用 AWS Glue Studio 构建可视化 ETL 作业。

  • AWS CLI 参考的 AWS Glue 部分 – 提供可与 AWS Glue 配合使用的 AWS CLI 命令。有关更多信息，请参阅适用于 AWS Glue 的 AWS CLI 参考。

  • AWS Glue API – 为开发人员提供完整的 API 参考。有关更多信息，请参阅 AWS Glue API。

AWS Glue 的用户也使用：

  • AWS Lake Formation – 此服务是授权层，提供对 AWS Glue Data Catalog 中的资源访问权的精细控制。

  • AWS Glue DataBrew – 是一种可视化数据准备工具，让您无需编写任何代码即可清理数据并实现标准化。