本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
《 AWS Glue DataBrew 开发者指南》的文档历史记录
当前 API 版本:d atabrew-2017-07-25
下表描述了此版本的文档 AWS Glue DataBrew。如果您想在《AWS Glue DataBrew 开发者指南》更新时收到通知,可以订阅 RSS feed。
变更 | 说明 | 日期 |
---|---|---|
glue:GetCustomEntityType已添加到 AWS 托管策略 | 在启用 PII 识别的情况下执行 AWS Glue DataBrew 配置文件作业需要此权限。有关更多信息,请参阅AWS 托管策略的AWS Glue DataBrew 更新。 | 2024 年 3 月 20 日 |
在 CRYPTOGRAPHIC_HASH 转换中支持多种哈希算法 | 现在,您可以在对列中的值进行哈希处理时指定哈希算法。有关更多信息,请参阅 CRYPTOGRAPHIC_HA SH。 | 2023 年 8 月 11 日 |
glue:BatchGetCustomEntityTypes已添加到 AWS 托管策略 | 在启用 PII 识别的情况下执行 AWS Glue DataBrew 配置文件作业需要此权限。有关更多信息,请参阅AWS 托管策略的AWS Glue DataBrew 更新。 | 2022 年 5 月 9 日 |
支持 Apache ORC 文件格式 | DataBrew 现在支持 Apache ORC 作为 DataBrew 数据源和输出的文件格式。有关更多信息,请参阅数据源支持的文件类型。 | 2022 年 3 月 31 日 |
支持跨账户访问 AWS Glue Data Catalog Amazon S3 | 现在, AWS 账户 如果在 AWS Glue 控制台中创建了适当的资源策略,则可以从其他人访问 AWS Glue Data Catalog S3 表。创建策略后,可以在创建数据DataBrew 集时选择相关的数据目录 S3 表作为输入源。有关更多信息,请参阅支持的数据源和输出的连接。 | 2022 年 3 月 11 日 |
支持与 Amazon 的本地控制台集成 AppFlow | DataBrew 现在已经与 Amazon 集成了原生控制台 AppFlow。这种集成意味着你可以连接来自 Salesforce、Zendesk、Slack 和其他 (software-as-a-service SaaS) 应用程序的数据。 ServiceNow您还可以连接来自亚马逊 S3 和 Amazon Redshift AWS 服务 等的数据。有关更多信息,请参阅支持的数据源和输出的连接。 | 2021 年 11 月 18 日 |
Support 对数据质量规则的支持 | DataBrew 现在支持创建数据质量规则,这些规则是可自定义的验证检查,用于定义特定数据的业务需求。有关更多信息,请参阅中的验证数据质量。 AWS Glue DataBrew | 2021 年 11 月 18 日 |
支持自定义 SQL 语句 | DataBrew 现在支持用于从 Amazon Redshift 和 Snowflake 检索数据的自定义 SQL 语句。这种支持意味着您可以使用专门构建的查询来选择和限制从大型表返回的数据。有关更多信息,请参阅支持的数据源和输出的连接。 | 2021 年 11 月 18 日 |
Support 支持 PII 检测 | DataBrew 现在支持检测个人身份信息 (PII)。这使您可以选择在数据准备期间屏蔽 PII。有关更多信息,请参阅识别和处理个人身份信息 (PII)。 | 2021 年 11 月 18 日 |
Support 支持其他 AWS 区域 | DataBrew 现在支持其他 AWS 区域。有关支持的区域列表,请参阅AWS Glue DataBrew 终端节点和配额。 | 2021 年 10 月 5 日 |
支持将数据写入基于 Lake Formation 的 Amazon S3 表 | DataBrew 现在支持基于将数据写入 AWS Glue Data Catalog S3 表 AWS Lake Formation。 DataBrew 现在还支持将数据写入 Tableau Hyper 格式。有关更多信息,请参阅创建和使用 AWS Glue DataBrew 配方作业。 | 2021 年 8 月 13 日 |
Support 支持将数据写入 JDBC 目标 | DataBrew 现在支持将数据直接写入 JDBC 支持的数据库和数据仓库。其中包括亚马逊 Redshift、Snowflake、微软 SQL Server、MySQL、甲骨文数据库和 PostgreSQL。有关更多信息,请参阅创建和使用 AWS Glue DataBrew 配方作业。 | 2021 年 7 月 23 日 |
Support 支持指定为分析作业生成哪些数据质量统计数据 | DataBrew 现在支持指定在分析作业中为数据集自动生成哪些数据质量统计数据。有关更多信息,请参阅创建和使用 AWS Glue DataBrew 配方作业。 | 2021 年 7 月 23 日 |
Support 支持将数据集写入 AWS Glue Data Catalog | DataBrew 现在支持将数据集直接写入 AWS Glue Data Catalog。您可以选择将根据运行数据准备配方的任务创建的数据集存储在数据目录中的 Amazon S3、Amazon Redshift 和 Amazon RDS 表中。支持的 RDS 表包括亚马逊 Aurora、Oracle 版 RDS、适用于微软 SQL Server 的 RDS、适用于 MySQL 的 RDS 和适用于 PostgreSQL 的 RDS。 | 2021 年 6 月 30 日 |
Support 支持识别高级数据类型 | DataBrew 现在支持自动识别和标记列的高级数据类型,这样可以更轻松地对包含某些类型数据的列进行标准化。这些类型的数据包括社会安全号码、电子邮件地址、电话号码、性别、信用卡、URL、IP 地址、日期和时间、货币、邮政编码、国家、地区、州和城市。 | 2021 年 6 月 30 日 |
支持使用亚马逊 AppFlow 从 SAAS 应用程序传输数据 | DataBrew 现在支持使用亚马逊 AppFlow 将数据从第三方 software-as-a-service (SaaS) 应用程序(例如 Salesforce、Zendesk、Slack 和)传输到亚马逊 S3。 ServiceNow有关更多信息,请参阅支持的数据源和输出的连接。 | 2021 年 4 月 29 日 |
Support 支持使用来自 JDBC 数据库的输入创建 DataBrew 数据集 | DataBrew 现在支持使用 JDBC 支持的数据库和数据仓库中的数据创建数据集,包括 Amazon Redshift、Snowflake、微软 SQL Server、MySQL、Oracle 数据库和 PostgreSQL。有关更多信息,请参阅支持的数据源和输出的连接。 | 2021 年 4 月 2 日 |
Support 支持其他 AWS 区域 | DataBrew 现在支持其他 AWS 区域。有关支持的区域列表,请参阅AWS Glue DataBrew 终端节点和配额。 | 2021 年 1 月 28 日 |
用于处理重复的新变换 | DataBrew 控制台和 API 中添加了四种用于处理重复的新转换。有关更多信息,请参阅数据质量配方步骤中的 DELETE_DUPLICATE_ROWS、FLAG_DUPLICATE_ROWS、FLAG_DUPLICATES_IN_COLUMN 和 REMOVE_DUPLICATES。 | 2021 年 1 月 28 日 |
其他 CSV 分隔符 | DataBrew 除了逗号分隔值 (CSV) 文件中用于创建数据集的逗号外,现在还支持其他分隔符。 DataBrew 有关更多信息,请参阅创建和使用 AWS Glue DataBrew 数据集。 | 2021 年 1 月 28 日 |
DataBrew 的扩展 JupyterLab | 现在,您可以在中 AWS Glue DataBrew 用作扩展 JupyterLab。有关更多信息,请参阅中的 DataBrew 用作扩展 JupyterLab。 | 2020 年 11 月 20 日 |
新的数据准备工具: AWS Glue DataBrew | 这是 AWS Glue DataBrew 开发人员指南的首次发布。 | 2020 年 11 月 11 日 |