转换数据

Amazon SageMaker Data Wrangler 提供大量机器学习数据转换，以简化数据的清理和特征化。使用 Data Wrangler 中的交互式数据准备工具，您可以使用各种采样技术对任何大小的数据集进行采样，并在几分钟内开始探索数据。在对采样数据完成数据转换后，您可以缩放数据流，将这些转换应用于整个数据集。

当您添加转换时，数据流会增加一个步骤。您添加的每个转换都会修改数据集，并生成新的数据框。所有后续转换都适用于生成的数据框。

Data Wrangler 包括内置转换，可用于转换列而无需任何代码。如果您知道要如何准备数据，但不知道如何开始或使用哪种变换，则可以使用数据准备聊天功能与 Data Wrangler 进行对话交互并使用自然语言应用转换。有关更多信息，请参阅 聊天准备数据。

您还可以使用 Python（用户定义函数） PySpark、pandas 和来添加自定义转换。 PySpark SQL有些转换可就地运行，而其他一些转换会在数据集中创建新的输出列。

您可以一次将转换应用于多列。例如，您可以在一个步骤中删除多列。

只能将 “处理数值” 和 “处理缺失的变换” 应用于单列。

使用此页面详细了解 Data Wrangler 提供的内置和自定义转换。

联接数据集

您可以直接在数据流中连接数据集。在联接两个数据集时，生成的联接数据集将显示在流中。Data Wrangler 支持以下联接类型。

使用以下步骤连接两个数据集。您应该已经在数据流中导入了两个数据源。

现在，您应该会看到数据流中添加了一个联接节点。

串联数据集

Concatenating 通过将行从一个数据集追加到另一个数据集来合并两个数据集。

使用以下步骤连接两个数据集。您应该已经在数据流中导入了两个数据源。

现在，您应该会看到数据流中添加了一个串联节点。

平衡数据

对于具代表不足的类别的数据集，您可以平衡其数据。平衡数据集有助于创建更好的二进制分类模型。

您可以通过平衡数据操作，使用以下运算符之一来平衡数据：

对于包含数字和非数字特征的数据集，可以使用所有转换。SMOTE使用相邻样本插值。Data Wrangler 使用 R 平方距离确定领域，以插入额外的样本。Data Wrangler 仅使用数字特征来计算代表不足的组中样本之间的距离。

对于代表不足的组中的两个实际样本，Data Wrangler 使用加权平均值插入数字特征。它会为 [0, 1] 范围内的样本随机分配权重。对于数字特征，Data Wrangler 使用样本的加权平均值来插入样本。对于样本 A 和 B，Data Wrangler 可能随机为 A 分配 0.7 的权重，为 B 分配 0.3。插入的样本值为 0.7A + 0.3B。

Data Wrangler 通过复制插入的任一实际样本，插入非数字特征。它按照随机分配给每个样本的概率复制样本。对于样本 A 和 B，它可能为 A 分配概率 0.8，为 B 分配 0.2。按照它所分配的概率，80% 的时间会复制 A。

自定义转换

自定义变换组允许您使用 Python（用户定义函数） PySpark、pandas 或 PySpark (SQL) 来定义自定义变换。对于所有三个选项，可以使用变量 df 访问要应用转换的数据框。要将自定义代码应用于数据框，可将已进行转换的数据框分配给 df 变量。如果您未使用 Python（用户定义函数），则无需包含返回语句。可选择预览，预览自定义转换的结果。可选择添加，将自定义转换添加到先前的步骤列表中。

您可以在自定义转换代码块中，使用 import 语句导入常用的库，如下所示：

df.rename(columns={"A column": "A_column", "B column": "B_column"})

如果在代码块中包含打印语句，那么当您选择预览时会显示结果。您可以调整自定义代码转换器面板的大小。调整面板大小可为编写代码提供更多空间。

以下各部分提供了更多上下文和示例，以便您编写自定义转换代码。

Python（用户定义函数）

借助 Python 函数，您无需了解 Apache Spark 或 pandas，即可编写自定义转换。Data Wrangler 经过优化，可快速运行您的自定义代码。通过使用自定义 Python 代码和 Apache Spark 插件，您可以获得类似的性能。

要使用 Python（用户定义函数）代码块，您需要指定以下设置：

使用 pandas 模式可以获得更好的性能。Python 模式更便于您使用纯 Python 函数编写转换。

PySpark

以下示例从时间戳中提取日期和时间。

from pyspark.sql.functions import from_unixtime, to_date, date_format
df = df.withColumn('DATE_TIME', from_unixtime('TIMESTAMP'))
df = df.withColumn( 'EVENT_DATE', to_date('DATE_TIME')).withColumn(
'EVENT_TIME', date_format('DATE_TIME', 'HH:mm:ss'))

pandas

以下示例提供要向其添加转换的数据框的概述。

df.info()

PySpark (SQL)

以下示例创建一个包含四列的新数据框：name、fare、pclass、survived。

SELECT name, fare, pclass, survived FROM df

如果您不知道如何使用 PySpark，则可以使用自定义代码片段来帮助您入门。

Data Wrangler 有一个可搜索的代码片段集合。您可以使用代码片段执行多种任务，例如删除列、按列分组或建模。

要使用代码片段，可选择搜索示例代码片段，然后在搜索栏中指定查询。您在查询中指定的文本不需要与代码片段的名称完全匹配。

以下示例显示了删除重复行代码片段，该代码片段可以删除数据集中具有相似数据的行。您可以通过搜索以下文本之一，查找该代码片段：

以下代码片段包含注释，有助于您了解需要进行哪些更改。对于大多数代码片段，您必须在代码中指定数据集的列名。

# Specify the subset of columns
# all rows having identical values in these columns will be dropped

subset = ["col1", "col2", "col3"]
df = df.dropDuplicates(subset)  

# to drop the full-duplicate rows run
# df = df.dropDuplicates()            
                        
        

要使用代码片段，请将其内容复制并粘贴到自定义转换字段中。您可以将多个代码片段复制并粘贴到自定义转换字段中。

自定义公式

使用自定义公式定义新列，使用 Spark SQL 表达式查询当前数据框中的数据。该查询必须使用 Spark SQL 表达式的约定。

df.rename(columns={"A column": "A_column", "B column": "B_column"})

您可以使用此转换对列执行操作，按名称引用列。例如，假设当前数据框包含名为 col_a 和 col_b 的列，您可以使用以下操作生成输出列，该列是上述两列的乘积，代码如下：

col_a * col_b

其他常见操作包括以下操作（假设数据框包含 col_a 和 col_b 列）：

有关更多信息，请参阅关于选择数据的 Spark 文档。

降低数据集中的维度

使用主成分分析 () PCA 降低数据的维度。数据集的维度与特征的数量相对应。如果您在 Data Wrangler 中使用降维，您会得到一组名为“成分”的新特征。每个成分在数据中占一定的可变性。

第一个成分在数据中占最大的变化量。第二个成分在数据中占第二大的变化量，以此类推。

您可以使用降维，减小用于训练模型的数据集大小。您可以使用主成分，替代数据集中的特征。

为了执行任务PCA，Data Wrangler 会为你的数据创建轴。轴是数据集中列的仿射组合。第一个主成分即轴上变化量最大的值。第二个主成分即轴上变化量第二大的值。第 n 个主成分即轴上变化量第 n 大的值。

您可以配置 Data Wrangler 返回的主成分数量。您可以直接指定主成分的数量，也可以指定变化阈值百分比。每个主成分都解释了数据中的变化量。例如，您可能有一个值为 0.5 的主成分。该成分可解释数据中 50% 的变化。如果您指定变化阈值百分比，Data Wrangler 会返回符合所指定百分比的最小数量的成分。

以下示例为各个主成分及其在数据中解释的变化量。

如果将变化阈值百分比指定为 94 或 95，则 Data Wrangler 将返回成分 1 和成分 2。如果将变化阈值百分比指定为 96，则 Data Wrangler 将返回全部三个主成分。

您可以使用以下过程在您的数据集PCA上运行。

对分类数据进行编码

分类数据通常由有限数量的类别组成，其中每个类别用字符串表示。例如，如果您有客户数据表，则表明某人居住的国家/地区的列即为分类数据。类别有 Afghanistan、Albania、Algeria 等等。分类数据可以是标称的或有序的。有序类别有固有的次序，标称类别则没有。获得的最高学位（High school、Bachelors、Masters 等）即有序类别的一个示例。

对分类数据进行编码是为类别创建数字表示形式的过程。例如，如果你的分类是 Dog 和 Cat，则可以将此信息编码为两个向量：[1,0] 表示 Dog，[0,1] 表示 Cat。

对有序类别进行编码时，可能需要将类别的自然顺序转换为编码。例如，您可以采用以下映射表示获得的最高学位：{"High school": 1, "Bachelors": 2, "Masters":3}。

可使用分类编码，将字符串格式的分类数据编码为整数数组。

Data Wrangler 分类编码器会在定义步骤时，为列中存在的所有类别创建编码。如果在时间 t，您启动 Data Wrangler 作业以处理数据集时，列中添加了新的类别，并且此列在时间 t-1 是 Data Wrangler 分类编码转换的输入，那么这些新类别在 Data Wrangler 中将被视为缺失。您为无效值处理策略所选择的选项将应用于这些缺失值。何时会发生此类情况的示例如下：

在上述情况中，这些新的类别在 Data Wrangler 作业中被视为缺失值。

您可以选择有序的或独热编码，并进行配置。可通过以下部分了解有关这些选项的更多信息。

两种转换均创建一个名为输出列的新列。可以使用输出样式，指定此列的输出格式:

有序编码

选择有序编码，将类别编码为介于 0 到所选输入列中类别总数之间的整数。

无效值处理策略：选择处理无效值或缺失值的方法。

独热编码

可以为转换选择独热编码，以使用独热编码。可通过以下选项配置此转换：

相似性编码

如果您有以下数据，则可使用相似性编码：

相似性编码器为包含分类数据的列创建嵌入。嵌入即从离散对象（如单词）到实数向量的映射。该编码器将类似的字符串编码为包含相似值的向量。例如，为“California”和“Calfornia”创建极为相似的编码。

Data Wrangler 使用 3-gram 分词器将数据集中的每个类别转换为一组令牌。该编码器使用最小哈希编码将令牌转换为嵌入。

Data Wrangler 创建的相似性编码：

出于上述原因，相似性编码比独热编码更为通用。

要将相似性编码转换添加到数据集中，请按以下过程操作。

特征化文本

可使用特征化文本转换组，检查字符串类型的列，并使用文本嵌入对这些列特征化。

此特征组包含两个特征：字符统计和向量化。可通过以下部分了解有关这些转换的更多信息。对于这两个选项，输入列必须包含文本数据（字符串类型）。

字符统计

可使用字符统计，为包含文本数据的列中的每一行生成统计信息。

此转换将为每一行计算以下比率和计数，并创建新的列以报告结果。该新列采用输入列名称作为前缀，以及特定于比率或计数的后缀来命名。

向量化

文本嵌入涉及将词汇表中的单词或短语映射到实数向量。使用 Data Wrangler 文本嵌入变换将文本数据标记并矢量化为术语频率——反向文档频率 (TF-) 向量。IDF

当为一列文本数据计算 TF-IDF 时，每个句子中的每个单词都将转换为表示其语义重要性的实数。数字越高，与之关联的单词出现频率越低，这些单词往往更有意义。

在定义矢量化变换步骤时，Data Wrangler 会使用数据集中的数据来定义计数向量化器和 TF-方法。IDF运行 Data Wrangler 作业时会使用相同的方法。

您可以使用以下选项配置此转换：

转换时间序列

在 Data Wrangler 中，您可以转换时间序列数据。时间序列数据集中的值按特定时间编制索引。例如，显示一天中每小时商店中的顾客数量的数据集，即时间序列数据集。下表显示了时间序列数据集示例。

商店中每小时的顾客数

对于上表，顾客数列中包含时间序列数据。时间序列数据根据时间（小时）列中的每小时数据编制索引。

您可能需要对数据执行一系列转换，才能获得可用于分析的格式。可使用时间序列转换组，对时间序列数据进行转换。有关可执行的转换的详细信息，请参阅以下各节。

按时间序列分组

您可以使用按操作分组，对列中特定值的时间序列数据进行分组。

例如，您通过下表跟踪住户的平均每日用电量：

平均每日住户用电量

如果您选择按 ID 分组，则可获得下表。

按住户 ID 分组的用电量

时间序列中的每一项按照相应的时间戳排序。序列的第一个元素对应于该序列的第一个时间戳。对于 household_0，30 是用电量序列的第一个值。值 30 对应于第一个时间戳 1/1/2020。

您可以将开始时间戳和结束时间戳包括在内。下表显示了这些信息的显示方式。

按住户 ID 分组的用电量

您可以使用以下过程，按时间序列列进行分组。

重新采样时间序列数据

时间序列数据中通常包含并非定期取得的观测值。例如，数据集中某些观测值是每小时记录的，而其他一些观测值是每两小时记录的。

许多分析（如预测算法）需要定期取得的观测值。您可以通过重新采样，为数据集中的观测值建立定期间隔。

您可以对时间序列进行上采样或下采样。下采样会延长数据集中观测值之间的间隔。例如，如果对每小时或每两小时记录的观测值进行下采样，那么数据集中的每个观测值将每两小时记录一次。对于每小时观测值，将使用聚合方法（如平均值或中位数）聚合为单个值。

上采样则会缩短数据集中观测值之间的间隔。例如，如果将每两小时记录一次的观测值上采样为每小时观测值，那么可以使用插值方法，从每两小时取得的观测值中推断出每小时观测值。有关插值方法的信息，请参阅 pandas。 DataFrame.interpolate。

您可以对数字数据和非数字数据重新采样。

可使用重新采样操作，对时间序列数据重新采样。如果数据集中有多个时间序列，Data Wrangler 会标准化每个时间序列的时间间隔。

下表显示了使用平均值聚合方法对时间序列数据进行下采样的示例。数据采样从每两小时一次降到每小时一次。

下采样前一天的每小时温度读数

延长至每两小时的温度读数

您可以使用以下过程，对时间序列数据重新采样。

处理缺失的时间序列数据

如果数据集中有缺失值，可执行以下操作之一：

填补缺失值涉及通过指定值或使用推理方法来替换数据。以下是可用于填补的方法：

某些填补方法可能无法填补数据集中的所有缺失值。例如，向前填充无法填补出现在时间序列开头的缺失值。您可以使用向前填充或向后填充来填补值。

您可以填补单元格内或列中的缺失值。

以下示例显示了如何填补单元格内的值。

含缺失值的用电量

采用向前填充填补值的用电量

以下示例显示了如何填补列中的值。

含缺失值的平均每日住户用电量

采用向前填充填补值的平均每日住户用电量

您可以使用以下过程，处理缺失值。

验证时间序列数据的时间戳

您可能有无效的时间戳数据。您可以使用验证时间戳函数，确定数据集中的时间戳是否有效。时间戳可能因以下一个或多个原因无效：

如果数据集中有无效的时间戳，则无法成功执行分析。您可以使用 Data Wrangler 来识别无效的时间戳，并了解需要在哪里清理数据。

时间序列验证按下面的两种方式之一运行：

可以配置 Data Wrangler，使之在数据集中遇到缺失值时执行以下操作之一：

可以对包含 timestamp 类型或 string 类型的列，验证时间戳。如果列包含 string 类型，Data Wrangler 会将列的类型转换为 timestamp，然后执行验证。

您可以使用以下过程，验证数据集中的时间戳。

标准化时间序列的长度

如果将时间序列数据存储为数组，那么可以将每个时间序列标准化为相同的长度。通过标准化时间序列数组的长度，您或许能更轻松地执行数据分析。

对于需要固定数据长度的数据转换，您可以对时间序列进行标准化。

许多机器学习算法要求您在使用时间序列数据之前，对数据进行展平。展平时间序列数据是在数据集中，将时间序列的每个值分隔到自己的列中。数据集中的列数不能更改，因此需要在将每个数组展平为一组特征的过程中，对时间序列的长度进行标准化。

每个时间序列的长度可设置为指定的时间序列集的分位数或百分位数。例如，您可能拥有三个长度如下的序列：

您可以将所有序列的长度设置为长度为第 50 个百分位数的序列的长度。

小于指定长度的时间序列数组会添加缺失值。以下示例格式将时间序列标准化为更长的长度：[2, 4, 5, NaN, NaN, NaN]。

您可以使用不同的方法处理缺失值。有关这些方法的信息，请参阅处理缺失的时间序列数据。

大于指定长度的时间序列数组将被截断。

您可以使用以下过程，对时间序列的长度进行标准化。

从时间序列数据中提取特征

如果对时间序列数据运行分类或回归算法，我们建议在运行算法之前，从时间序列中提取特征。提取特征可能会提高算法的性能。

可使用以下选项，选择要从数据中提取特征的方式：

可使用以下过程，从时间序列数据中提取特征。

使用时间序列数据的滞后特征

对于许多使用案例来说，预测时间序列未来行为的最佳方法，是使用其最近的行为。

滞后特征最常见的用途如下：

在时间序列中创建日期时间范围

您可能有不含时间戳的时间序列数据。如果您知道观测值是定期取得的，那么可以在单独的列中为时间序列生成时间戳。要生成时间戳，请指定开始时间戳的值和时间戳的频率。

例如，您可能有以下时间序列数据，一家餐厅的顾客数量。

餐厅顾客数的时间序列数据

如果您知道餐厅下午 5:00 开始营业，并且每小时记录一次观测值，那么可以添加与时间序列数据对应的时间戳列。您可以在下表中看到时间戳列。

餐厅顾客数的时间序列数据

可使用以下过程，向数据添加日期时间范围。

在时间序列中使用滚动窗口

您可以提取一段时间内的特征。例如，给定时间 t，时间窗口长度为 3，以及表示第 t 个时间戳的行，我们可追加时间 t - 3、t -2 和 t - 1 时从时间序列提取的特征。有关提取特征的信息，请参阅从时间序列数据中提取特征。

您可以使用以下过程，提取一段时间内的特征。

特征化日期时间

可使用特征化日期/时间，创建表示日期时间字段的向量嵌入。要使用此转换，日期时间数据必须采用以下格式之一：

您可以选择推断日期时间格式，或者提供日期时间格式。如果提供日期时间格式，则必须使用 Python 文档中所述的代码。为这两种配置选择的选项，会影响到操作速度和最终结果：

使用此转换时，应指定包含上述格式之一的日期时间数据的输入列。转换会创建名为输出列名的输出列。输出列的格式取决于通过以下选项进行的配置：

此外，必须选择嵌入模式。对于线性模型和深度网络，我们建议选择循环的。对于基于树的算法，我们建议选择有序的。

格式化字符串

格式化字符串转换包含标准的字符串格式化操作。例如，您可以使用这些操作删除特殊字符、规范化字符串长度以及更新字符串大小写。

此特征组包含以下转换。所有转换都将在输入列中返回字符串副本，然后将结果添加到新的输出列。

处理异常值

机器学习模型对特征值的分布和范围很敏感。异常值或稀有值可能会对模型准确性产生负面影响，并导致更长的训练时间。可使用此特征组，检测并更新数据集中的异常值。

在定义处理异常值转换步骤时，用于检测异常值的统计数据是在定义此步骤时，根据 Data Wrangler 中的可用数据生成的。运行 Data Wrangler 作业时，也会用到这些统计数据。

可通过以下部分，了解有关此组所包含的转换的更多信息。指定输出名称以及以下转换中的每一个，都会生成含结果数据的输出列。

稳健标准差数字异常值

此转换使用对异常值而言稳健的统计数据，检测并修复数字特征中的异常值。

您必须为用于计算异常值的统计数据，定义上分位数和下分位数。还必须指定一个标准差数，值必须偏离平均值此数额，才能被视为异常值。例如，如果指定标准差为 3，那么值必须偏离平均值 3 个标准差以上，才会被视为异常值。

修复方法是在检测到异常值后，用于处理异常值的方法。可从以下选项中进行选择：

标准差数字异常值

此转换使用平均值和标准差检测并修复数字特征中的异常值。

您可以指定一个标准差数，值必须偏离平均值此数额，才能被视为异常值。例如，如果指定标准差为 3，那么值必须偏离平均值 3 个标准差以上，才会被视为异常值。

修复方法是在检测到异常值后，用于处理异常值的方法。可从以下选项中进行选择：

分位数数字异常值

可使用此转换，通过分位数检测并修复数字特征中的异常值。您可以定义上分位数和下分位数。所有高于上分位数或低于下分位数的值，均被视为异常值。

修复方法是在检测到异常值后，用于处理异常值的方法。可从以下选项中进行选择：

最小-最大数字异常值

此转换使用上限和下限阈值检测并修复数字特征中的异常值。如果您知道区分异常值的阈值，可使用此方法。

您应指定上限阈值和下限阈值，如果值分别高于或低于这些阈值，则被视为异常值。

修复方法是在检测到异常值后，用于处理异常值的方法。可从以下选项中进行选择：

替换稀有值

使用替换稀有值转换时，您指定一个阈值，Data Wrangler 会查找符合该阈值的所有值，然后将其替换为您指定的字符串。例如，您可能希望使用此转换，将列中的所有异常值归类到“其他”类别中。

处理缺失值

在机器学习数据集中，缺失值属于常见情况。在某些情况下，使用计算值（如平均值或绝对普通值）来填补缺失的数据是合适的。您可以使用处理缺失值转换组来处理缺失值。此组包含以下转换。

填充缺失值

可使用填充缺失值转换，将缺失值替换为您所定义的填充值。

填补缺失值

可使用填补缺失值转换，创建新的列，其中包含在输入分类数据和数字数据中发现的缺失值的填补值。配置取决于您的数据类型。

对于数字数据，可选择一个填补策略，用于确定要填补的新值。您可以选择填补数据集中所存在值的平均值或中位数。Data Wrangler 使用它所计算的值来填补缺失值。

对于分类数据，Data Wrangler 使用列中最常见的值来填补缺失值。如果要填补自定义字符串，可改用填充缺失值转换。

添加缺失值指示器

可使用添加缺失值指示器转换，创建包含布尔值的新的指示器列：如果行中包含值，则为 "false"；如果行中包含缺失值，则为 "true"。

删除缺失值

可使用删除缺失值选项，从输入列中删除包含缺失值的行。

管理列

您可以使用以下转换，快速更新和管理数据集中的列：

管理行

可使用此转换组，对行快速执行排序和打乱操作。此组包含以下转换：

管理向量

可使用此转换组，合并或展平向量列。此组包含以下转换。

处理数字

可使用处理数字特征组，处理数字数据。此组中的每个缩放器均使用 Spark 库定义。支持以下缩放器：

采样

导入数据后，您可以使用采样转换器，抽取数据的一个或多个样本。使用采样转换器时，Data Wrangler 会对原始数据集进行采样。

您可以选择以下采样方法之一：

您可以对随机样本进行分层，以确保样本代表数据集的原始分布。

您可能正在为多个使用案例执行数据准备。对于每个使用案例，您可以抽取不同的样本并应用一组不同的转换。

以下过程描述了创建随机样本的过程。

以下过程描述了创建分层样本的过程。

搜索和编辑

可使用此部分，搜索和编辑字符串中的特定模式。例如，您可以查找并更新句子或文档中的字符串、按分隔符拆分字符串，以及查找特定字符串的多次出现。

搜索和编辑支持以下转换。所有转换都将在输入列中返回字符串副本，然后将结果添加到新的输出列。

拆分数据

可使用拆分数据转换，将数据集拆分为两个或三个数据集。例如，您可以将数据集拆分为用于训练模型的数据集，以及用于测试模型的数据集。您可以决定每次拆分的数据集比例。例如，如果您要将一个数据集拆分为两个数据集，则训练数据集可以包含 80% 的数据，测试数据集包含 20% 的数据。

您可以将数据拆分为三个数据集，以便创建训练、验证和测试数据集。您可以通过删除目标列，来查看模型在测试数据集上的表现。

您的使用案例决定了每个数据集可获得多少原始数据集，以及用于拆分数据的方法。例如，您可能希望使用分层拆分，确保目标列中观测值在数据集中的分布相同。您可以使用以下拆分转换：

拆分数据之后，您可以对每个数据集应用其他转换。对于大多数使用案例而言，并不是必需的。

Data Wrangler 会计算拆分的比例，以提高性能。您可以选择误差阈值来设置拆分的准确性。较低的误差阈值可以更准确地反映您指定的拆分比例。如果设置较高的误差阈值，则性能会更好，但准确性会降低。

要获得完美拆分的数据，可将误差阈值设置为 0。您可以指定介于 0 与 1 之间的阈值，以提高性能。如果指定的值大于 1，则 Data Wrangler 将该值解释为 1。

如果数据集有 10000 行，并且您指定了 80/20 拆分，误差为 0.001，那么观测值将接近以下结果之一：

在上述示例中，训练集的观测值数量在 8010 到 7990 之间的区间内。

默认情况下，Data Wrangler 使用随机种子来使拆分可重现。您可以为种子指定不同的值，以创建不同的可重现拆分。

将值解析为类型

可使用此转换，将列转为新的类型。支持的 Data Wrangler 数据类型包括：

验证字符串

可使用验证字符串转换，创建新列以指示文本数据行是否符合指定的条件。例如，您可以使用验证字符串转换，验证字符串是否只包含小写字符。验证字符串支持以下转换。

此转换组中包括以下转换。如果转换输出布尔值，则 True 用 1 表示，False 用 0 表示。

取消嵌套数据 JSON

如果您有.csv 文件，则您的数据集中的值可能为JSON字符串。同样，您可能在 Parquet 文件或JSON文档的列中嵌套数据。

可使用展平结构运算符，将第一级键分隔到单独的列中。第一级键即没有嵌套在值中的键。

例如，您可能有一个数据集，其中包含以JSON字符串形式存储的每个人的人口统计信息。JSON字符串可能如下所示。

 "{"seq": 1,"name": {"first": "Nathaniel","last": "Ferguson"},"age": 59,"city": "Posbotno","state": "WV"}"
            

展平结构运算符会将以下第一级键转换到数据集中的其他列：

Data Wrangler 将键的值作为值放在列下。下面显示了的列名和值JSON。

seq, name,                                    age, city, state
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV
            

对于数据集中包含的每个值JSON，Flatten 结构化运算符都会为第一级键创建列。要为嵌套键创建列，可再次调用运算符。对于上述示例，调用运算符将创建以下列：

以下示例显示了再次调用操作后产生的数据集。

seq, name,                                    age, city, state, name_first, name_last
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV, Nathaniel, Ferguson
            

可选择要展平的键，指定要提取为单独列的第一级键。如果未指定任何键，默认情况下 Data Wrangler 会提取所有键。

爆炸数组

可使用爆炸数组，将数组的值扩展为单独的输出行。例如，此操作可提取如下数组中的每个值：[[1, 2, 3,], [4, 5, 6], [7, 8, 9]]，并创建包含以下行的新列：

                [1, 2, 3]
                [4, 5, 6]
                [7, 8, 9]
            

Data Wrangler 将新列命名为 input_column_name_flatten。

您可以多次调用爆炸数组操作，将数组的嵌套值放入单独的输出列中。以下示例显示了对包含嵌套数组的数据集多次调用此操作的结果。

将嵌套数组的值放入单独的列中

转换图像数据

可使用 Data Wrangler 导入并转换用于机器学习 (ML) 管线的图像。准备好图像数据后，可以将其从 Data Wrangler 流导出至机器学习管线。

您可以使用此处提供的信息，来熟悉如何在 Data Wrangler 中导入并转换图像数据。Data Wrangler 使用 OpenCV 导入图像。有关支持的图像格式的更多信息，请参阅图像文件读取和写入。

熟悉转换图像数据的概念后，请阅读以下教程 “使用 Amazon Data Wrangler 准备图像 SageMaker 数据”。

以下是将机器学习应用于转换后的图像数据的行业和使用案例，这些示例可能会有帮助：

在 Data Wrangler 中处理图像数据时，会经历以下过程：

可使用以下过程，导入图像数据。

Data Wrangler 使用开源 imgaug 库进行内置图像转换。您可以使用以下内置转换：

使用以下过程，无需编写代码即可转换图像。

除了使用 Data Wrangler 提供的转换之外，您还可以使用自己的自定义代码片段。有关使用自定义代码片段的更多信息，请参阅自定义转换。您可以在代码片段中导入 OpenCV 和 imgaug 库，并使用与之相关的转换。以下是一个用于检测图像边缘的代码片段示例。

# A table with your image data is stored in the `df` variable
import cv2
import numpy as np
from pyspark.sql.functions import column

from sagemaker_dataprep.compute.operators.transforms.image.constants import DEFAULT_IMAGE_COLUMN, IMAGE_COLUMN_TYPE
from sagemaker_dataprep.compute.operators.transforms.image.decorators import BasicImageOperationDecorator, PandasUDFOperationDecorator


@BasicImageOperationDecorator
def my_transform(image: np.ndarray) -> np.ndarray:
  # To use the code snippet on your image data, modify the following lines within the function
    HYST_THRLD_1, HYST_THRLD_2 = 100, 200
    edges = cv2.Canny(image,HYST_THRLD_1,HYST_THRLD_2)
    return edges
    

@PandasUDFOperationDecorator(IMAGE_COLUMN_TYPE)
def custom_image_udf(image_row):
    return my_transform(image_row)
    

df = df.withColumn(DEFAULT_IMAGE_COLUMN, custom_image_udf(column(DEFAULT_IMAGE_COLUMN)))
        

在 Data Wrangler 流中应用转换时，Data Wrangler 仅对数据集中的图像样本应用转换。为了优化应用程序体验，Data Wrangler 不会对所有图像应用转换。

筛选数据

可使用 Data Wrangler 筛选列中的数据。筛选列中的数据时，需要指定以下字段：

您可以按以下条件进行筛选：

对于包含类别 male 和 female 的列，可以筛选出所有 male 值。也可以筛选出所有 female 值。由于列中只有 male 和 female 值，因此筛选器返回仅包含 female 值的列。

您还可以添加多个筛选器。筛选器可应用于多列或同一列。例如，如果您要创建仅包含特定范围内的值的列，那么可添加两个不同的筛选器。一个筛选器指定列的值必须大于提供的值。另一个筛选器指定列的值必须小于提供的值。

可使用以下过程，将筛选转换添加到数据。