使用 SelectFromCollection 选择要保留的数据集 - AWS Glue

使用 SelectFromCollection 选择要保留的数据集

使用 SelectFromCollection 转换将 DynamicFrames 集合转换为单个 DynamicFrame。

将 SelectFromCollection 转换节点添加到任务图

  1. （可选）打开资源面板，然后选择 SelectFromCollection 将新转换添加到作业图（如果需要）。

  2. 在 Node properties (节点属性) 选项卡上，输入任务图中节点的名称。如果尚未选择父节点，请从 Node parents (父节点) 列表中选择一个节点，用作转换的输入源。

  3. 选择 Transform (转换) 选项卡。

  4. 在标题 Frame index (帧索引) 下面，选择您要从 DynamicFrames 集合中选择的 DynamicFrame 对应的数组索引编号。

    例如，如果此转换的父节点是 SplitFields 转换，则在该节点的 Output schema (输出架构) 选项卡上，您可以看到每个 DynamicFrame 的架构。如果您要保留与 Output 2 (输出 2) 的架构关联的 DynamicFrame，您需要选择 1 作为 Frame index (帧索引) 的值，这是列表中的第二个值。

    输出中仅包含 DynamicFrame。

  5. （可选）配置转换节点属性后，您可以选择节点详细信息面板中的 Output schema (输出架构) 选项卡，查看数据的修改架构。当您首次为任务中的任何节点选择此选项卡时，系统会提示您提供 IAM 角色以访问数据。如果您尚未在 Job details (任务详细信息) 选项卡上指定 IAM 角色，系统会提示您在此处输入 IAM 角色。

  6. （可选）配置节点属性和转换属性后，您可以选择节点详细信息窗格中的 Data preview (数据预览) 选项卡来预览已修改的数据集。当您首次为任务中的任何节点选择此选项卡时，系统会提示您提供 IAM 角色以访问数据。使用此功能会产生相关费用，并且一旦您提供 IAM 角色，则会立即开始计费。