Job - AWS Glue DataBrew

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Job

表示 DataBrew 作业的所有属性。

内容

注意

下表中,首先描述的是必需参数。

Name

作业的唯一名称。

类型:字符串

长度限制:长度下限为 1。最大长度为 240。

必需:是

AccountId

拥有该任务的 AWS 账号的 ID。

类型:字符串

长度限制:长度上限为 255。

必需:否

CreateDate

创建作业的日期和时间。

类型:时间戳

必需:否

CreatedBy

创建任务的用户的亚马逊资源名称 (ARN)。

类型:字符串

必需:否

DatabaseOutputs

表示 JDBC 数据库输出对象的列表,该对象定义了要写入的 DataBrew 配方作业的输出目标。

类型:DatabaseOutput 对象数组

数组成员:最少 1 个物品。

必需:否

DataCatalogOutputs

一个或多个工件,表示运行作业的 AWS Glue Data Catalog 输出。

类型:DataCatalogOutput 对象数组

数组成员:最少 1 个物品。

必需:否

DatasetName

作业要处理的数据集。

类型:字符串

长度限制:长度下限为 1。最大长度为 255。

必需:否

EncryptionKeyArn

用于保护作业输出的加密密钥的 Amazon 资源名称(ARN)。有关更多信息,请参阅加密作业写入 DataBrew 的数据

类型:字符串

长度约束:最小长度为 20。最大长度为 2048。

必需:否

EncryptionMode

作业的加密模式包括以下几种:

  • SSE-KMS-使用由 AWS KMS管理的密钥进行服务器端加密。

  • SSE-S3 - 使用 Amazon S3 托管密钥进行服务器端加密。

类型:字符串

有效值:SSE-KMS | SSE-S3

必需:否

JobSample

仅用于配置文件作业的样本配置,其确定运行配置文件作业的行数。如果未提供 JobSample 值,则使用默认值。模式参数的默认值为 CUSTOM_ROWS,大小参数的默认值为 20,000。

类型:JobSample 对象

必需:否

LastModifiedBy

上次修改任务的用户的亚马逊资源名称 (ARN)。

类型:字符串

必需:否

LastModifiedDate

作业的修改日期和时间。

类型:时间戳

必需:否

LogSubscription

Amazon CloudWatch 登录任务的当前状态。

类型:字符串

有效值:ENABLE | DISABLE

必需:否

MaxCapacity

作业处理数据时可以使用的最大节点数。

类型:整数

必需:否

MaxRetries

作业运行失败后重试此作业的最大次数。

类型:整数

有效范围:最小值为 0。

必需:否

Outputs

代表作业运行时输出的一个或多个构件。

类型:Output 对象数组

数组成员:最少 1 个物品。

必需:否

ProjectName

与作业关联的项目的名称。

类型:字符串

长度限制:长度下限为 1。最大长度为 255。

必需:否

RecipeReference

作业运行的一组步骤。

类型:RecipeReference 对象

必需:否

ResourceArn

任务的唯一亚马逊资源名称 (ARN)。

类型:字符串

长度约束:最小长度为 20。最大长度为 2048。

必需:否

RoleArn

此作业将担任的角色的 Amazon 资源名称(ARN)。

类型:字符串

长度约束:最小长度为 20。最大长度为 2048。

必需:否

Tags

已应用于作业的元数据标签。

类型:字符串到字符串映射

地图条目:最大数量为 200 个项目。

密钥长度限制:最小长度为 1。长度上限为 128。

值长度限制:最大长度为 256。

必需:否

Timeout

作业的超时(以分钟为单位)。如果作业的运行时间超出此超时时间,作业将以 TIMEOUT 状态结束。

类型:整数

有效范围:最小值为 0。

必需:否

Type

作业类型必须为以下类型之一:

  • PROFILE - 用于分析数据集、确定其大小、数据类型、数据分布等的作业。

  • RECIPE - 将一个或多个转换应用于数据集的作业。

类型:字符串

有效值:PROFILE | RECIPE

必需:否

ValidationConfigurations

应用于配置文件作业的验证配置列表。

类型:ValidationConfiguration 对象数组

数组成员:最少 1 个物品。

必需:否

另请参阅

有关在特定语言的 AWS SDK 中使用此 API 的更多信息,请参阅以下内容: