触发 - AWS Glue

触发

触发器 API 介绍与在 AWS Glue 中创建、更新或删除以及开启和停止任务触发器相关的数据类型和 API。

数据类型

Trigger 结构

有关特定触发器的信息。

字段
  • Name – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    触发器的名称。

  • WorkflowName – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    与触发器关联的工作流程的名称。

  • Id – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    留待将来使用。

  • Type – UTF-8 字符串(有效值:SCHEDULED |CONDITIONAL | ON_DEMAND | EVENT)。

    触发器的类型。

  • State – UTF-8 字符串(有效值:CREATING | CREATED | ACTIVATING | ACTIVATED | DEACTIVATING | DEACTIVATED | DELETING | UPDATING)。

    触发器的当前状态。

  • Description – 描述字符串,长度不超过 2048 个字节,与 URI address multi-line string pattern 匹配。

    此触发器的描述。

  • Schedule – UTF-8 字符串。

    用于指定计划的 cron 表达式 (请参阅用于作业和爬网程序的基于时间的计划)。例如,要每天 12:15 UTC 运行某些任务,您应该指定:cron(15 12 * * ? *)

  • Actions操作 对象的数组。

    通过此触发器发起的操作。

  • Predicate – 一个 谓词 对象。

    此触发器的谓词,用于定义触发器将在何时触发。

  • EventBatchingCondition – 一个 EventBatchingCondition 对象。

    在 EventBridge 事件触发器触发之前必须满足的批处理条件(接收的事件数量或批处理时间段已过期)。

TriggerUpdate 结构

提供用于更新触发器的信息的结构。此对象通过完全覆盖以前的触发器定义来更新以前的触发器定义。

字段
  • Name – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    留待将来使用。

  • Description – 描述字符串,长度不超过 2048 个字节,与 URI address multi-line string pattern 匹配。

    此触发器的描述。

  • Schedule – UTF-8 字符串。

    用于指定计划的 cron 表达式 (请参阅用于作业和爬网程序的基于时间的计划)。例如,要每天 12:15 UTC 运行某些任务,您应该指定:cron(15 12 * * ? *)

  • Actions操作 对象的数组。

    通过此触发器发起的操作。

  • Predicate – 一个 谓词 对象。

    此触发器的谓词,用于定义触发器将在何时触发。

  • EventBatchingCondition – 一个 EventBatchingCondition 对象。

    在 EventBridge 事件触发器触发之前必须满足的批处理条件(接收的事件数量或批处理时间段已过期)。

Predicate 结构

定义触发器的谓词,确定触发器何时触发。

字段
  • Logical – UTF-8 字符串(有效值:AND | ANY)。

    如果只列出了一个条件,则为可选字段。如果列出了多个条件,则此字段为必需字段。

  • Conditions状况 对象的数组。

    确定触发器将何时触发的条件列表。

Condition 结构

定义触发器将触发的条件。

字段
  • LogicalOperator – UTF-8 字符串(有效值:EQUALS)。

    一个逻辑运算符。

  • JobName – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    此条件应用于其 JobRuns 并且此触发器在其上等待的作业的名称。

  • State - UTF-8 字符串(有效值:STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT | ERROR | WAITING | EXPIRED)。

    条件状态。目前,触发器可侦听的仅有作业为 SUCCEEDEDSTOPPEDFAILEDTIMEOUT。触发器可侦听的仅有爬网程序状态为 SUCCEEDEDFAILEDCANCELLED

  • CrawlerName – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    此条件应用于的爬网程序的名称。

  • CrawlState – UTF-8 字符串(有效值:RUNNING | CANCELLING | CANCELLED | SUCCEEDED | FAILED | ERROR)。

    此条件应用于的爬网程序的状态。

Action 结构

定义触发器发起的操作。

字段
  • JobName – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    要运行的任务的名称。

  • Arguments – 键值对的映射数组。

    每个键是一个 UTF-8 字符串。

    每个值是一个 UTF-8 字符串。

    此触发器触发时使用的作业参数。对于此任务运行,它们会替换任务定义本身中的默认参数集。

    可以在此处指定您自己的任务执行脚本使用的参数以及 AWS Glue 本身使用的参数。

    有关如何指定和使用您自己的任务参数的信息,请参阅开发人员指南中的在 Python 中调用 AWS Glue API 主题。

    有关 AWS Glue 用于设置任务的键值对的信息,请参阅开发人员指南中的由 AWS Glue 使用的特殊参数主题。

  • Timeout - 数字(整数),至少为 1。

    JobRun 超时(分钟) 这是任务运行在终止并进入 TIMEOUT 状态前可以使用资源的最长时间。默认值为 2880 分钟(48 小时)。此值会覆盖父任务中设置的超时值。

  • SecurityConfiguration – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    该操作将使用的 SecurityConfiguration 结构的名称。

  • NotificationProperty – 一个 NotificationProperty 对象。

    指定任务运行通知的配置属性。

  • CrawlerName – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    要用于此操作的爬网程序的名称。

EventBatchingCondition 结构

在 EventBridge 事件触发器触发之前必须满足的批处理条件(接收的事件数量或批处理时间段已过期)。

字段
  • BatchSize必填:数字(整数),不小于 1 或大于 100。

    在 EventBridge 事件触发器触发之前,必须从 Amazon EventBridge 接收的事件数。

  • BatchWindow – 数字(整数),不小于 1 或大于 900。

    EventBridge 事件触发器触发的时段(以秒为单位)。时段在收到第一个事件时开始计算。

操作

CreateTrigger 操作(Python:create_trigger)

创建新的触发器。

请求
  • Name必填:UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    触发器的名称。

  • WorkflowName – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    与触发器关联的工作流程的名称。

  • Type必填:UTF-8 字符串(有效值:SCHEDULED | CONDITIONAL | ON_DEMAND | EVENT)。

    新触发器的类型。

  • Schedule – UTF-8 字符串。

    用于指定计划的 cron 表达式 (请参阅用于作业和爬网程序的基于时间的计划)。例如,要每天 12:15 UTC 运行某些任务,您应该指定:cron(15 12 * * ? *)

    当触发类型为 SCHEDULED 时,此字段为必需字段。

  • Predicate – 一个 谓词 对象。

    指定新的触发器应何时触发的谓词。

    当触发类型为 CONDITIONAL 时,此字段为必需字段。

  • Actions必填:操作 对象的数组。

    触发器触发时所发起的操作。

  • Description – 描述字符串,长度不超过 2048 个字节,与 URI address multi-line string pattern 匹配。

    新触发器的描述。

  • StartOnCreation – 布尔值。

    设置 true 为,可在创建时开启 SCHEDULEDCONDITIONAL 触发器。ON_DEMAND 触发器不支持 True。

  • Tags – 键值对的映射数组,不超过 50 对。

    每个键都是一个 UTF-8 字符串,长度不少于 1 个字节或超过 128 个字节。

    每个值是一个 UTF-8 字符串,不超过 256 个字节。

    要用于此触发器的标签。您可以使用标签来限制对触发器的访问。有关 AWS Glue 中的标签的更多信息,请参阅开发人员指南中的 AWS Glue 中的 AWS 标签

  • EventBatchingCondition – 一个 EventBatchingCondition 对象。

    在 EventBridge 事件触发器触发之前必须满足的批处理条件(接收的事件数量或批处理时间段已过期)。

响应
  • Name – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    触发器的名称。

错误
  • AlreadyExistsException

  • EntityNotFoundException

  • InvalidInputException

  • IdempotentParameterMismatchException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentModificationException

StartTrigger 操作(Python:start_trigger)

启动现有触发器。请参阅触发作业了解有关如何启动不同类型的触发器的信息。

请求
  • Name必填:UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    要启动的触发器名称。

响应
  • Name – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    已启动的触发器名称。

错误
  • InvalidInputException

  • InternalServiceException

  • EntityNotFoundException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentRunsExceededException

GetTrigger 操作(Python:get_trigger)

检索触发器的定义。

请求
  • Name必填:UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    要检索的触发器名称。

响应
  • Trigger – 一个 触发器 对象。

    请求的触发器定义。

错误
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

GetTriggers 操作(Python:get_triggers)

获取与一个作业关联的所有触发器。

请求
  • NextToken – UTF-8 字符串。

    延续标记 (如果这是延续调用)。

  • DependentJobName – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    要为其检索触发器的作业的名称。返回可以启动此作业的触发器,如果没有这样的触发器,则返回所有触发器。

  • MaxResults – 数字(整数),不小于 1 或大于 200。

    响应的最大大小。

响应
  • Triggers触发器 对象的数组。

    指定作业的触发器列表。

  • NextToken – UTF-8 字符串。

    延续令牌 (如果尚未返回所有请求的触发器)。

错误
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

UpdateTrigger 操作(Python:update_trigger)

更新触发器定义。

请求
  • Name必填:UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    要更新的触发器的名称。

  • TriggerUpdate必填:一个 TriggerUpdate 对象。

    用来更新触发器的新值。

响应
  • Trigger – 一个 触发器 对象。

    生成的触发器定义。

错误
  • InvalidInputException

  • InternalServiceException

  • EntityNotFoundException

  • OperationTimeoutException

  • ConcurrentModificationException

StopTrigger 操作(Python:stop_trigger)

停止指定的触发器。

请求
  • Name必填:UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    要停止的触发器名称。

响应
  • Name – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    已停止的触发器名称。

错误
  • InvalidInputException

  • InternalServiceException

  • EntityNotFoundException

  • OperationTimeoutException

  • ConcurrentModificationException

DeleteTrigger 操作(Python:delete_trigger)

删除指定的触发器。未找到该触发器不会引发异常。

请求
  • Name必填:UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    要删除的触发器的名称。

响应
  • Name – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    已删除的触发器的名称。

错误
  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentModificationException

ListTriggers 操作(Python:list_triggers)

检索此 AWS 账户中所有触发器资源的名称或带指定标签的资源。此操作可让您查看您账户中可用的资源及其名称。

此操作采用可选的 Tags 字段,您可以将其用作响应的筛选器,以便将标记的资源作为一个组进行检索。如果您选择使用标签筛选,则仅检索带标签的资源。

请求
  • NextToken – UTF-8 字符串。

    延续令牌 (如果这是延续请求)。

  • DependentJobName – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    要为其检索触发器的作业的名称。返回可启动此作业的触发器。如果没有这样的触发器,则返回所有触发器。

  • MaxResults – 数字(整数),不小于 1 或大于 200。

    要返回的列表的最大大小。

  • Tags – 键值对的映射数组,不超过 50 对。

    每个键都是一个 UTF-8 字符串,长度不少于 1 个字节或超过 128 个字节。

    每个值是一个 UTF-8 字符串,不超过 256 个字节。

    指定仅返回这些已标记的资源。

响应
  • TriggerNames – UTF-8 字符串数组。

    账户中所有触发器的名称或带指定标签的触发器。

  • NextToken – UTF-8 字符串。

    延续令牌 (如果返回的列表不包含上一个可用的指标)。

错误
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

BatchGetTriggers 操作(Python:batch_get_triggers)

返回给定触发器名称列表的资源元数据的列表。调用 ListTriggers 操作后,您可以调用此操作来访问您有权访问的数据。此操作支持所有 IAM 权限,包括使用标签的权限条件。

请求
  • TriggerNames必填:UTF-8 字符串数组。

    触发器名称列表,这些名称可能是通过 ListTriggers 操作返回的名称。

响应
  • Triggers触发器 对象的数组。

    触发器定义的列表。

  • TriggersNotFound – UTF-8 字符串数组。

    未找到触发器名称的列表。

错误
  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException