使用快照管理应用程序备份 - Managed Service for Apache Flink
管理自动创建快照从包含不兼容状态数据的快照中恢复查看快照API示例

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用快照管理应用程序备份

快照是 Apache Flink 保存点的 Managed Service for Apache Flink 实现。快照是用户或服务触发、创建和管理的应用程序状态备份。有关 Apache Flink 保存点的信息，请参阅 Apache Flink 文档中的保存点。使用快照，您可以从应用程序状态的特定快照中重新启动应用程序。

注意

我们建议您的应用程序每天创建几次快照，以便使用正确的状态数据正确重启。正确的快照频率取决于应用程序的业务逻辑。频繁拍摄快照可以恢复更新的数据，但会增加成本并需要更多的系统资源。

在 Apache Flink 托管服务中，您可以使用以下操作API管理快照：

有关每个应用程序的快照数限制，请参阅适用于 Apache Flink 和 Studio 笔记本配额的托管。如果应用程序达到快照限制，则手动创建快照将失败并出现 LimitExceededException。

Managed Service for Apache Flink永远不会删除快照。您必须使用 DeleteApplicationSnapshot 操作手动删除快照。

要在启动应用程序时加载已保存的应用程序状态快照，请使用StartApplication或UpdateApplication操作的ApplicationRestoreConfiguration参数。

管理自动创建快照

如果在应用程序true中设置SnapshotsEnabled为，则 Apache Flink 托管服务将在应用程序更新、缩放或停止时自动创建和使用快照，以提供精确一次的处理语义。 ApplicationSnapshotConfiguration

注意

如果将 ApplicationSnapshotConfiguration::SnapshotsEnabled 设置为 false，将导致在应用程序更新期间丢失数据。

注意

Managed Service for Apache Flink在创建快照期间触发中间保存点。对于 Flink 1.15 或更高版本，中间保存点不再产生任何不良影响。请参阅触发保存点。

自动创建的快照具有以下特性：

  • 快照由服务管理，但您可以使用 ListApplicationSnapshots操作查看快照。自动创建的快照计入您的快照限制。

  • 如果您的应用程序超过快照限制，手动创建的快照将失败，但是当应用程序更新、扩展或停止时，Managed Service for Apache Flink仍会成功创建快照。在手动创建更多快照之前，必须使用 DeleteApplicationSnapshot操作手动删除快照。

从包含不兼容状态数据的快照中恢复

由于快照包含有关操作符的信息，因此，如果从自上一应用程序版本以来发生变化的操作符的快照中还原状态数据，则可能会出现意外的结果。如果尝试从与当前操作符不对应的快照中还原状态数据，应用程序将会发生故障。发生故障的应用程序将停滞在 STOPPING 或 UPDATING 状态。

要允许应用程序从包含不兼容状态数据的快照中恢复，FlinkRunConfiguration请true使用UpdateApplication操作将的AllowNonRestoredState参数设置为。

从过时的快照中还原应用程序时，您将会看到以下行为：

  • 添加了操作符：如果添加了新操作符，则保存点没有新操作符的状态数据。不会发生故障，也不需要设置 AllowNonRestoredState。

  • 删除了操作符：如果删除了现有操作符，则保存点具有丢失的操作符的状态数据。除非 AllowNonRestoredState 设置为 true，否则，将会发生故障。

  • 修改了操作符：如果进行了兼容的更改，例如将参数的类型更改为兼容的类型，则应用程序可以从过时的快照中还原。有关从快照恢复的更多信息，请参阅 Apache Flink 文档中的保存点。可以从具有不同架构的快照中还原使用 Apache Flink 版本 1.8 或更高版本的应用程序。无法还原使用 Apache Flink 版本 1.6 的应用程序。对于 two-phase-commit 接收器，我们建议使用系统快照 (SW) 而不是用户创建的快照 (CreateApplicationSnapshot)。

    Managed Service for Apache Flink在创建快照期间触发中间保存点。对于 Flink 1.15 或更高版本，中间保存点不再产生任何不良影响。参见触发保存点

如果您需要恢复与现有 savepoint 数据不兼容的应用程序，我们建议您将操作的ApplicationRestoreType参数设置为，从而跳过从快照还原的StartApplication操作。SKIP_RESTORE_FROM_SNAPSHOT

有关 Apache Flink 如何处理不兼容状态数据的更多信息，请参阅 Apache Flink 文档中的状态架构演变。

查看快照API示例

本节包括有关在应用程序中使用快照的API操作请求示例。有关如何使用JSON文件作为API操作输入的信息，请参见适用于 Apache 的托管服务 Flink 示例代码 API。

为应用程序启用快照

UpdateApplication 操作的以下示例请求为应用程序启用快照：

{
   "ApplicationName": "MyApplication",
   "CurrentApplicationVersionId": 1,
   "ApplicationConfigurationUpdate": { 
      "ApplicationSnapshotConfigurationUpdate": { 
         "SnapshotsEnabledUpdate": "true"
       }
    }
}

创建快照

CreateApplicationSnapshot 操作的以下示例请求创建当前应用程序状态的快照：

{
   "ApplicationName": "MyApplication",
   "SnapshotName": "MyCustomSnapshot"
}

列出应用程序的快照

ListApplicationSnapshots 操作的以下示例请求列出当前应用程序状态的前 50 个快照：

{
   "ApplicationName": "MyApplication",
   "Limit": 50
}

列出应用程序快照的详细信息

DescribeApplicationSnapshot 操作的以下示例请求列出特定应用程序快照的详细信息：

{
   "ApplicationName": "MyApplication",
   "SnapshotName": "MyCustomSnapshot"
}

删除快照

DeleteApplicationSnapshot 操作的以下示例请求删除以前保存的快照。您可以使用以下任一方法来获取 ListApplicationSnapshots 或 DeleteApplicationSnapshot 的 SnapshotCreationTimestamp 值：

{
   "ApplicationName": "MyApplication",
   "SnapshotName": "MyCustomSnapshot",
   "SnapshotCreationTimestamp": 12345678901.0,
}

使用已命名的快照重启应用程序

StartApplication 操作的以下示例请求使用特定快照中保存的状态启动应用程序：

{
   "ApplicationName": "MyApplication",
   "RunConfiguration": { 
      "ApplicationRestoreConfiguration": { 
         "ApplicationRestoreType": "RESTORE_FROM_CUSTOM_SNAPSHOT",
         "SnapshotName": "MyCustomSnapshot"
      }
   }
}

使用最新的快照重启应用程序

StartApplication 操作的以下示例请求使用最近的快照启动应用程序：

{
   "ApplicationName": "MyApplication",
   "RunConfiguration": { 
      "ApplicationRestoreConfiguration": { 
         "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
      }
   }
}

不使用快照重启应用程序

StartApplication 操作的以下示例请求启动应用程序而不加载应用程序状态，即使具有快照也是如此：

{
   "ApplicationName": "MyApplication",
   "RunConfiguration": { 
      "ApplicationRestoreConfiguration": { 
         "ApplicationRestoreType": "SKIP_RESTORE_FROM_SNAPSHOT"
      }
   }
}