阿帕奇 Flink 設置 - Managed Service for Apache Flink
阿帕奇 Flink 配置狀態後端檢查點儲存點堆積大小緩衝區消脹

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

阿帕奇 Flink 設置

Managed Service for Apache Flink 是 Apache Flink 框架的實作。Managed Service for Apache Flink 使用本節所述的預設值。其中一些值可由 Apache Flink 應用程式的受管理服務在程式碼中設定，而其他值則無法變更。

您可以使用本節中的連結進一步瞭解 Apache flink 設定，以及哪些設定可以修改。

本主題包含下列章節：

Managed Service for Apache Flink 提供預設的 Flink 組態，其中包含大多數屬性的 Apache Flink 建議值，少數一些基於常用應用程式設定檔。如需 Flink 組態的詳細資訊，請參閱組態。服務提供的預設組態適用於大多數應用程式。不過，若要調整 Flink 組態屬性，以改善某些具有高平行度、高記憶體和狀態使用率的應用程式的效能，或在 Apache Flink 中啟用新的除錯功能，您可以透過要求支援案例來變更某些特性。如需詳細資訊，請參閱 AWS 支援中心。您可以使用 Apache Flink 儀表板檢查應用程式的目前組態。

狀態後端

Managed Service for Apache Flink 將暫時性資料儲存在狀態後端。阿帕奇 Flink 的託管服務使用 R ocksDBState 後端。呼叫 setStateBackend 來設定不同的後端沒有任何效果。

我們在狀態後端啟用以下功能：

  • 增量狀態後端快照

  • 非同步狀態後端快照

  • 檢查點本機復原

如需狀態後端的詳細資訊，請參閱 Apache Flink 文件中的狀態後端。

檢查點

Managed Service for Apache Flink 使用具有下列值的預設檢查點組態。其中一些值可以使用變更CheckpointConfiguration。您必須針對 Apache Flink CUSTOM 的受管理服務設定CheckpointConfiguration.ConfigurationType為，才能使用修改的檢查點值。

設定 可以修改嗎？ 方法 預設值
CheckpointingEnabled 可修改

建立應用程式

更新應用程式

AWS CloudFormation

 True
CheckpointInterval 可修改

建立應用程式

更新應用程式

AWS CloudFormation

 60000
MinPauseBetweenCheckpoints 可修改

建立應用程式

更新應用程式

AWS CloudFormation

 5000
未對齊的檢查點 可修改 支援案例 False
並行檢查點的數量 不可修改 N/A 1
檢查點模式 不可修改 N/A 恰好一次
檢查點保留政策 不可修改 N/A 失敗時
檢查點逾時 不可修改 N/A 60 分鐘
保留的最大檢查點 不可修改 N/A 1
檢查點和儲存點位置 不可修改 N/A 我們將持久的檢查點和儲存點資料儲存到服務擁有的 S3 儲存貯體。

儲存點

依預設，從儲存點還原時，恢復操作會嘗試將儲存點的所有狀態映射回您要還原的程式。如果您捨棄某個運算子，依預設，從具有對應於遺失運算子之資料的儲存點還原將會失敗。您可以將應用程式的AllowNonRestoredState參數設定為，以允許作業成功true。FlinkRunConfiguration這將允許恢復操作跳過無法對應至新程式的狀態。

如需詳細資訊，請參閱 Apache Flink 文件中的允許非還原的狀態。

堆積大小

適用於 Apache Flink 的受管理服務會分配每 KPU 3 GiB 的JVM堆積，並為原生程式碼配置保留 1 GiB。如需增加應用程式容量的相關資訊，請參閱在 Managed Service for Apache Flink 中實作應用程式擴展。

如需有關JVM堆積大小的詳細資訊，請參閱 Apache Flink 文件中的組態。

緩衝區消脹

緩衝區消脹可以幫助應用程式處理高背壓。如果應用程式遇到檢查點/儲存點失敗，啟用此功能可能會很有用。要做到這一點，可請求支援案例。

如需詳細資訊，請參閱 Apache Flink 文件中的緩衝區消脹機制。