I/O 綁定運算子 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

I/O 綁定運算子

最好避免對資料路徑上外部系統的相依性。將參考資料集保持在狀態中,而不是查詢外部系統以富集個別事件,通常效能要高很多。不過,有時候有些相依性無法輕易移至狀態,例如,如果您想要使用 Amazon Sagemaker 上託管的機器學習模型來富集事件。

透過網絡與外部系統進行互動的運算子可能會成為瓶頸並導致背壓。強烈建議使用 AsyncIO 來實作該功能,以減少單個呼叫的等待時間並避免整個應用程式變慢。

此外,對於具有 I/O 綁定運算符的應用程序,也可以增加 Apache Flink 應用程序的託管服務的 ParallelismPerKPU 設置。此設定描述應用程式每 Kinesis 處理單元 (KPU) 可執行的平行子任務數目。藉由將值從預設值 1 增加到 4,應用程式利用相同的資源 (以相同的成本),但可擴展至 4 倍的平行處理層級。這非常適用於 I/O 綁定的應用程式,但會給不是 I/O 綁定的應用程式造成額外開銷。