Managed Service for Apache Flink 的 Python 範例 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Managed Service for Apache Flink 的 Python 範例

下列範例示範如何建立以 Python 撰寫的應用程式。

注意

大多數範例都是為了在本機、您的開發機器和IDE您選擇的 以及 Amazon Managed Service for Apache Flink 上執行而設計。它們示範您可以用來傳遞應用程式參數的簡單機制，以及如何正確設定相依性，以在兩個環境中執行應用程式，而不需要變更。

專案相依性

大多數 PyFlink 範例需要一或多個相依性做為JAR檔案，例如 Flink 連接器。然後，當部署在 Amazon Managed Service for Apache Flink 上時，這些相依性必須與應用程式一起封裝。

下列範例已包含 工具，可讓您在本機執行應用程式以進行開發和測試，並正確封裝所需的相依性。此工具需要使用 Java JDK11和 Apache Maven。如需特定指示，請參閱每個範例中README包含的 。

範例

此範例示範使用SQL內嵌於 Python 程式碼 PyFlink 的應用程式基本結構。此專案也為包含連接器等JAR相依性的任何 PyFlink 應用程式提供骨架。README 本節提供如何在本機執行 Python 應用程式以進行開發的詳細指引。此範例也說明如何將單一JAR相依性 Kinesis SQL 連接器在此範例中納入您的 PyFlink應用程式中。

程式碼範例： GettingStarted

此範例示範如何以最一般的方式將 Python 相依性新增至您的 PyFlink 應用程式。此方法適用於簡單的相依性，例如 Boto3，或包含 C 程式庫的複雜相依性，例如 PyArrow。

程式碼範例： PythonDependencies

此範例示範 Python 應用程式中SQL內嵌的四種視窗調整彙總類型。

  1. 根據處理時間的滑動時段

  2. 根據事件時間的滑動視窗

  3. 根據處理時間的轉彎時段

  4. 根據事件時間的轉彎時段

程式碼範例：視窗調整

此範例說明如何使用SQL內嵌在 Python 應用程式中，將輸出寫入 Amazon S3 JSON 檔案。您必須啟用 S3 接收器的檢查點，才能將檔案寫入和輪換至 Amazon S3。

程式碼範例：S3Sink

此範例示範如何定義使用者定義的函數、在 Python 中實作該函數，以及將其用於在 Python 應用程式中執行的SQL程式碼。

程式碼範例： UDF

此範例示範如何使用 將資料傳送至 Amazon Data FirehoseSQL。

程式碼範例： FirehoseSink