執行串流資料的互動式分析 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

執行串流資料的互動式分析

您使用由 Apache Zeppelin 提供支援的無伺服器筆記本與串流資料互動。您的筆記本可以包含多條筆記,每條筆記可以有一個或多個段落,可以在其中撰寫程式碼。

下列範例 SQL 查詢顯示如何從資料來源擷取資料:

%flink.ssql(type=update) select * from stock;

如需 Flink Streaming SQL 查詢的更多範例,請參閱 Apache Flink 文件中的Managed Service for Apache Flink 中 Studio 筆記本的範例和教學課程下列和查詢

您可以在 Studio 筆記本中使用 Flink SQL 查詢來查詢串流資料。也可以使用 Python (資料表 API) 和 Scala (資料表和 Datastream API) 編寫程式,以互動方式查詢串流資料。您可以檢視查詢或程式的結果,在幾秒鐘內更新它們,然後重執行以檢視更新的結果。

Flink 解譯器

您可以使用解譯器指定 Managed Service for Apache Flink 用來執行應用程式的語言。您可以將下列解譯器用於 Managed Service for Apache Flink:

名稱 類別 描述
%flink FlinkInterpreter Creates ExecutionEnvironment/StreamExecutionEnvironment/BatchTableEnvironment/StreamTableEnvironment and provides a Scala environment
%flink.pyflink PyFlinkInterpreter Provides a python environment
%flink.ipyflink IPyFlinkInterpreter Provides an ipython environment
%flink.ssql FlinkStreamSqlInterpreter Provides a stream sql environment
%flink.bsql FlinkBatchSqlInterpreter Provides a batch sql environment

如需 Flink 解譯器的詳細資訊,請參閱 Apache Zeppelin 的 Flink 解譯器

如果您使用 %flink.pyflink%flink.ipyflink 作為解譯器,則需要使用 ZeppelinContext 來視覺化筆記本內的結果。

如需更多的 PyFlink 具體範例,請參閱使用適用於 Studio 和 Python 的 Managed Service for Apache Flink 以互動方式查詢資料串流

Apache Flink 資料表環境變數

Apache Zeppelin 使用環境變數提供對資料表環境資源的存取。

您可以使用以下變數存取 Scala 資料表環境資源:

變數 資源
senvStreamExecutionEnvironment
stenvBlink 規劃器的 StreamTableEnvironment

您可以使用以下變數存取 Python 資料表環境資源:

變數 資源
s_envStreamExecutionEnvironment
st_envBlink 規劃器的 StreamTableEnvironment

如需使用資料表環境的詳細資訊,請參閱 Apache Flink 文件中的概念和常見 API