步驟 1:建立資料串流 - Amazon Kinesis Data Streams

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

步驟 1:建立資料串流

教學課程:使用 KPL 和 KCL 1.x 分析即時股票資料的第一個步驟中,您將建立串流以供後續步驟使用。

建立串流
  1. 前往 https://console.aws.amazon.com/kinesis/ 登入 AWS Management Console 並開啟 Kinesis 主控台。

  2. 在導覽窗格中選擇 Data Streams (資料串流)

  3. 在導覽列中,展開區域選擇工具,然後選擇一個區域。

  4. 選擇 Create Kinesis stream (建立 Kinesis 串流)

  5. 輸入串流的名稱 (例如 StockTradeStream)。

  6. 碎片數目輸入 1,但將 Estimate the number of shards you'll need (估計所需的碎片數目) 保持收合狀態。

  7. 選擇 Create Kinesis stream (建立 Kinesis 串流)

建立串流時,在 Kinesis 串流清單頁面上,該串流的狀態會是 CREATING。當串流就緒可供使用後,其狀態會變成 ACTIVE。選擇串流名稱。在隨後出現的頁面上,Details (詳細資訊) 標籤將顯示串流組態的摘要。Monitoring (監控) 區段則顯示串流的監控資訊。

關於碎片的其他資訊

在本教學課程外開始使用 Kinesis Data Streams 時,您可能需要更仔細地規劃串流建立程序。您應於佈建碎片時規劃預計的最大需求。以此處的情境為例,美國股票市場某一天 (東部時間) 的交易流量峰值以及需求估計值應該從當天的時間內取樣。接著,您即可選擇佈建最大預計需求,或是擴展或縮減串流規模以因應需求波動。

碎片是傳輸容量的單位。在建立 Kinesis 串流頁面上,展開 Estimate the number of shards you'll need (估計所需的碎片數目)。依照以下準則輸入平均記錄大小、每秒寫入記錄數上限與取用端應用程式數目:

平均記錄大小

您的記錄計算出的平均大小估計值。如果您不知道此值,請使用估計的最大記錄大小做為此值。

寫入記錄上限

將提供資料的實體數目以及各實體每秒產生的記錄大致數目納入考量。例如,假設您從 20 部交易伺服器取得股票交易資料且每部伺服器每秒產生 250 次交易,則每秒的交易 (記錄) 總數為 5000。

取用端應用程式數目

單獨從串流進行讀取以透過不同方式處理串流並產生不同輸出的應用程式數目。每個應用程式可有多個執行個體在不同的電腦上執行 (亦即在叢集內執行),以便能及時處理高容量串流。

如果顯示的碎片估計數目超出您目前的碎片限額,您可能需要提交請求以提高該限制,然後才能建立具有此碎片數目的串流。若要請求提升您的碎片限額,請使用 Kinesis Data Streams 限制表單。如需串流和碎片的詳細資訊,請參閱 建立和管理串流

後續步驟

步驟 2:建立 IAM 政策和使用者