本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
什麼是 Amazon Kinesis Data Streams?
您可以使用 Amazon Kinesis Data Streams 即時收集並處理大型的資料記錄串流
Kinesis Data Streams 是 Kinesis 串流資料平台的一部分,以及適用於 Apache Flink 的壁爐、Kinesis Video Streams 和管理服務。
如需有關 AWS 巨量資料解決方案的詳細資訊,請參閱上的大數據 AWS
我可以使用 Kinesis Data Streams 做什麼?
Kinesis Data Streams 可讓您快速且持續擷取和彙總資料。使用的資料類型可包括 IT 基礎架構日誌資料、應用程式日誌、社交媒體、市場資料摘要和 web 點擊流資料。由於資料擷取和處理的回應時間為即時,處理通常是輕量型。
以下是使用 Kinesis Data Streams 的典型案例:
- 加速日誌和資料饋送的擷取與處理
-
生產者可直接推送資料至串流。例如,推送系統及應用程式日誌,僅需數秒後即可供進行處理。這可防止日誌資料因前端或應用程式伺服器故障造成遺失。Kinesis Data Streams 提供加速資料饋送的擷取,因為您在提交資料以備擷取之前,未由伺服器上批次處理資料。
- 即時指標與報告
-
您可以使用收集到 Kinesis Data Streams 的資料進行即時的簡易資料分析與報告。例如,您的資料處理應用程式可處理系統及應用程式日誌的指標和報告,因為資料是以串流方式傳入,而非等待接收各個批次的資料。
- 即時資料分析
-
此案例結合了並行處理的強大功能與即時資料的價值。例如,即時處理網站點擊流,然後使用多個不同的 Kinesis Data Streams 應用程式並行執行,以便分析網站可用性參與度。
- 複雜的串流處理
-
您可以建立 Kinesis 資料串流應用程式和資料串流的有向非循環圖 (DAGs)。這通常涉及到從多個 Kinesis Data Streams 應用程式將資料放入另一串流,以供其他 Kinesis Data Streams 應用程式進行下游處理。
使用 Kinesis Data Streams 的好處
儘管使用 Kinesis Data Streams 可解決各種串流資料問題,但其常見用途是即時彙整資料,然後將彙整資料載入資料倉儲或對應縮減叢集。
資料將放入 Kinesis 資料串流,以確保耐用性與彈性。將記錄放入串流的時間與擷取時間 (put-to-get 延遲) 之間的延遲通常小於 1 秒。換言之,資料一旦加入後,Kinesis Data Streams 應用程式便幾乎能立即開始從串流取用資料。Kinesis Data Streams 的受管服務層面可減輕您建立和執行資料擷取管道的操作負擔。您可以建立串流對應縮減類型的應用程式。Kinesis Data Streams 的彈性讓您能夠擴展或縮減串流規模,以確保資料記錄過期前絕不會遺失任何記錄。
多個 Kinesis Data Streams 應用程式可以從單一串流取用資料,使得多項動作 (如封存和處理) 能夠同時各自進行。例如,兩個應用程式可從同一串流讀取資料。第一個應用程式計算累計彙整值並更新 Amazon DynamoDB 資料表,第二個應用程式則壓縮資料後封存至 Amazon Simple Storage Service (Amazon S3) 之類的資料存放區。然後,儀表板會讀取具有執行彙總的 DynamoDB 表,以取得報告。 up-to-the-minute
Kinesis Client Library 支援以容錯方式從串流取用資料,並且為 Kinesis Data Streams 應用程式提供擴展支援。
相關服務
如需使用 Amazon EMR 叢集直接讀取和處理 Kinesis 資料串流的相關資訊,請參閱 Kinesis 連接器。