選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

AWS Glue 流媒體

焦點模式
AWS Glue 流媒體 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS Glue 串流是其中的一個元件 AWS Glue,可讓您以近乎即時的速度有效率地處理串流資料,從而使您能夠執行資料擷取、處理和機器學習等關鍵任務。透過 Apache Spark 串流架構, AWS Glue 串流提供可大規模處理串流資料的無伺服器服務。 AWS Glue 在 Apache Spark 之上提供各種最佳化功能,例如無伺服器基礎架構、auto-scaling、視覺化工作開發、串流工作的即時啟動筆記型電腦,以及其他效能改進。

串流使用案例

AWS Glue 串流的一些常見使用案例包括:

N 資ear-real-time 料處理: AWS Glue 串流可讓組織以近乎即時的方式處理串流資料,讓他們得以獲得深入解析,並根據最新資訊做出及時決策。

詐騙偵測:您可以利用 AWS Glue 串流進行即時分析串流資料,使其對偵測詐騙活動非常重要,例如信用卡詐騙、網路入侵或線上詐騙。持續處理和分析傳入的資料,可讓您快速找出可疑的模式或異常情況。

社交媒體分析: AWS Glue 流媒體可以處理實時社交媒體數據,例如推文,帖子或評論,使組織能夠實時監控趨勢,情感分析並管理品牌聲譽。

物聯網 (IoT) 分析: AWS Glue 串流適用於處理和分析 IoT 裝置、感應器和連網機械產生的高速資料串流。可進行即時監控、異常偵測、預測性維護和其他 IoT 分析使用案例。

點擊流分析: AWS Glue 流媒體可以處理和分析來自網站或移動應用程序的實時點擊流數據。這可協助企業深入了解使用者行為、打造個人化使用者體驗,並根據即時點擊流資料將行銷活動最佳化。

日誌監控和分析: AWS Glue 串流可以即時持續處理和分析來自伺服器、應用程式或網路裝置的日誌資料。這有助於偵測異常、疑難排解問題,以及監控系統運作狀態和效能。

推薦系統: AWS Glue 串流可以即時處理使用者活動資料,並動態更新推薦模型。這可讓系統根據使用者的行為和偏好即時提供個人化的建議。

這些是可以應用 AWS Glue 流式傳輸的各種用例的一些示例。它與 AWS 生態系統和託管服務的整合,使其成為雲端中即時串流處理和分析的便利選擇。

使用 AWS Glue 串流有什麼好處?

使用 AWS Glue 串流的好處如下:

  • 無伺服器: AWS Glue 串流是無伺服器的,無需管理基礎架構。此設計可減少營運成本,讓使用者專注於資料處理和分析工作,無須分神管理基礎設施。

  • 自動調度資源: AWS Glue 串流提供自動調度資源功能,可根據工作負載動態調整處理容量。此功能會自動擴展或縮減以應付資料量的波動,確保最佳效能和資源使用率。

  • 視覺化開發:串流工作開發可能很複雜。 AWS Glue 串流可提供視覺化製作工具 AWS Glue Studio 來解決這項挑戰。 AWS Glue Studio 可簡化串流工作流程的建立程序,並讓開發人員以視覺化的方式設計和管理串流應用程式,減少學習曲線並提高生產力。

  • 符合成本效:作為一項無伺服器服務, AWS Glue Streaming 可免除佈建和維護基礎架構的需求,從而提供成本效益。系統會根據執行串流任務期間所耗用的資源向使用者計費,以便根據實際使用情況進行成本最佳化和擴展。

  • 處理複雜的工作負載: AWS Glue 串流可處理複雜的串流工作負載。它可以處理和分析大量即時資料、支援進階轉換,並與其他 AWS 服務整合,進而實現複雜的串流資料管道和分析工作流程。

  • 不受限制: AWS Glue 流媒體提供了靈活性並避免了供應商鎖定。使用者可以利用 AWS Glue 串流作為更廣泛 AWS 生態系統的一部分,將其與其他 AWS 服務無縫整合。這樣可以輕鬆地與現有的資料來源、應用程式和服務整合,而無須與特定技術或平台綁定在一起。

何時使用 AWS Glue 串流?

說到串流使用案例,您可以有很多選擇。我們建議在下列情況下進行 AWS Glue 串流。

  1. 如果您已經在使用 AWS Glue 或 Spark 進行批量處理,則 AWS Glue 流式傳輸是您的理想選擇。它可讓您順利轉換至建置串流任務,而無須學習新的語言或框架。 AWS Glue Streaming 運用您現有的知識和基礎架構,可簡化工作開發程序,並讓您輕鬆將資料處理能力擴充至即時串流案例。

  2. 如果您需要統一服務或產品來處理批次、串流和事件驅動的工作負載, AWS Glue 串流是您的最佳解決方案。透過 AWS Glue 串流,您可以將資料處理需求整合到單一架構中,免除管理多個系統的複雜性。這樣可讓您有效地開發和維護各種資料工作流程,同時確保不同工作負載類型的一致性和相容性。

  3. AWS Glue 串流非常適合涉及極大型串流資料量和複雜轉換的案例,例如串流或關聯式資料庫之間的聯結。它可以有效地處理和分析大量資料串流,讓您能夠輕鬆處理高需求的工作負載。無論是高速資料擷取還是複雜的資料操作, AWS Glue Streaming 的可擴充性和先進的處理能力都能確保最佳效能和準確的結果。

  4. 如果您希望使用視覺化方法來建立串流工作,請 AWS Glue 提供 AWS Glue Studio,您可以使用它以視覺化方式設計和管理串流應用程式,從而簡化開發程序。此工具的直覺式介面可讓開發人員使用視覺化介面來建立、設定和監控串流工作流程,進而減少學習曲線並提高生產力。

  5. AWS Glue 對於嚴格 SLAs (服務等級協定) 超過 10 秒的 near-real-time 使用案例,串流是絕佳的選擇。

  6. 如果您要使用 Apache 冰山、Apache Hudi 或三角洲湖來建置交易式資料湖, AWS Glue 串流會為這些開放式資料表格式提供原生支援。這種無縫整合可讓您直接從這些交易資料湖處理串流資料,以確保資料的一致性、完整性和相容性。

  7. 需要擷取各種資料目標的串流資料時: AWS Glue 串流可為各種資料目標 (例如 Amazon Redshift、Amazon、亞馬 Amazon Aurora、甲骨文、SQL伺服器和其他目標) 提供原生目標。RDS

支援的資料來源

AWS Glue 串流支援下列資料來源:

  • Amazon Kinesis

  • AmazonMSK(Managed Streaming for Apache Kafka)

  • 自我管理的 Apache Kafka

支援的資料目標

AWS Glue 串流支援多種資料目標,例如:

  • 資料目錄支援的 AWS Glue 資料目標

  • Amazon S3

  • Amazon Redshift

  • 我的 SQL

  • 後裔 SQL

  • Oracle

  • Microsoft SQL 伺服器

  • Snowflake

  • 任何可以使用連接的數據庫 JDBC

  • Apache Iceberg、Delta 和 Apache Hudi

  • AWS Glue Marketplace 連接器

隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。