本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
AWS Glue 串流是其中的一個元件 AWS Glue,可讓您以近乎即時的速度有效率地處理串流資料,從而使您能夠執行資料擷取、處理和機器學習等關鍵任務。透過 Apache Spark 串流架構, AWS Glue 串流提供可大規模處理串流資料的無伺服器服務。 AWS Glue 在 Apache Spark 之上提供各種最佳化功能,例如無伺服器基礎架構、auto-scaling、視覺化工作開發、串流工作的即時啟動筆記型電腦,以及其他效能改進。
串流使用案例
AWS Glue 串流的一些常見使用案例包括:
N 資ear-real-time 料處理: AWS Glue 串流可讓組織以近乎即時的方式處理串流資料,讓他們得以獲得深入解析,並根據最新資訊做出及時決策。
詐騙偵測:您可以利用 AWS Glue 串流進行即時分析串流資料,使其對偵測詐騙活動非常重要,例如信用卡詐騙、網路入侵或線上詐騙。持續處理和分析傳入的資料,可讓您快速找出可疑的模式或異常情況。
社交媒體分析: AWS Glue 流媒體可以處理實時社交媒體數據,例如推文,帖子或評論,使組織能夠實時監控趨勢,情感分析並管理品牌聲譽。
物聯網 (IoT) 分析: AWS Glue 串流適用於處理和分析 IoT 裝置、感應器和連網機械產生的高速資料串流。可進行即時監控、異常偵測、預測性維護和其他 IoT 分析使用案例。
點擊流分析: AWS Glue 流媒體可以處理和分析來自網站或移動應用程序的實時點擊流數據。這可協助企業深入了解使用者行為、打造個人化使用者體驗,並根據即時點擊流資料將行銷活動最佳化。
日誌監控和分析: AWS Glue 串流可以即時持續處理和分析來自伺服器、應用程式或網路裝置的日誌資料。這有助於偵測異常、疑難排解問題,以及監控系統運作狀態和效能。
推薦系統: AWS Glue 串流可以即時處理使用者活動資料,並動態更新推薦模型。這可讓系統根據使用者的行為和偏好即時提供個人化的建議。
這些是可以應用 AWS Glue 流式傳輸的各種用例的一些示例。它與 AWS 生態系統和託管服務的整合,使其成為雲端中即時串流處理和分析的便利選擇。
使用 AWS Glue 串流有什麼好處?
使用 AWS Glue 串流的好處如下:
無伺服器: AWS Glue 串流是無伺服器的,無需管理基礎架構。此設計可減少營運成本,讓使用者專注於資料處理和分析工作,無須分神管理基礎設施。
自動調度資源: AWS Glue 串流提供自動調度資源功能,可根據工作負載動態調整處理容量。此功能會自動擴展或縮減以應付資料量的波動,確保最佳效能和資源使用率。
視覺化開發:串流工作開發可能很複雜。 AWS Glue 串流可提供視覺化製作工具 AWS Glue Studio 來解決這項挑戰。 AWS Glue Studio 可簡化串流工作流程的建立程序,並讓開發人員以視覺化的方式設計和管理串流應用程式,減少學習曲線並提高生產力。
符合成本效益:作為一項無伺服器服務, AWS Glue Streaming 可免除佈建和維護基礎架構的需求,從而提供成本效益。系統會根據執行串流任務期間所耗用的資源向使用者計費,以便根據實際使用情況進行成本最佳化和擴展。
處理複雜的工作負載: AWS Glue 串流可處理複雜的串流工作負載。它可以處理和分析大量即時資料、支援進階轉換,並與其他 AWS 服務整合,進而實現複雜的串流資料管道和分析工作流程。
不受限制: AWS Glue 流媒體提供了靈活性並避免了供應商鎖定。使用者可以利用 AWS Glue 串流作為更廣泛 AWS 生態系統的一部分,將其與其他 AWS 服務無縫整合。這樣可以輕鬆地與現有的資料來源、應用程式和服務整合,而無須與特定技術或平台綁定在一起。
何時使用 AWS Glue 串流?
說到串流使用案例,您可以有很多選擇。我們建議在下列情況下進行 AWS Glue 串流。
如果您已經在使用 AWS Glue 或 Spark 進行批量處理,則 AWS Glue 流式傳輸是您的理想選擇。它可讓您順利轉換至建置串流任務,而無須學習新的語言或框架。 AWS Glue Streaming 運用您現有的知識和基礎架構,可簡化工作開發程序,並讓您輕鬆將資料處理能力擴充至即時串流案例。
如果您需要統一服務或產品來處理批次、串流和事件驅動的工作負載, AWS Glue 串流是您的最佳解決方案。透過 AWS Glue 串流,您可以將資料處理需求整合到單一架構中,免除管理多個系統的複雜性。這樣可讓您有效地開發和維護各種資料工作流程,同時確保不同工作負載類型的一致性和相容性。
AWS Glue 串流非常適合涉及極大型串流資料量和複雜轉換的案例,例如串流或關聯式資料庫之間的聯結。它可以有效地處理和分析大量資料串流,讓您能夠輕鬆處理高需求的工作負載。無論是高速資料擷取還是複雜的資料操作, AWS Glue Streaming 的可擴充性和先進的處理能力都能確保最佳效能和準確的結果。
如果您希望使用視覺化方法來建立串流工作,請 AWS Glue 提供 AWS Glue Studio,您可以使用它以視覺化方式設計和管理串流應用程式,從而簡化開發程序。此工具的直覺式介面可讓開發人員使用視覺化介面來建立、設定和監控串流工作流程,進而減少學習曲線並提高生產力。
AWS Glue 對於嚴格 SLAs (服務等級協定) 超過 10 秒的 near-real-time 使用案例,串流是絕佳的選擇。
如果您要使用 Apache 冰山、Apache Hudi 或三角洲湖來建置交易式資料湖, AWS Glue 串流會為這些開放式資料表格式提供原生支援。這種無縫整合可讓您直接從這些交易資料湖處理串流資料,以確保資料的一致性、完整性和相容性。
需要擷取各種資料目標的串流資料時: AWS Glue 串流可為各種資料目標 (例如 Amazon Redshift、Amazon、亞馬 Amazon Aurora、甲骨文、SQL伺服器和其他目標) 提供原生目標。RDS
支援的資料來源
AWS Glue 串流支援下列資料來源:
Amazon Kinesis
AmazonMSK(Managed Streaming for Apache Kafka)
自我管理的 Apache Kafka
支援的資料目標
AWS Glue 串流支援多種資料目標,例如:
資料目錄支援的 AWS Glue 資料目標
Amazon S3
Amazon Redshift
我的 SQL
後裔 SQL
Oracle
Microsoft SQL 伺服器
Snowflake
任何可以使用連接的數據庫 JDBC
Apache Iceberg、Delta 和 Apache Hudi
AWS Glue Marketplace 連接器