Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
AWS Glue Streaming, eine Komponente von AWS Glue, ermöglicht es Ihnen, Streaming-Daten effizient und nahezu in Echtzeit zu verarbeiten, sodass Sie wichtige Aufgaben wie Datenaufnahme, -verarbeitung und maschinelles Lernen ausführen können. Mithilfe des Apache Spark Streaming-Frameworks bietet AWS Glue Streaming einen serverlosen Dienst, der Streaming-Daten in großem Umfang verarbeiten kann. AWS Glue bietet zusätzlich zu Apache Spark verschiedene Optimierungen wie serverlose Infrastruktur, auto-scaling, visuelle Jobentwicklung, Instant-On-Notebooks für Streaming-Jobs und andere Leistungsverbesserungen.
Anwendungsfälle für Streaming
Zu den häufigsten Anwendungsfällen für Streaming gehören: AWS Glue
Near-real-time Datenverarbeitung: Mit AWS Glue Streaming können Unternehmen Streaming-Daten nahezu in Echtzeit verarbeiten, sodass sie Erkenntnisse gewinnen und zeitnahe Entscheidungen auf der Grundlage der neuesten Informationen treffen können.
Betrugserkennung: Sie können AWS Glue Streaming für die Echtzeitanalyse von Streaming-Daten nutzen, was es für die Erkennung betrügerischer Aktivitäten wie Kreditkartenbetrug, Netzwerkeinbrüche oder Online-Betrug wertvoll macht. Durch die kontinuierliche Verarbeitung und Analyse der eingehenden Daten können Sie verdächtige Muster oder Anomalien schnell erkennen.
Analyse sozialer Medien: Beim AWS Glue Streaming können Social-Media-Daten wie Tweets, Beiträge oder Kommentare in Echtzeit verarbeitet werden, sodass Unternehmen Trends beobachten, Stimmungsanalysen durchführen und den Ruf der Marke in Echtzeit verwalten können.
Internet of Things (IoT) -Analytik: AWS Glue Streaming eignet sich für die Verarbeitung und Analyse von Hochgeschwindigkeitsdatenströmen, die von IoT-Geräten, Sensoren und angeschlossenen Maschinen generiert werden. Es ermöglicht Echtzeit-Überwachung, Anomalie-Erkennung, prädiktive Wartung und andere IoT-Analytik-Anwendungen.
Clickstream-Analyse: AWS Glue Streaming kann Clickstream-Daten von Websites oder mobilen Anwendungen in Echtzeit verarbeiten und analysieren. Dies ermöglicht es Unternehmen, Einblicke in das Benutzerverhalten zu gewinnen, das Benutzererlebnis zu personalisieren und Marketingkampagnen auf der Grundlage von Clickstream-Daten in Echtzeit zu optimieren.
Protokollüberwachung und -analyse: AWS Glue Streaming kann Protokolldaten von Servern, Anwendungen oder Netzwerkgeräten kontinuierlich in Echtzeit verarbeiten und analysieren. Dies hilft bei der Erkennung von Anomalien, der Behebung von Problemen und der Überwachung von Systemzustand und Leistung.
Empfehlungssysteme: AWS Glue Streaming kann Benutzeraktivitätsdaten in Echtzeit verarbeiten und Empfehlungsmodelle dynamisch aktualisieren. Dies ermöglicht personalisierte Empfehlungen in Echtzeit, die auf dem Verhalten und den Vorlieben der Benutzer basieren.
Dies sind einige Beispiele für die vielfältigen Anwendungsfälle, in denen AWS Glue Streaming angewendet werden kann. Die Integration in das AWS Ökosystem und die verwalteten Dienste machen es zu einer bequemen Wahl für die Verarbeitung und Analyse von Streams in Echtzeit in der Cloud.
Was sind die Vorteile der Nutzung von AWS Glue Streaming?
Die Nutzung von AWS Glue Streaming bietet folgende Vorteile:
Serverlos: AWS Glue Streaming ist serverlos, sodass die Infrastruktur nicht verwaltet werden muss. Dadurch wird der betriebliche Aufwand reduziert und Benutzer können sich auf die Datenverarbeitung und Analyseaufgaben konzentrieren, anstatt die Infrastruktur verwalten zu müssen.
Autoscaling: AWS Glue Streaming bietet Autoscaling-Funktionen, bei denen die Verarbeitungskapazität dynamisch an die Arbeitslast angepasst wird. Es wird automatisch auf- oder abskalieren, um Schwankungen im Datenvolumen auszugleichen und eine optimale Leistung und Ressourcennutzung zu gewährleisten.
Visuelle Entwicklung: Die Entwicklung von Streaming-Jobs kann komplex sein. AWS Glue Streaming begegnet dieser Herausforderung durch das Angebot von AWS Glue Studio, einem visuellen Authoring-Tool. AWS Glue Studio vereinfacht den Prozess der Erstellung von Streaming-Workflows und ermöglicht es Entwicklern, Streaming-Anwendungen visuell zu entwerfen und zu verwalten, wodurch die Lernkurve reduziert und die Produktivität gesteigert wird.
Kostengünstig: Als serverloser Dienst bietet AWS Glue Streaming Kosteneffizienz, da die Bereitstellung und Wartung der Infrastruktur überflüssig wird. Die Abrechnung erfolgt auf der Grundlage der bei der Ausführung von Streaming-Aufträgen verbrauchten Ressourcen. Dies ermöglicht eine Kostenoptimierung und Skalierung anhand der tatsächlichen Nutzung.
Bewältigt komplexe Workloads: AWS Glue Streaming ist darauf ausgelegt, komplexe Streaming-Workloads zu bewältigen. Es kann große Mengen an Echtzeitdaten verarbeiten und analysieren, erweiterte Transformationen unterstützen und in andere AWS Dienste integrieren, wodurch ausgeklügelte Streaming-Daten-Pipelines und Analyse-Workflows ermöglicht werden.
Keine Bindung: AWS Glue Streaming bietet Flexibilität und vermeidet die Bindung an einen Anbieter. Benutzer können AWS Glue Streaming als Teil des breiteren AWS Ökosystems nutzen und es nahtlos in andere AWS Dienste integrieren. Dies ermöglicht eine einfache Integration mit bestehenden Datenquellen, Anwendungen und Services, ohne an eine bestimmte Technologie oder Plattform gebunden zu sein.
Wann sollte AWS Glue Streaming verwendet werden?
Es gibt viele Optionen, wenn es um Streaming-Anwendungsfälle geht. Wir empfehlen AWS Glue Streaming in den folgenden Szenarien.
Wenn Sie Spark bereits für die Stapelverarbeitung verwenden AWS Glue , ist AWS Glue Streaming die ideale Wahl für Sie. Es bietet einen nahtlosen Übergang zur Erstellung von Streaming-Aufträgen, ohne dass Sie eine neue Sprache oder ein neues Framework lernen müssen. AWS Glue Streaming nutzt Ihr vorhandenes Wissen und Ihre Infrastruktur, vereinfacht den Prozess der Jobentwicklung und ermöglicht es Ihnen, Ihre Datenverarbeitungskapazitäten auf einfache Weise auf Echtzeit-Streaming-Szenarien auszudehnen.
Wenn Sie einen einheitlichen Service oder ein einheitliches Produkt für die Verarbeitung von Batch-, Streaming- und ereignisgesteuerten Workloads benötigen, ist AWS Glue Streaming die richtige Lösung für Sie. Mit AWS Glue Streaming können Sie Ihre Datenverarbeitungsanforderungen in einem einzigen Framework konsolidieren, wodurch die Komplexität der Verwaltung mehrerer Systeme entfällt. Dies ermöglicht eine effiziente Entwicklung und Pflege verschiedener Daten-Workflows und gewährleistet gleichzeitig Konsistenz und Kompatibilität über verschiedene Workload-Typen hinweg.
AWS Glue Streaming eignet sich gut für Szenarien mit extrem großen Streaming-Datenmengen und komplexen Transformationen, wie Verknüpfungen zwischen Streams oder relationalen Datenbanken. Es kann riesige Datenströme effizient verarbeiten und analysieren, so dass Sie auch anspruchsvolle Workloads mühelos bewältigen können. Ganz gleich, ob es sich um eine schnelle Datenaufnahme oder komplizierte Datenmanipulationen handelt, die Skalierbarkeit und die fortschrittlichen Verarbeitungsfunktionen von AWS Glue Streaming sorgen für optimale Leistung und genaue Ergebnisse.
Wenn Sie bei der Erstellung von Streaming-Jobs einen visuellen Ansatz bevorzugen, AWS Glue bietet AWS Glue Studio, mit dem Sie Ihre Streaming-Anwendungen visuell entwerfen und verwalten können, wodurch der Entwicklungsprozess vereinfacht wird. Diese intuitive Oberfläche ermöglicht es Entwicklern, Streaming-Workflows über eine visuelle Oberfläche zu erstellen, zu konfigurieren und zu überwachen, wodurch die Lernkurve gesenkt und die Produktivität erhöht wird.
AWS Glue Streaming ist eine hervorragende Wahl für near-real-time Anwendungsfälle, in denen verbindliche Vereinbarungen SLAs (Service Level Agreements) von mehr als 10 Sekunden gelten.
Wenn Sie einen transaktionalen Data Lake mit Apache Iceberg, Apache Hudi oder Delta Lake erstellen, bietet AWS Glue Streaming native Unterstützung für diese offenen Tabellenformate. Diese nahtlose Integration ermöglicht es Ihnen, Streaming-Daten direkt aus diesen transaktionalen Data Lakes zu verarbeiten und so die Datenkonsistenz, -integrität und -kompatibilität sicherzustellen.
Wenn Streaming-Daten für eine Vielzahl von Datenzielen aufgenommen werden müssen: AWS Glue Streaming bietet native Ziele für eine Vielzahl von Datenzielen wie Amazon Redshift, Amazon RDS, Amazon Aurora, Oracle, SQL Server und andere Ziele.
Unterstützte Datenquellen
AWS Glue Streaming unterstützt die folgenden Datenquellen:
Amazon Kinesis
Amazon MSK (Managed Streaming für Apache Kafka)
Selbstverwaltetes Apache Kafka
Unterstützte Datenziele
AWS Glue Streaming unterstützt eine Vielzahl von Datenzielen wie:
Von Data Catalog unterstützte AWS Glue Datenziele
Amazon S3
Amazon Redshift
MySQL
PostgreSQL
Oracle
Microsoft SQL Server
Snowflake
Jede Datenbank, die mit JDBC verbunden werden kann
Apache Iceberg, Delta und Apache Hudi
AWS Glue Marketplace-Konnektoren
