View a markdown version of this page

Was ist Apache Spark Troubleshooting Agent für Amazon EMR und AWS Glue - Amazon EMR
EinführungÜbersicht über die Architektur

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Was ist Apache Spark Troubleshooting Agent für Amazon EMR und AWS Glue

Einführung

Der Apache Spark Troubleshooting Agent für Amazon EMR ist eine dialogorientierte KI-Funktion, die die Fehlerbehebung von Apache Spark-Anwendungen auf Amazon EMR (EMR auf EC2, EMR Serverless und EMR auf EKS), Glue und Amazon Notebooks vereinfacht. AWS SageMaker Die herkömmliche Spark-Fehlerbehebung erfordert eine umfassende manuelle Analyse von Protokollen, Leistungskennzahlen und Fehlermustern, um die Ursachen zu identifizieren und den Code zu beheben. Der Agent vereinfacht diesen Prozess durch Eingabeaufforderungen in natürlicher Sprache, eine automatisierte Workload-Analyse und intelligente Codeempfehlungen.

Sie können den Agenten verwenden, um Fehler PySpark und Fehler bei Scala-Anwendungen zu beheben. Der Agent analysiert Ihre fehlgeschlagenen Jobs, identifiziert Leistungsengpässe und gibt umsetzbare Empfehlungen und Code-Fixes, während Sie gleichzeitig die volle Kontrolle über Implementierungsentscheidungen haben.

Anmerkung

Der Apache Spark Troubleshooting Agent ist ohne zusätzliche Kosten als Teil von Amazon EMR erhältlich. Der Agent bietet nur Analysen und Empfehlungen. Sie zahlen nur für die Amazon EMR-Ressourcen, die Sie verwenden, wenn Sie Ihre Anwendungen zur Überprüfung der empfohlenen Problembehebungen ausführen.

Übersicht über die Architektur

Der Troubleshooting-Agent besteht aus drei Hauptkomponenten: einem MCP-compatible KI-Assistenten in Ihrer Entwicklungsumgebung für AWS die Interaktion, dem MCP-Proxy, der die sichere Kommunikation und Authentifizierung zwischen Ihrem Client und Ihren AWS Diensten übernimmt, und dem Amazon SageMaker Unified Studio Remote MCP Server, der spezielle Spark-Problembehandlungstools für Amazon EMR (EMR auf EC2, EMR Serverless und EMR auf EKS), AWS Glue und Amazon SageMaker Notebooks bereitstellt. Dieses Diagramm zeigt, wie Sie über Ihren AI Assistant mit dem Amazon SageMaker Unified Studio Remote MCP Server interagieren.

Architektur des Spark-Agenten zur Fehlerbehebung.

Der KI-Assistent orchestriert die Fehlerbehebung mithilfe spezieller Tools, die vom MCP-Server bereitgestellt werden, und folgt dabei den folgenden Schritten:

  • Funktionsextraktion und Kontexterstellung: Der Agent erfasst und analysiert automatisch Telemetriedaten aus Ihrer Spark-Anwendung, einschließlich der Protokolle des Spark History Servers, der Konfigurationseinstellungen und der Fehlerspuren. Er extrahiert wichtige Leistungskennzahlen, Ressourcenauslastungsmuster und Fehlersignaturen, um ein umfassendes Kontextprofil für eine intelligente Fehlerbehebung zu erstellen.

  • GenAI Root Cause Analyzer und Recommendation Engine: Der Agent nutzt KI-Modelle und die Spark-Wissensdatenbank, um die extrahierten Funktionen zu korrelieren und die Hauptursachen von Leistungsproblemen oder Ausfällen zu identifizieren. Er liefert diagnostische Erkenntnisse und analysiert, was bei der Ausführung Ihrer Spark-Anwendung schief gelaufen ist.

  • GenAi Spark-Code-Empfehlung: Basierend auf der Ursachenanalyse aus dem vorherigen Schritt analysiert der Agent Ihre vorhandenen Codemuster und identifiziert ineffiziente Abläufe, für die Codekorrekturen für Anwendungsfehler erforderlich sind. Es bietet umsetzbare Empfehlungen, einschließlich spezifischer Codeänderungen, Konfigurationsanpassungen und architektonischer Verbesserungen, anhand konkreter Beispiele.

Themen