Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Mit Amazon SageMaker Partner AI Apps erhalten Benutzer Zugriff auf generative KI- und Machine Learning-Entwicklungsanwendungen (ML), die von branchenführenden Anwendungsanbietern entwickelt, veröffentlicht und vertrieben werden. KI-Apps von Partnern sind für den Betrieb auf SageMaker KI zertifiziert. Mit Partner-KI-Apps können Benutzer die Entwicklung von Lösungen auf der Grundlage von Foundation Models (FM) und klassischen ML-Modellen beschleunigen und verbessern, ohne die Sicherheit ihrer sensiblen Daten zu gefährden. Die Daten bleiben vollständig innerhalb ihrer vertrauenswürdigen Sicherheitskonfiguration und werden niemals an Dritte weitergegeben.
Funktionsweise
KI-Apps von Partnern sind vollständige Anwendungsstapel, die einen Amazon Elastic Kubernetes Service Service-Cluster und eine Reihe von zugehörigen Services umfassen können, darunter Application Load Balancer, Amazon Relational Database Service, Amazon Simple Storage Service-Buckets, Amazon Simple Queue Service-Warteschlangen und Redis Caches.
Diese Dienstanwendungen können von allen Benutzern in einer SageMaker KI-Domäne gemeinsam genutzt werden und werden von einem Administrator bereitgestellt. Nach der Bereitstellung der Anwendung durch den Kauf eines Abonnements über kann der AWS Marketplace Administrator Benutzern in der SageMaker AI-Domain Berechtigungen für den direkten Zugriff auf die Partner-KI-App von Amazon SageMaker Studio, Amazon SageMaker Unified Studio (Vorschau) oder über eine vorsignierte URL erteilen. Informationen zum Starten einer Anwendung von Studio aus finden Sie unter. Starten Sie Amazon SageMaker Studio
Partner AI Apps bietet Administratoren und Benutzern die folgenden Vorteile.
-
Administratoren verwenden die SageMaker KI-Konsole, um die Partner-KI-Apps zu durchsuchen, zu entdecken, auszuwählen und bereitzustellen, damit sie von ihren Data-Science- und ML-Teams verwendet werden können. Nachdem die Partner-KI-Apps bereitgestellt wurden, führt SageMaker KI sie auf Service-Managed AWS-Konten aus. Dies reduziert den mit der Erstellung und dem Betrieb dieser Anwendungen verbundenen Betriebskosten erheblich und trägt zur Sicherheit und zum Datenschutz von Kundendaten bei.
-
Datenwissenschaftler und ML-Entwickler können in ihrer ML-Entwicklungsumgebung in Amazon SageMaker Studio oder Amazon SageMaker Unified Studio (Vorversion) auf Partner-KI-Apps zugreifen. Sie können die Partner-KI-Apps verwenden, um ihre mit KI erstellten Daten, Experimente und Modelle zu SageMaker analysieren. Dies minimiert den Kontextwechsel und trägt dazu bei, die Erstellung von Basismodellen und die Markteinführung neuer generativer KI-Funktionen zu beschleunigen.
Integration mit AWS-Services
Partner AI Apps verwendet die bestehende AWS Identity and Access Management (IAM-) Konfiguration für die Autorisierung und Authentifizierung. Daher müssen Benutzer keine separaten Anmeldeinformationen angeben, um von Amazon SageMaker Studio aus auf jede Partner-KI-App zuzugreifen. Weitere Informationen zur Autorisierung und Authentifizierung mit Partner-AI-Apps finden Sie unterRichten Sie KI-Apps für Partner ein.
Partner AI Apps lassen sich auch integrieren Amazon CloudWatch , um die Betriebsüberwachung und -verwaltung zu ermöglichen. Kunden können auch die KI-Apps von Partnern durchsuchen und weitere Informationen zu ihnen, wie Funktionen, Kundenerlebnis und Preise, erhalten AWS Management Console. Weitere Informationen dazu Amazon CloudWatch finden Sie unter So Amazon CloudWatch funktioniert es.
Unterstützte -Typen
KI-Apps von Partnern unterstützen die folgenden Typen:
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Wenn der Administrator eine Partner-AI-App startet, muss er die Konfiguration des Instanz-Clusters auswählen, mit dem die Partner-AI-App gestartet wird. Diese Konfiguration wird als Stufe der Partner-AI-App bezeichnet. Die Stufe einer Partner-AI-App kann einer der folgenden Werte sein:
-
small -
medium -
large
Die folgenden Abschnitte enthalten Informationen zu den einzelnen Partner-AI-App-Typen sowie Einzelheiten zu den Tierwerten der Partner-AI-App.
Comet bietet eine Plattform zur end-to-end Modellevaluierung für KI-Entwickler mit LLM-Evaluierungen, Versuchsverfolgung und Produktionsüberwachung.
Je nach Arbeitslast empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small— Empfohlen für bis zu 5 Benutzer und 20 laufende Jobs. -
medium— Empfohlen für bis zu 50 Benutzer und 100 laufende Jobs. -
large— Empfohlen für bis zu 500 Benutzer und mehr als 100 laufende Jobs.
Anmerkung
SageMaker KI unterstützt nicht die Anzeige von Comet Benutzeroberfläche als Teil der Ausgabe eines Jupyter-Notebooks.
Entwickler und Stakeholder von KI-Anwendungen können Folgendes nutzen Deepchecks um LLM-basierte Anwendungen kontinuierlich zu validieren, einschließlich Eigenschaften, Leistungskennzahlen und potenzieller Fallstricke während des gesamten Lebenszyklus, von der Bereitstellung über interne Experimente bis hin zur Produktion.
Je nach der für den Workload gewünschten Geschwindigkeit empfehlen wir die folgenden Partner-KI-Anwendungsstufen:
-
small— Verarbeitet 200 Token pro Sekunde. -
medium— Verarbeitet 500 Token pro Sekunde. -
large— Verarbeitet 1300 Token pro Sekunde.
Das Tool Fiddler Die AI Observability Platform erleichtert die Validierung, Überwachung und Analyse von ML-Modellen in der Produktion, einschließlich tabellarischer Modelle, Modelle für Deep Learning, Computer Vision und Verarbeitung natürlicher Sprache.
Je nach der für den Workload gewünschten Geschwindigkeit empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small— Die Verarbeitung von 10 Millionen Ereignissen in 5 Modellen, 100 Funktionen und 20 Iterationen dauert etwa 53 Minuten. -
medium— Die Verarbeitung von 10 MM-Ereignissen in 5 Modellen, 100 Features und 20 Iterationen dauert etwa 23 Minuten. -
large— Die Verarbeitung von 10 MM-Ereignissen in 5 Modellen, 100 Features und 100 Iterationen dauert etwa 27 Minuten.
Lakera Guard ist eine KI-Anwendungs-Firewall mit niedriger Latenz, um generative KI-Anwendungen vor KI-spezifischen Bedrohungen der Generation zu schützen.
Je nach Arbeitslast empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small— Empfohlen für bis zu 20 robotergestützte Prozessautomatisierungen (RPAs). -
medium— Empfohlen für bis zu 100 RPAs. -
large— Empfohlen für bis zu 200 RPAs.
