Empfehlungsjobs mit Amazon SageMaker Inference Recommender - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Empfehlungsjobs mit Amazon SageMaker Inference Recommender

Amazon SageMaker Inference Recommender kann zwei Arten von Empfehlungen aussprechen:

  1. Mit Inferenzempfehlungen (Default Auftragstyp) wird eine Reihe von Belastungstests für die empfohlenen Instances-Typen ausgeführt. Sie können auch einen Lasttest für einen serverlosen Endpunkt durchführen. Sie müssen nur ein Modellpaket Amazon Resource Name (ARN) angeben, um diese Art von Empfehlungsjob zu starten. Aufträge für Inferenzempfehlungen werden innerhalb von 45 Minuten abgeschlossen.

  2. Endpunktempfehlungen (Advanced Auftragstyp) basieren auf einem benutzerdefinierten Lasttest, bei dem Sie Ihre gewünschten ML-Instances oder einen serverlosen Endpunkt auswählen, ein benutzerdefiniertes Datenverkehrsmuster angeben und Anforderungen für Latenz und Durchsatz auf der Grundlage Ihrer Produktionsanforderungen angeben. Die Ausführung dieses Jobs dauert je nach eingestellter Auftragsdauer und Gesamtzahl der getesteten Inferenzkonfigurationen durchschnittlich 2 Stunden.

Beide Arten von Empfehlungen verwenden dasselbe, APIs um Jobs zu erstellen, zu beschreiben und zu beenden. Die Ausgabe ist eine Liste von Empfehlungen zur Instance-Konfiguration mit zugehörigen Umgebungsvariablen, Kosten-, Durchsatz- und Latenzmetriken. Empfehlungsaufträge bieten auch eine anfängliche Anzahl von Instanzen, die Sie verwenden können, um eine Autoscaling-Richtlinie zu konfigurieren. Um zwischen den beiden Auftragstypen zu unterscheiden, geben Sie bei der Erstellung eines Jobs über die SageMaker Konsole oder über an APIsDefault, dass vorläufige Endpunktempfehlungen und benutzerdefinierte Lasttests und Advanced Endpunktempfehlungen erstellt werden sollen.

Anmerkung

Sie müssen nicht beide Arten von Empfehlungsaufträgen in Ihrem eigenen Workflow ausführen. Sie können beide unabhängig voneinander ausführen.

Inference Recommender kann Ihnen auch eine Liste potenzieller Instances oder die fünf wichtigsten Instance-Typen, die im Hinblick auf Kosten, Durchsatz und Latenz für die Modellbereitstellung optimiert sind, zusammen mit einem Konfidenzwert zur Verfügung stellen. Sie können diese Instances bei der Bereitstellung Ihres Modells auswählen. Inference Recommender führt automatisch ein Benchmarking mit Ihrem Modell durch, damit Sie die potenziellen Instances bereitstellen können. Da es sich dabei um vorläufige Empfehlungen handelt, empfehlen wir Ihnen, weitere Instance-Empfehlungsaufträge auszuführen, um genauere Ergebnisse zu erhalten. Gehen Sie zu Ihrer Seite mit den SageMaker Modelldetails, um sich die potenziellen Exemplare anzusehen. Weitere Informationen finden Sie unter Erhalten Sie sofort potenzielle Instances.

Themen