View a markdown version of this page

Bereitstellen öffentlich verfügbarer Basismodelle mit der JumpStartModel-Klasse - Amazon SageMaker KI
Standard-Instance-Typen überprüfenVerwenden von Inferenzkomponenten, um mehrere Modelle auf einem gemeinsamen Endpunkt bereitzustellenÜberprüfen gültiger Eingabe- und AusgabeinferenzformateÜberprüfen unterstützter Inhalts- und Annahmetypen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bereitstellen öffentlich verfügbarer Basismodelle mit der JumpStartModel-Klasse

Mithilfe des SageMaker Python SDK können Sie in nur wenigen Codezeilen einen integrierten Algorithmus oder ein vortrainiertes Modell auf einem SageMaker KI-Endpunkt bereitstellen.

  1. Suchen Sie zunächst in der Tabelle „Built-in Algorithmen mit vortrainiertem Modell“ nach der Modell-ID für das Modell Ihrer Wahl.

  2. Definieren Sie Ihr Modell anhand der Modell-ID als JumpStart Modell.

    from sagemaker.serve import ModelBuilder
from sagemaker.core.jumpstart.configs import JumpStartConfig

jumpstart_config = JumpStartConfig(model_id="huggingface-text2text-flan-t5-xl")
model_builder = ModelBuilder.from_jumpstart_config(jumpstart_config=jumpstart_config)

  3. Verwenden Sie die deploy-Methode, um Ihr Modell automatisch für die Inferenz bereitzustellen. In diesem Beispiel verwenden wir das FLAN-T5 XL-Modell vonHugging Face.

    model = model_builder.build()
endpoint = model_builder.deploy()

  4. Anschließend können Sie mit der predict-Methode eine Inferenz mit dem bereitgestellten Modell ausführen.

    question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
Anmerkung

In diesem Beispiel wird das Foundation-Modell FLAN-T5 XL verwendet, das für eine Vielzahl von Anwendungsfällen zur Textgenerierung geeignet ist, darunter Beantwortung von Fragen, Zusammenfassung, Chatbot-Erstellung und mehr. Weitere Informationen zu Anwendungsfällen für Modelle finden Sie unter Verfügbare Basismodelle.

Weitere Hinweise zur JumpStartModel Klasse und ihren Parametern finden Sie unter JumpStartModel.

Standard-Instance-Typen überprüfen

Sie können bei der Bereitstellung eines vortrainierten Modells mithilfe der JumpStartModel-Klasse optional bestimmte Modellversionen oder Instance-Typen einbeziehen. Alle JumpStart Modelle haben einen Standard-Instanztyp. Rufen Sie den standardmäßigen Bereitstellungs-Instance-Typ mit dem folgenden Code ab:

from sagemaker import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="inference")
print(instance_type)

Alle unterstützten Instanztypen für ein bestimmtes JumpStart Modell mit der instance_types.retrieve() Methode anzeigen.

Verwenden von Inferenzkomponenten, um mehrere Modelle auf einem gemeinsamen Endpunkt bereitzustellen

Eine Inferenzkomponente ist ein SageMaker KI-Hosting-Objekt, mit dem Sie ein oder mehrere Modelle auf einem Endpunkt bereitstellen können, um die Flexibilität und Skalierbarkeit zu erhöhen. Sie müssen den endpoint_type ändern, damit Ihr JumpStart Modell auf Inferenzkomponenten basiert und nicht auf dem standardmäßigen modellbasierten Endpunkt. 

predictor = my_model.deploy(
    endpoint_name = 'jumpstart-model-id-123456789012', 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)

Weitere Informationen zum Erstellen von Endpunkten mit Inferenzkomponenten und zum Bereitstellen von KI-Modellen finden Sie unter. SageMaker Gemeinsame Ressourcennutzung mit mehreren Modellen

Überprüfen gültiger Eingabe- und Ausgabeinferenzformate

Um gültige Dateneingabe- und -ausgabeformate auf Inferenz zu überprüfen, können Sie die retrieve_options()-Methode aus den Klassen Serializers und Deserializers verwenden.

print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))

Überprüfen unterstützter Inhalts- und Annahmetypen

Sie können die retrieve_options()-Methode ebenfalls verwenden, um die unterstützten Inhalts- und Annahmetypen zu überprüfen.

print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))

Weitere Informationen zu Dienstprogrammen finden Sie unter APIs für Dienstprogramme.