Implemente modelos básicos disponíveis publicamente com a JumpStartModel classe - Amazon SageMaker
Verifique os tipos de instância padrãoUse componentes de inferência para implantar vários modelos em um endpoint compartilhadoVerifique os formatos de inferência de entrada e saída válidosVerifique o conteúdo compatível e aceite os tipos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implemente modelos básicos disponíveis publicamente com a JumpStartModel classe

Você pode implantar um algoritmo integrado ou um modelo pré-treinado em um SageMaker endpoint em apenas algumas linhas de código usando o SageMaker Python SDK.

  1. Primeiro, encontre o ID do modelo de sua escolha nos algoritmos integrados com tabela de modelos pré-treinada.

  2. Usando o ID do modelo, defina seu modelo como um JumpStart modelo.

    from sagemaker.jumpstart.model import JumpStartModel

model_id = "huggingface-text2text-flan-t5-xl"
my_model = JumpStartModel(model_id=model_id)

  3. Use o deploy método para implantar automaticamente seu modelo para inferência. Neste exemplo, usamos o modelo FLAN -T5 XL de Hugging Face.

    predictor = my_model.deploy()

  4. Em seguida, você pode executar a inferência com o modelo implantado usando o predict método.

    question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
nota

Este exemplo usa o modelo básico FLAN -T5 XL, que é adequado para uma ampla variedade de casos de uso de geração de texto, incluindo respostas a perguntas, resumos, criação de chatbots e muito mais. Para obter mais informações sobre casos de uso de modelos, consulteModelos de fundação disponíveis.

Para obter mais informações sobre a JumpStartModel classe e seus parâmetros, consulte JumpStartModel.

Verifique os tipos de instância padrão

Opcionalmente, você pode incluir versões específicas do modelo ou tipos de instância ao implantar um modelo pré-treinado usando a classe. JumpStartModel Todos os JumpStart modelos têm um tipo de instância padrão. Recupere o tipo de instância de implantação padrão usando o código a seguir:

from sagemaker import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="inference")
print(instance_type)

Veja todos os tipos de instância compatíveis com um determinado JumpStart modelo com o instance_types.retrieve() método.

Use componentes de inferência para implantar vários modelos em um endpoint compartilhado

Um componente de inferência é um objeto de SageMaker hospedagem que você pode usar para implantar um ou mais modelos em um endpoint para aumentar a flexibilidade e a escalabilidade. Você deve alterar o endpoint_type para que seu JumpStart modelo seja, inference-component-based em vez do endpoint padrão baseado em modelo. 

predictor = my_model.deploy(
    endpoint_name = 'jumpstart-model-id-123456789012', 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)

Para obter mais informações sobre a criação de endpoints com componentes de inferência e a implantação de SageMaker modelos, consulte. Utilização compartilhada de recursos com vários modelos

Verifique os formatos de inferência de entrada e saída válidos

Para verificar os formatos de entrada e saída de dados válidos para inferência, você pode usar o retrieve_options() método das Deserializers classes Serializers e.

print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))

Verifique o conteúdo compatível e aceite os tipos

Da mesma forma, você pode usar o retrieve_options() método para verificar o conteúdo compatível e aceitar tipos para um modelo.

print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))

Para obter mais informações sobre utilitários, consulte Utilitário APIs.