Utilice Jupyter AI en nuestro Studio Classic JupyterLab - Amazon SageMaker
Usa modelos de lenguaje de la interfaz de usuario del chatUsa modelos de lenguaje de un cuaderno

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Utilice Jupyter AI en nuestro Studio Classic JupyterLab

Puedes usar Jupyter AI en Studio Classic JupyterLab o en Studio Classic invocando modelos de lenguaje desde la interfaz de usuario del chat o desde las celdas del cuaderno. En las siguientes secciones se proporciona información sobre los pasos necesarios para completar esta operación.

Usa modelos de lenguaje de la interfaz de usuario del chat

Redacta tu mensaje en el cuadro de texto de la interfaz de usuario del chat para empezar a interactuar con tu modelo. Para borrar el historial de mensajes, usa el /clear comando.

nota

Al borrar el historial de mensajes no se borra el contexto del chat con el proveedor del modelo.

Utilice modelos lingüísticos de las celdas de un cuaderno

Antes de utilizar los %ai comandos %%ai y para invocar un modelo de lenguaje, cargue la IPython extensión ejecutando el siguiente comando en una celda de un bloc de notas JupyterLab o de Studio Classic.

%load_ext jupyter_ai_magics

  • Para los modelos alojados por AWS:

    • Para invocar un modelo desplegado en SageMaker, pasa la cadena sagemaker-endpoint:endpoint-name al comando %%ai mágico con los parámetros necesarios que aparecen a continuación y, a continuación, añade tu mensaje en las siguientes líneas.

      En la siguiente tabla se enumeran los parámetros obligatorios y opcionales al invocar modelos alojados por Amazon Bedrock SageMaker o Amazon.

      Nombre del parámetro Parámetro Versión corta Descripción
      Esquema de solicitud --request-schema -q Obligatorio: el JSON objeto que espera el punto final, y la solicitud se sustituye por cualquier valor que coincida con el literal de la cadena<prompt>.
      Nombre de la región de --region-name -n Obligatorio: el Región de AWS lugar donde se despliega el modelo.
      Ruta de respuesta --response-path -p Necesaria: JSONPath cadena utilizada para extraer el resultado del modelo de lenguaje de la JSON respuesta del punto final.
      Parámetros adicionales del modelo --model-parameters -m Opcional: un JSON valor que especifica los parámetros adicionales que se van a pasar al modelo. El valor aceptado se analiza en un diccionario, se desempaqueta y se pasa directamente a la clase proveedora. Esto resulta útil cuando el punto final o el modelo requieren parámetros personalizados. Por ejemplo, en los modelos Llama 2, cuando sea necesario aceptar el acuerdo de licencia de usuario final (EULA), puede transferir la EULA aceptación al punto final utilizando-m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}}. Como alternativa, puede utilizar el -m parámetro para transferir parámetros de modelo adicionales, como establecer el número máximo de símbolos para la respuesta generada por un modelo. Por ejemplo, cuando se trabaja con un modelo jurásico de AI21 Labs:. -m {"model_kwargs":{"maxTokens":256}}
      Formato de salida --format -f Opcional: la IPython pantalla utilizada para renderizar la salida. Puede ser cualquiera de los valores siguientes[code|html|image|json|markdown|math|md|text], siempre que el modelo invocado admita el formato especificado.

      El siguiente comando invoca un modelo Llama2-7b hospedado por. SageMaker

      %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text
Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>

      El siguiente ejemplo invoca un modelo FLAN-T5-small hospedado por. SageMaker

      %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text
What is the atomic number of Hydrogen?

    • Para invocar un modelo implementado en Amazon Bedrock, pase la cadena bedrock:model-name al comando %%ai mágico con cualquier parámetro opcional definido en la lista de parámetros para invocar modelos alojados en JumpStart Amazon Bedrock y, a continuación, añada su mensaje en las siguientes líneas.

      El siguiente ejemplo invoca un modelo Jurassic-2 de AI21 Labs hospedado en Amazon Bedrock.

      %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code
Write a function in python implementing a bubbble sort.

  • Para modelos alojados por proveedores externos

    Para invocar un modelo alojado por proveedores externos, pasa la cadena provider-id:model-name al comando %%ai mágico con una opción y, a continuación Output format, añade tu mensaje en las siguientes líneas. Puedes encontrar los detalles de cada proveedor, incluido su identificador, en la lista de proveedores de modelos de Jupyter AI.

    El siguiente comando pide a un modelo de Claude antrópico que genere un HTML archivo que contenga la imagen de un cuadrado blanco con bordes negros.

    %%ai anthropic:claude-v1.2 -f html
Create a square using SVG with a black border and white fill.