Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Puedes usar Jupyter AI en Studio Classic JupyterLab o en Studio Classic invocando modelos de lenguaje desde la interfaz de usuario del chat o desde las celdas del cuaderno. En las siguientes secciones se proporciona información sobre los pasos necesarios para completar esta operación.
Uso de modelos de lenguaje a partir de la interfaz de usuario del chat
Redacte un mensaje en el cuadro de texto de la interfaz de usuario del chat para empezar a interactuar con el modelo. Para borrar el historial de mensajes, utilice el comando /clear.
nota
Al borrar el historial de mensajes, no se borrará el contexto del chat con el proveedor del modelo.
Uso de modelos de lenguaje a partir de las celdas del cuaderno
Antes de usar los %ai comandos %%ai y para invocar un modelo de lenguaje, carga la IPython extensión ejecutando el siguiente comando en una celda de un cuaderno JupyterLab o de Studio Classic.
%load_ext jupyter_ai_magics
-
Para los modelos alojados por AWS:
-
Para invocar un modelo implementado en la SageMaker IA, pasa la cadena
sagemaker-endpoint:al comandoendpoint-name%%aimágico con los parámetros necesarios que aparecen a continuación y, a continuación, añade tu mensaje en las siguientes líneas.En la siguiente tabla se enumeran los parámetros obligatorios y opcionales al invocar modelos alojados por SageMaker AI o Amazon Bedrock.
Nombre del parámetro Parámetro Versión corta Descripción Esquema de la solicitud --request-schema-qObligatorio: el objeto JSON que espera el punto de conexión, con la petición que se sustituye por cualquier valor que coincida con <prompt>literal de cadena.Nombre de la región de --region-name-nObligatorio: el Región de AWS lugar donde se implementa el modelo. Ruta de respuesta --response-path-pObligatorio: JSONPath cadena utilizada para extraer el resultado del modelo de lenguaje de la respuesta JSON del punto final. Parámetros adicionales del modelo --model-parameters-mOpcional: un valor de JSON que especifica los parámetros adicionales que se transferirán al modelo. El valor aceptado se analiza en un diccionario, se desempaqueta y se pasa directamente a la clase de proveedor. Esto es útil cuando el punto de conexión o el modelo requieren parámetros personalizados. Por ejemplo, en los modelos Llama 2, si es necesario aceptar el acuerdo de licencia de usuario final (EULA), se puede transferir la aceptación del EULA al punto de conexión mediante -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}}. También puede utilizar el parámetro-mpara transferir parámetros adicionales al modelo, como, por ejemplo, establecer el número máximo de tokens para un respuesta generada por el modelo. Por ejemplo, cuando se trabaja con un modelo jurásico de AI21 Labs:.-m {"model_kwargs":{"maxTokens":256}}Formato de salida --format-fOpcional: la IPython pantalla utilizada para renderizar la salida. Puede ser alguno de los siguientes valores [code|html|image|json|markdown|math|md|text], siempre que el modelo invocado admita el formato especificado.El siguiente comando invoca un modelo LLAMA2-7b
hospedado por AI. SageMaker %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese =>El siguiente ejemplo invoca un modelo FLAN-T5-small hospedado por AI. SageMaker
%%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text What is the atomic number of Hydrogen? -
Para invocar un modelo implementado en Amazon Bedrock, pase la cadena
bedrock:al comandomodel-name%%aimágico con cualquier parámetro opcional definido en la lista de parámetros para invocar modelos alojados en JumpStart Amazon Bedrock y, a continuación, añada su mensaje en las siguientes líneas.El siguiente ejemplo invoca un modelo Jurassic-2 de AI21 Labs hospedado en Amazon Bedrock.
%%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code Write a function in python implementing a bubbble sort.
-
-
En el caso de modelos alojados por proveedores externos
Para invocar un modelo alojado por proveedores externos, transfiera la cadena
provider-id:model-name%%aicon un Output format opcional y, a continuación, añada la petición en las siguientes líneas. Puede encontrar los detalles de cada proveedor, incluido el ID, en la lista de proveedores de modelosde Jupyter AI. El siguiente comando pide a un modelo de Anthropic Claude que genere un archivo HTML con la imagen de un cuadrado blanco con bordes negros.
%%ai anthropic:claude-v1.2 -f html Create a square using SVG with a black border and white fill.
