Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Mistral AI finalización del chat
La Mistral AI completar el chat API permite crear aplicaciones conversacionales.
sugerencia
Puede utilizar el Mistral AI completar el chat API con las operaciones de inferencia base (InvokeModelo InvokeModelWithResponseStream). Sin embargo, le recomendamos que utilice el Converse APIpara implementar los mensajes en su aplicación. La Converse APIproporciona un conjunto unificado de parámetros que funcionan en todos los modelos que admiten mensajes. Para obtener más información, consulte Mantenga una conversación con el Converse Operaciones de API.
Mistral AI los modelos están disponibles bajo la licencia Apache 2.0
Modelos compatibles
Puede utilizar lo siguiente Mistral AI modelos.
Mistral Large
Necesitará el ID de modelo del modelo que desee utilizar. Para obtener el ID del modelo, consulte Modelos fundacionales compatibles en Amazon Bedrock.
Solicitud y respuesta
- Request
-
La Mistral AI los modelos tienen los siguientes parámetros de inferencia.
{ "messages": [ { "role": "system"|"user"|"assistant", "content": str }, { "role": "assistant", "content": "", "tool_calls": [ { "id": str, "function": { "name": str, "arguments": str } } ] }, { "role": "tool", "tool_call_id": str, "content": str } ], "tools": [ { "type": "function", "function": { "name": str, "description": str, "parameters": dict } } ], "tool_choice": "auto"|"any"|"none", "max_tokens": int, "top_p": float, "temperature": float }
Los siguientes parámetros son obligatorios.
-
messages: (obligatorio) son los mensajes que desea pasar al modelo.
-
role: es el rol para el mensaje. Los valores válidos son:
system: establece el comportamiento y el contexto del modelo en la conversación.
user: es el mensaje del usuario que se envía al modelo.
assistant: es la respuesta del modelo.
-
content: es el contenido del mensaje.
[ { "role": "user", "content": "What is the most popular song on WZPZ?" } ]
Para pasar el resultado de una herramienta, JSON utilícelo con los siguientes campos.
-
role: es el rol para el mensaje. El valor debe ser
tool
. -
tool_call_id: es el ID de la solicitud de la herramienta. El ID se obtiene de los campos
tool_calls
de la respuesta de la solicitud anterior. -
content: es el resultado de la herramienta.
El siguiente ejemplo es el resultado de una herramienta que obtiene la canción más popular de una emisora de radio.
{ "role": "tool", "tool_call_id": "v6RMMiRlT7ygYkT4uULjtg", "content": "{\"song\": \"Elemental Hotel\", \"artist\": \"8 Storey Hike\"}" }
-
Los siguientes son parámetros opcionales.
-
tools: definiciones de las herramientas que puede utilizar el modelo.
Si incluye
tools
en su solicitud, es posible que el modelo devuelva un campotool_calls
en el mensaje que represente el uso de esas herramientas por parte del modelo. A continuación, puede ejecutar esas herramientas con la entrada de herramientas generada por el modelo y, si lo desea, devolver los resultados al modelo mediante bloques de contenidotool_result
.El siguiente ejemplo es de una herramienta que obtiene la canción más popular de una emisora de radio.
[ { "type": "function", "function": { "name": "top_song", "description": "Get the most popular song played on a radio station.", "parameters": { "type": "object", "properties": { "sign": { "type": "string", "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP." } }, "required": [ "sign" ] } } } ]
-
tool_choice: especifica cómo se llama a las funciones. Si se establece en
none
, el modelo no llamará a ninguna función y, en su lugar, generará un mensaje. Si se establece enauto
, el modelo puede elegir entre generar un mensaje o llamar a una función. Si se establece enany
, el modelo se ve obligado a llamar a una función.
-
max_tokens: especifique la cantidad máxima de tokens para usar en la respuesta generada. El modelo trunca la respuesta una vez que el texto generado excede
max_tokens
.Predeterminado/a Mínimo Máximo Mistral Large — 8.192
1
Mistral Large — 8.192
-
temperature: controla la asignación al azar de las predicciones realizadas por el modelo. Para obtener más información, consulte Influencia sobre la generación de respuestas con parámetros de inferencia.
Predeterminado/a Mínimo Máximo Mistral Large — 0.7
0
1
-
top_p: controla la diversidad de texto que genera el modelo al establecer el porcentaje de candidatos más probables que considera el modelo para el siguiente token. Para obtener más información, consulte Influencia sobre la generación de respuestas con parámetros de inferencia.
Predeterminado/a Mínimo Máximo Mistral Large — 1
0
1
-
- Response
-
La respuesta
body
de una llamada aInvokeModel
es la siguiente:{ "choices": [ { "index": 0, "message": { "role": "assistant", "content": str, "tool_calls": [...] }, "stop_reason": "stop"|"length"|"tool_calls" } ] }
La respuesta
body
tiene los siguientes campos posibles:-
choices: es la salida del modelo.
-
index: es el índice del mensaje.
-
message: es el mensaje del modelo.
-
role: es el rol para el mensaje.
-
content: es el contenido del mensaje.
-
tool_calls: si el valor de
stop_reason
estool_calls
, este campo contiene una lista de solicitudes de herramientas que el modelo quiere que ejecute.-
id: es el ID de la solicitud de herramienta.
-
function: es la función que solicita el modelo.
-
name: es el nombre de la función.
-
arguments: son los argumentos que se pasan a la herramienta
-
El siguiente ejemplo es de una solicitud a una herramienta que obtiene la canción más popular de una emisora de radio.
[ { "id": "v6RMMiRlT7ygYkT4uULjtg", "function": { "name": "top_song", "arguments": "{\"sign\": \"WZPZ\"}" } } ]
-
-
-
stop_reason: motivo por el que la respuesta ha dejado de generar texto. Los valores posibles son los siguientes:
-
stop: el modelo ha terminado de generar texto para la solicitud de entrada. El modelo se detiene porque ya no genera más contenido o si el modelo genera una de las secuencias de parada que se han definido en el parámetro de solicitud
stop
. -
length: la longitud de los tokens del texto generado supera el valor de
max_tokens
. La respuesta se trunca en tokensmax_tokens
. -
tool_calls: el modelo le solicita que ejecute una herramienta.
-
-
-