Mistral AIconclusão do bate-papo - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Mistral AIconclusão do bate-papo

A API de conclusão de Mistral AI bate-papo permite criar aplicativos de conversação.

dica

Você pode usar a API de conclusão de Mistral AI bate-papo com as operações básicas de inferência (InvokeModelou InvokeModelWithResponseStream). No entanto, recomendamos que você use a API Converse para implementar mensagens em seu aplicativo. A API Converse fornece um conjunto unificado de parâmetros que funcionam em todos os modelos que oferecem suporte a mensagens. Para ter mais informações, consulte Converse com as operações da Converse API.

Mistral AIos modelos estão disponíveis sob a licença Apache 2.0. Para obter mais informações sobre o uso de Mistral AI modelos, consulte a Mistral AIdocumentação.

Modelos compatíveis

Você pode usar os seguintes Mistral AI modelos.

  • Mistral Large

É necessário o ID do modelo que deseja usar. Para obter o ID do modelo, consulteModelo Amazon Bedrock IDs.

Solicitação e reposta

Request

Os Mistral AI modelos têm os seguintes parâmetros de inferência.

{ "messages": [ { "role": "system"|"user"|"assistant", "content": str }, { "role": "assistant", "content": "", "tool_calls": [ { "id": str, "function": { "name": str, "arguments": str } } ] }, { "role": "tool", "tool_call_id": str, "content": str } ], "tools": [ { "type": "function", "function": { "name": str, "description": str, "parameters": dict } } ], "tool_choice": "auto"|"any"|"none", "max_tokens": int, "top_p": float, "temperature": float }

Veja a seguir os parâmetros necessários.

  • messages — (Obrigatório) As mensagens que você deseja passar para o modelo.

    • função — A função da mensagem. Os valores válidos são:

      • sistema — Define o comportamento e o contexto do modelo na conversa.

      • user — A mensagem do usuário a ser enviada ao modelo.

      • assistente — A resposta do modelo.

    • conteúdo — O conteúdo da mensagem.

    [ { "role": "user", "content": "What is the most popular song on WZPZ?" } ]

    Para transmitir o resultado de uma ferramenta, use JSON com os campos a seguir.

    • função — A função da mensagem. O valor deve ser tool.

    • tool_call_id — O ID da solicitação da ferramenta. Você obtém o ID dos tool_calls campos na resposta da solicitação anterior.

    • conteúdo — O resultado da ferramenta.

    O exemplo a seguir é o resultado de uma ferramenta que obtém a música mais popular em uma estação de rádio.

    { "role": "tool", "tool_call_id": "v6RMMiRlT7ygYkT4uULjtg", "content": "{\"song\": \"Elemental Hotel\", \"artist\": \"8 Storey Hike\"}" }

Veja a seguir os parâmetros opcionais.

  • ferramentas — Definições das ferramentas que o modelo pode usar.

    Se você incluir tools em sua solicitação, o modelo poderá retornar um tool_calls campo na mensagem que represente o uso dessas ferramentas pelo modelo. Em seguida, você pode executar essas ferramentas usando a entrada de ferramenta gerada pelo modelo e, opcionalmente, retornar os resultados ao modelo usando blocos de tool_result conteúdo.

    O exemplo a seguir é para uma ferramenta que obtém as músicas mais populares em uma estação de rádio.

    [ { "type": "function", "function": { "name": "top_song", "description": "Get the most popular song played on a radio station.", "parameters": { "type": "object", "properties": { "sign": { "type": "string", "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP." } }, "required": [ "sign" ] } } } ]
  • tool_choice — Especifica como as funções são chamadas. Se definido para none o modelo, não chamará uma função e, em vez disso, gerará uma mensagem. Se definido para auto o modelo, pode optar por gerar uma mensagem ou chamar uma função. Se definido para any o modelo é forçado a chamar uma função.

  • max_tokens — Especifique o número máximo de tokens a serem usados na resposta gerada. O modelo trunca a resposta quando o texto gerado excede max_tokens.

    Padrão Mínimo Máximo

    Mistral Large— 8.192

    1

    Mistral Large— 8.192

  • temperatura — Controla a aleatoriedade das previsões feitas pelo modelo. Para ter mais informações, consulte Influencie a geração de respostas com parâmetros de inferência.

    Padrão Mínimo Máximo

    Mistral Large— 0,7

    0

    1

  • top_p — Controla a diversidade de texto que o modelo gera definindo a porcentagem de candidatos mais prováveis que o modelo considera para o próximo token. Para ter mais informações, consulte Influencie a geração de respostas com parâmetros de inferência.

    Padrão Mínimo Máximo

    Mistral Large— 1

    0

    1

Response

A resposta body de uma chamada para InvokeModel é a seguinte:

{ "choices": [ { "index": 0, "message": { "role": "assistant", "content": str, "tool_calls": [...] }, "stop_reason": "stop"|"length"|"tool_calls" } ] }

A resposta do body tem os seguintes campos:

  • escolhas — A saída do modelo. campos.

    • index — O índice da mensagem.

    • mensagem — A mensagem do modelo.

      • função — A função da mensagem.

      • conteúdo — O conteúdo da mensagem.

      • tool_calls — Se o valor de stop_reason fortool_calls, esse campo contém uma lista de solicitações de ferramentas que o modelo deseja que você execute.

        • id — O ID da solicitação da ferramenta.

        • function — A função que o modelo está solicitando.

          • name — O nome da função.

          • argumentos — Os argumentos a serem passados para a ferramenta

        Veja a seguir um exemplo de solicitação de uma ferramenta que obtém a melhor música de uma estação de rádio.

        [ { "id": "v6RMMiRlT7ygYkT4uULjtg", "function": { "name": "top_song", "arguments": "{\"sign\": \"WZPZ\"}" } } ]
    • stop_reason — O motivo pelo qual a resposta parou de gerar texto. Os valores possíveis são:

      • interromper: o modelo terminou de gerar texto para o prompt de entrada. O modelo para porque não tem mais conteúdo para gerar ou se o modelo gera uma das sequências de parada que você define no parâmetro de stop solicitação.

      • comprimento — O tamanho dos tokens para o texto gerado excede o valor demax_tokens. A resposta é truncada em tokens max_tokens.

      • tool_calls — O modelo está solicitando que você execute uma ferramenta.