Modelos Jurassic-2 da AI21 Labs - Amazon Bedrock
Parâmetros de inferênciaExemplo de código

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Modelos Jurassic-2 da AI21 Labs

Esta seção fornece os parâmetros de inferência e um exemplo de código para usar os modelos AI21 Labs Jurassic-2 da AI21 Labs.

Parâmetros de inferência

Os modelos Jurassic-2 da AI21 Labs são compatíveis com os parâmetros de inferência a seguir.

Aleatoriedade e diversidade

Os modelos Jurassic-2 da AI21 Labs são compatíveis com os parâmetros a seguir para controlar a aleatoriedade e a diversidade na resposta.

  • Temperatura (temperature): use um valor menor para reduzir a aleatoriedade na resposta.

  • Top P (topP): use um valor menor para ignorar opções menos prováveis.

Tamanho

Os modelos Jurassic-2 da AI21 Labs são compatíveis com os parâmetros a seguir para controlar o tamanho da resposta gerada.

  • Duração máximo de conclusão (maxTokens): especifique o número máximo de tokens a serem usados na resposta gerada.

  • Sequências de parada (stopSequences): configure as sequências de parada que o modelo reconhece e após as quais ele para de gerar mais tokens. Pressione a tecla Enter para inserir um caractere de nova linha em uma sequência de parada. Use a tecla Tab para finalizar a inserção de uma sequência de parada.

Repetições

Os modelos Jurassic-2 da AI21 Labs são compatíveis com os parâmetros a seguir para controlar a repetição na resposta gerada.

  • Penalidade de presença (presencePenalty): use um valor maior para reduzir a probabilidade de gerar novos tokens que já apareçam pelo menos uma vez no prompt ou na conclusão.

  • Penalidade de contagem (countPenalty): use um valor maior para diminuir a probabilidade de gerar novos tokens que já aparecem pelo menos uma vez no prompt ou na conclusão. Proporcional ao número de aparições.

  • Penalidade de frequência (frequencyPenalty): use um valor alto para diminuir a probabilidade de gerar novos tokens que já apareçam pelo menos uma vez no prompt ou na conclusão. O valor é proporcional à frequência das aparições do token (normalizado para o tamanho do texto).

  • Penalize tokens especiais: reduza a probabilidade de repetição de caracteres especiais. Os valores padrão são true.

    • Espaços em branco (applyToWhitespaces): um valor true aplica a penalidade a espaços em branco e novas linhas.

    • Pontuações (applyToPunctuation): um valor true aplica a penalidade à pontuação.

    • Números (applyToNumbers): um valor true aplica a penalidade aos números.

    • Palavras de interrupção (applyToStopwords): um valor true aplica a penalidade às palavras de interrupção.

    • Emojis (applyToEmojis): um valor true exclui emojis da penalidade.

Campo do corpo da solicitação de invocação do modelo

Ao fazer uma chamada InvokeModel ou InvokeModelWithResponseStream usando um modelo da AI21 Labs, preencha o campo body com um objeto JSON que esteja em conformidade com o modelo a seguir. Insira o prompt no campo prompt.

{
    "prompt": string,
    "temperature": float,
    "topP": float,
    "maxTokens": int,
    "stopSequences": [string],
    "countPenalty": {
        "scale": float
    },
    "presencePenalty": {
        "scale": float
    },
    "frequencyPenalty": {
        "scale": float
    }
}

Para penalizar tokens especiais, adicione esses campos a qualquer um dos objetos de penalidade. Por exemplo, você pode modificar o campo countPenalty da seguinte maneira.

"countPenalty": {
    "scale": float,
    "applyToWhitespaces": boolean,
    "applyToPunctuations": boolean,
    "applyToNumbers": boolean,
    "applyToStopwords": boolean,
    "applyToEmojis": boolean
}

A tabela a seguir mostra os valores mínimo, máximo e padrão para os parâmetros numéricos.

Categoria Parâmetro Formato do objeto JSON Mínimo Máximo Padrão
Aleatoriedade e diversidade Temperatura temperature 0 1 0,5
Top P topP 0 1 0,5
Tamanho Número máximo de tokens (modelos médio, ultra e grande) maxTokens 0 8.191 200
Máx. de tokens (outros modelos) 0 2.048 200
Repetições Penalidade de presença presencePenalty 0 5 0
Penalidade de contagem countPenalty 0 1 0
Penalidade de frequência frequencyPenalty 0 500 0

Campo do corpo da resposta de invocação do modelo

Para obter informações sobre o formato do campo body na resposta, consulte https://docs.ai21.com/reference/j2-complete-ref.

nota

O Amazon Bedrock retorna o identificador de resposta (id) como um valor inteiro.

Exemplo de código

Este exemplo mostra como chamar o modelo A2I Jurassic-2 Mid da AI21 Labs.

import boto3
import json

brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "Translate to spanish: 'Amazon Bedrock is the easiest way to build and scale generative AI applications with base models (FMs)'.", 
    "maxTokens": 200,
    "temperature": 0.5,
    "topP": 0.5
})

modelId = 'ai21.j2-mid-v1'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(
    body=body, 
    modelId=modelId, 
    accept=accept, 
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

# text
print(response_body.get('completions')[0].get('data').get('text'))