Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Gestión de plantillas de chat y tokenizadores personalizados

Las plantillas de chat personalizadas y los tokenizadores son componentes esenciales para formatear correctamente las entradas conversacionales y gestionar la generación de tokens en los modelos importados. La importación de modelos personalizados permite importar modelos con plantillas de chat personalizadas que definen cómo se estructuran y tokenizan las conversaciones de varios turnos.

Importación de modelos con plantillas de chat personalizadas

Al importar un modelo con plantillas de chat personalizadas, asegúrese de seguir las prácticas recomendadas que se describen en la documentación principal sobre la importación de modelos personalizados, como introducir los pesos de los modelos en un formato de tensores seguro y proporcionar todos los archivos de configuración necesarios.

Requisitos de formato de las plantillas de chat

Si su modelo usa una plantilla de chat personalizada y usted quiere usar esa plantilla con Amazon Bedrock, debe incluir el archivo de la plantilla de chat en uno de los siguientes formatos:

Custom Model Import procesará automáticamente estos archivos y los incluirá en los directorios correctos durante el proceso de importación.

Prioridad de las plantillas de chat

Si proporciona varias fuentes de plantillas de chat, Amazon Bedrock aplica las siguientes reglas de prioridad:

Ejemplos de formatos de plantillas de chat

Estos son algunos ejemplos de los dos formatos de plantillas de chat compatibles:

Jinja Format (chat_template.jinja)

Un ejemplo simplificado de una plantilla de Jinja2-based chat:

{% for message in messages %}
{% if loop.first and message['role'] != 'system' %}
<|im_start|>system
You are a helpful assistant.<|im_end|>
{% endif %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}
{% if add_generation_prompt %}
<|im_start|>assistant
{% endif %}

Para ver un ejemplo completo, consulta la plantilla de GPT-OSS chat en Hugging Face.

JSON Format (chat_template.json)

Un ejemplo simplificado de una plantilla de JSON-based chat con soporte visual:

{
    "chat_template": "{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n{% endif %}<|im_start|>{{ message['role'] }}\n{% if message['content'] is string %}{{ message['content'] }}<|im_end|>\n{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' %}<|vision_start|><|image_pad|><|vision_end|>{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}"
}

Para ver un ejemplo completo con soporte multimodal, consulta la plantilla de Qwen2-VL chat en Hugging Face.

Invocar modelos con plantillas de chat personalizadas

Una vez que haya importado un modelo con una plantilla de chat personalizada, tiene dos opciones para invocar el modelo con entradas de conversación con el formato correcto:

Uso de la API OpenAI con Messages ChatCompletion

Si estás proporcionando entradas en el formato del esquema de mensajes, debes usar la API de OpenAI ChatCompletion . Cuando utilice este formato de API con un modelo que tenga una plantilla de chat cargada (chat_template.jinjaochat_template.json), Amazon Bedrock convertirá automáticamente los mensajes introducidos al formato correcto mediante la plantilla de chat.

Este es el enfoque recomendado, ya que proporciona la integración más fluida y permite a Amazon Bedrock gestionar la aplicación de la plantilla de chat de forma automática.

Ejemplo: uso de la ChatCompletion API OpenAI con una plantilla de chat personalizada

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model with custom chat template
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Prepare the request payload using messages format
payload = {
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello, how are you?"
        }
    ],
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

En este ejemplo, Amazon Bedrock aplicará automáticamente su plantilla de chat personalizada a la matriz de mensajes y la convertirá al formato adecuado para su modelo.

Enfoque de tokenización manual

Como alternativa, si prefieres tener el control total sobre la aplicación de la plantilla de chat y el proceso de tokenización, puedes aplicar manualmente la plantilla de chat a tu conversación y, a continuación, usar la API de finalización (no ChatCompletion) con el texto preformateado.

Este enfoque es útil cuando necesitas personalizar la lógica de la aplicación de la plantilla o cuando trabajas con requisitos de tokenización especializados.

Paso 1: Aplica la plantilla de chat localmente

Usa el siguiente fragmento de código para cargar tu plantilla de chat personalizada y aplicarla a una conversación de forma local:

from transformers import AutoTokenizer

# Configuration paths - update these with your actual paths
TOKENIZER_PATH = ""  # Path to tokenizer directory

# Load tokenizer with updated chat template
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH)

# Test chat template with sample conversation
chat_history = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello, how are you?"},
]

# Apply chat template and display formatted output to make sure chat template works as expected
formatted_chat = tokenizer.apply_chat_template(chat_history, tokenize=False)
print(formatted_chat)

Este código muestra cómo:

Paso 2: Invocar con la API de finalización

Después de aplicar la plantilla de chat localmente, usa el texto formateado con la API de finalización:

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Use the formatted_chat output from Step 1 as the prompt
payload = {
    "prompt": formatted_chat,
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model using Completion format (not ChatCompletion)
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

Prácticas recomendadas