Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Gestion des modèles de chat personnalisés et des tokeniseurs

Les modèles de chat personnalisés et les tokeniseurs sont des composants essentiels pour formater correctement les entrées conversationnelles et gérer la génération de jetons dans vos modèles importés. L'importation de modèles personnalisés permet d'importer des modèles avec des modèles de discussion personnalisés qui définissent la manière dont les conversations à plusieurs tours sont structurées et symbolisées.

Importer des modèles avec des modèles de chat personnalisés

Lorsque vous importez un modèle avec des modèles de chat personnalisés, assurez-vous de suivre les meilleures pratiques décrites dans la documentation principale sur l'importation de modèles personnalisés, notamment en introduisant les pondérations des modèles dans un format de tenseurs sécurisé et en fournissant tous les fichiers de configuration nécessaires.

Exigences relatives au format du modèle de chat

Si votre modèle utilise un modèle de chat personnalisé et que vous souhaitez utiliser ce modèle avec Amazon Bedrock, vous devez inclure le fichier du modèle de chat dans l'un des formats suivants :

L'importation de modèles personnalisés traitera automatiquement ces fichiers et les inclura dans les répertoires appropriés pendant le processus d'importation.

Priorité des modèles de chat

Si vous fournissez plusieurs sources de modèles de chat, Amazon Bedrock applique les règles de priorité suivantes :

Exemples de formats de modèles de chat

Voici des exemples des deux formats de modèles de chat pris en charge :

Jinja Format (chat_template.jinja)

Exemple simplifié de modèle de Jinja2-based chat :

{% for message in messages %}
{% if loop.first and message['role'] != 'system' %}
<|im_start|>system
You are a helpful assistant.<|im_end|>
{% endif %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}
{% if add_generation_prompt %}
<|im_start|>assistant
{% endif %}

Pour un exemple complet, consultez le modèle de GPT-OSS chat sur Hugging Face.

JSON Format (chat_template.json)

Voici un exemple simplifié de modèle de JSON-based chat avec vision support :

{
    "chat_template": "{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n{% endif %}<|im_start|>{{ message['role'] }}\n{% if message['content'] is string %}{{ message['content'] }}<|im_end|>\n{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' %}<|vision_start|><|image_pad|><|vision_end|>{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}"
}

Pour un exemple complet de support multimodal, consultez le modèle de Qwen2-VL chat sur Hugging Face.

Invoquer des modèles avec des modèles de chat personnalisés

Une fois que vous avez importé un modèle avec un modèle de chat personnalisé, deux options s'offrent à vous pour invoquer le modèle avec des entrées conversationnelles correctement formatées :

Utilisation de l' ChatCompletion API OpenAI avec des messages

Si vous fournissez des entrées au format de schéma de messages, vous devez utiliser l' ChatCompletion API OpenAI. Lorsque vous utilisez ce format d'API avec un modèle pour lequel un modèle de chat a été chargé (chat_template.jinjaouchat_template.json), Amazon Bedrock convertit automatiquement vos messages d'entrée dans le format approprié à l'aide du modèle de chat.

Il s'agit de l'approche recommandée car elle fournit l'intégration la plus fluide possible et permet à Amazon Bedrock de gérer automatiquement l'application de modèle de chat.

Exemple : utilisation de l' ChatCompletion API OpenAI avec un modèle de chat personnalisé

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model with custom chat template
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Prepare the request payload using messages format
payload = {
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello, how are you?"
        }
    ],
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

Dans cet exemple, Amazon Bedrock appliquera automatiquement votre modèle de chat personnalisé au tableau de messages, le convertissant dans le format approprié à votre modèle.

Approche de tokenisation manuelle

Sinon, si vous préférez avoir un contrôle total sur l'application du modèle de chat et le processus de tokenisation, vous pouvez appliquer manuellement le modèle de chat à votre conversation, puis utiliser l'API de complétion (non ChatCompletion) avec le texte préformaté.

Cette approche est utile lorsque vous devez personnaliser la logique de l'application modèle ou lorsque vous devez répondre à des exigences spécifiques en matière de tokenisation.

Étape 1 : appliquer le modèle de chat localement

Utilisez l'extrait de code suivant pour charger votre modèle de chat personnalisé et l'appliquer à une conversation en local :

from transformers import AutoTokenizer

# Configuration paths - update these with your actual paths
TOKENIZER_PATH = ""  # Path to tokenizer directory

# Load tokenizer with updated chat template
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH)

# Test chat template with sample conversation
chat_history = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello, how are you?"},
]

# Apply chat template and display formatted output to make sure chat template works as expected
formatted_chat = tokenizer.apply_chat_template(chat_history, tokenize=False)
print(formatted_chat)

Ce code montre comment :

Étape 2 : Invoquer avec l'API de complétion

Après avoir appliqué le modèle de chat localement, utilisez le texte mis en forme avec l'API Completion :

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Use the formatted_chat output from Step 1 as the prompt
payload = {
    "prompt": formatted_chat,
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model using Completion format (not ChatCompletion)
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

Bonnes pratiques