Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Anthropic Claude Textes complétés API
Cette section fournit des paramètres d'inférence et des exemples de code pour l'utilisation Anthropic Claude modèles avec les complétions de texte. API
Anthropic Claude Vue d'ensemble des textes complétés API
Utilisez la fonction de saisie de texte API pour générer du texte en un tour à partir d'une invite fournie par l'utilisateur. Par exemple, vous pouvez utiliser la saisie de texte API pour générer du texte pour un article de blog ou pour résumer le texte saisi par un utilisateur.
Pour plus d'informations sur la création d'invites pour Anthropic Claude modèles, voir Introduction à la conception rapide. Si vous souhaitez utiliser vos instructions de complétion de texte existantes avec leAnthropic Claude Messages API, voir Migration à partir de complétions de texte.
Modèles pris en charge
Vous pouvez utiliser les complétions de texte API avec les éléments suivants Anthropic Claude modèles.
Demande et réponse
Le corps de la demande est transmis dans le body champ d'une demande à InvokeModelou InvokeModelWithResponseStream.
Pour plus d'informations, consultez https://docs.anthropic.com/claude/reference/complete_post dans le Anthropic Claude .
- Request
-
Anthropic Claude possède les paramètres d'inférence suivants pour un appel d'inférence de complétion de texte.
{
"prompt": "\n\nHuman:<prompt>\n\nAssistant:",
"temperature": float,
"top_p": float,
"top_k": int,
"max_tokens_to_sample": int,
"stop_sequences": [string]
}
Les paramètres suivants sont obligatoires.
-
prompt — (Obligatoire) L'invite que vous voulez que Claude remplisse. Pour générer correctement les réponses, vous devez formater votre message en utilisant des virages alternés \n\nHuman: et \n\nAssistant: conversationnels. Par exemple :
"\n\nHuman: {userQuestion}\n\nAssistant:"
Pour plus d'informations, consultez la section Validation rapide dans le Anthropic Claude .
-
max_tokens_to_sample — (Obligatoire) Le nombre maximum de jetons à générer avant l'arrêt. Nous recommandons une limite de 4 000 jetons pour des performances optimales.
Notez que Anthropic Claude les modèles peuvent arrêter de générer des jetons avant d'atteindre la valeur demax_tokens_to_sample. Différent Anthropic Claude les modèles ont des valeurs maximales différentes pour ce paramètre. Pour plus d'informations, consultez la section Comparaison des modèles dans le Anthropic Claude .
| Par défaut |
Minimum |
Maximum |
|
200
|
0
|
4096
|
Les paramètres suivants sont facultatifs.
-
stop_sequences — (Facultatif) Séquences qui empêcheront la génération du modèle.
Anthropic Claude les modèles s'"\n\nHuman:"arrêtent et peuvent inclure des séquences d'arrêt intégrées supplémentaires à l'avenir. Utilisez le paramètre stop_sequences d'inférence pour inclure des chaînes supplémentaires qui signaleront au modèle d'arrêter de générer du texte.
-
température — (Facultatif) La quantité de caractère aléatoire injectée dans la réponse. Utilisez une valeur plus proche de 0 pour les tâches analytiques/à choix multiples, et une valeur plus proche de 1 pour les tâches créatives et génératives.
| Par défaut |
Minimum |
Maximum |
|
1
|
0
|
1
|
-
top_p — (Facultatif) Utilisez l'échantillonnage du noyau.
Lors de l'échantillonnage du noyau, Anthropic Claude calcule la distribution cumulée de toutes les options pour chaque jeton suivant dans l'ordre décroissant de probabilité et la coupe une fois qu'il atteint une probabilité particulière spécifiée partop_p. Vous devez modifier l'un temperature ou l'autretop_p, mais pas les deux.
| Par défaut |
Minimum |
Maximum |
|
1
|
0
|
1
|
-
top_k — (Facultatif) Échantillonnez uniquement les K meilleures options pour chaque jeton suivant.
top_kÀ utiliser pour supprimer les réponses à faible probabilité à longue queue.
| Par défaut |
Minimum |
Maximum |
|
250
|
0
|
500
|
- Response
-
Le Anthropic Claude le modèle renvoie les champs suivants pour un appel d'inférence de complétion de texte.
{
"completion": string,
"stop_reason": string,
"stop": string
}
-
complétion — La complétion résultante jusqu'aux séquences d'arrêt et à l'exclusion de celles-ci.
-
stop_reason — La raison pour laquelle le modèle a cessé de générer la réponse.
-
« stop_sequence » — Le modèle a atteint une séquence d'arrêt, soit fournie par vous avec le paramètre d'stop_sequencesinférence, soit une séquence d'arrêt intégrée au modèle.
-
« max_tokens » — Le modèle a dépassé max_tokens_to_sample le nombre maximum de jetons du modèle.
-
stop — Si vous spécifiez le paramètre stop_sequences d'inférence, il stop contient la séquence d'arrêt qui a indiqué au modèle d'arrêter de générer du texte. Par exemple, holes dans la réponse suivante.
{
"completion": " Here is a simple explanation of black ",
"stop_reason": "stop_sequence",
"stop": "holes"
}
Si vous ne le spécifiez passtop_sequences, la valeur pour stop est vide.
Exemple de code
Ces exemples montrent comment appeler Anthropic Claude Modèle V2 avec débit à la demande. Pour utiliser Anthropic Claude version 2.1, modifiez la valeur de modelId enanthropic.claude-v2:1.
import boto3
import json
brt = boto3.client(service_name='bedrock-runtime')
body = json.dumps({
"prompt": "\n\nHuman: explain black holes to 8th graders\n\nAssistant:",
"max_tokens_to_sample": 300,
"temperature": 0.1,
"top_p": 0.9,
})
modelId = 'anthropic.claude-v2'
accept = 'application/json'
contentType = 'application/json'
response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType)
response_body = json.loads(response.get('body').read())
# text
print(response_body.get('completion'))
L'exemple suivant montre comment générer du texte en streaming avec Python à l'aide de l'invite write an essay for living on mars in 1000
words et le modèle Anthropic Claude V2 :
import boto3
import json
brt = boto3.client(service_name='bedrock-runtime')
body = json.dumps({
'prompt': '\n\nHuman: write an essay for living on mars in 1000 words\n\nAssistant:',
'max_tokens_to_sample': 4000
})
response = brt.invoke_model_with_response_stream(
modelId='anthropic.claude-v2',
body=body
)
stream = response.get('body')
if stream:
for event in stream:
chunk = event.get('chunk')
if chunk:
print(json.loads(chunk.get('bytes').decode()))
