Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Inferensi menggunakan Anthropic Messages API
Anthropic Messages API menyediakan akses asli ke model Claude menggunakan format permintaan dan respons Anthropic. Anda dapat menggunakan Messages API pada bedrock-mantle titik akhir bedrock-runtime dan. Untuk aplikasi baru, kami merekomendasikan titik bedrock-runtime akhir.
| Titik akhir |
URL Dasar |
Kasus penggunaan |
bedrock-runtime |
https://bedrock-runtime.{region}.amazonaws.com/anthropic |
Direkomendasikan untuk aplikasi baru. Menggunakan integrasi AWS SDK, otentikasi IAM, dan logging pemanggilan. |
bedrock-mantle |
https://bedrock-mantle.{region}.api.aws/anthropic/v1/messages |
Mendukung otentikasi kunci API Amazon Bedrock danRuang kerja () Anthropic-compatible. |
Wilayah yang Didukung
API Pesan tersedia di bedrock-runtime titik akhir di semua Wilayah tempat model Claude tersedia. Lihat Ketersediaan regional berdasarkan model untuk detail. Pada titik bedrock-mantle akhir, tersedia di semua Wilayah yang mendukung bedrock-mantle (lihatWilayah dan Titik Akhir yang Didukung).
Prasyarat
Sebelum menggunakan Messages API, pastikan Anda memiliki yang berikut:
-
Akses model — Minta akses ke model Claude di konsol Amazon Bedrock. Lihat Minta akses ke model.
-
Otentikasi — Tergantung pada titik akhir:
-
bedrock-runtime— Gunakan kreden AWS SIAL SIGv4 melalui AWS SDK (boto3, dll.), kunci API Amazon Bedrock (lihatKunci API), atau token pembawa Bedrock jangka pendek yang dihasilkan dari AWS kredenSIAL dengan pustaka aws-bedrock-token-generator. https://pypi.org/project/aws-bedrock-token-generator/
-
bedrock-mantle— Gunakan kunci API Amazon Bedrock (lihatKunci API) atau kredenSIAL AWS SIGv4.
-
Header versi antropik - Semua permintaan memerlukan versi API:
-
bedrock-runtime: Tetapkan "anthropic_version": "bedrock-2023-05-31" di badan permintaan saat meneleponInvokeModel. AnthropicSDK menambahkan header yang diperlukan secara otomatis saat menggunakanbase_url=https://bedrock-runtime.{region}.amazonaws.com/anthropic.
-
bedrock-mantle: Tetapkan anthropic-version: 2023-06-01 sebagai header HTTP.
Permintaan dasar
Untuk mengirim pesan dasar ke model Claude, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
- bedrock-runtime (Python, Antropik SDK)
-
Gunakan Anthropic SDK terhadap /anthropic rute bedrock-runtime titik akhir dengan token pembawa Bedrock jangka pendek yang dihasilkan oleh aws-bedrock-token-generator:
from anthropic import Anthropic
from aws_bedrock_token_generator import provide_token
token = provide_token(region="us-east-1")
client = Anthropic(
base_url="https://bedrock-runtime.us-east-1.amazonaws.com/anthropic",
api_key=token,
)
response = client.messages.create(
model="global.anthropic.claude-sonnet-5",
max_tokens=1024,
messages=[
{"role": "user", "content": "Explain quantum computing in one sentence."}
]
)
print(response.content[0].text)
- bedrock-runtime (Python, boto3)
-
import boto3
import json
client = boto3.client("bedrock-runtime", region_name="us-east-1")
response = client.invoke_model(
modelId="anthropic.claude-sonnet-5",
body=json.dumps({
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "Explain quantum computing in one sentence."}
]
})
)
result = json.loads(response["body"].read())
print(result["content"][0]["text"])
- bedrock-runtime (AWS CLI)
-
Gunakan AWS CLI untuk memanggil model:
aws bedrock-runtime invoke-model \
--model-id anthropic.claude-sonnet-5 \
--body '{
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "Explain quantum computing in one sentence."}
]
}' \
--cli-binary-format raw-in-base64-out \
output.json
- bedrock-runtime (curl)
-
Anda dapat menelep bedrock-runtime on langsung dengan curl dengan menandatangani permintaan dengan AWS SIGv4. Contoh di bawah ini menggunakan --aws-sigv4 flag built-in curl (tersedia di curl 7.75.0 dan yang lebih baru):
curl -X POST \
"https://bedrock-runtime.us-east-1.amazonaws.com/model/anthropic.claude-sonnet-5/invoke" \
-H "Content-Type: application/json" \
--aws-sigv4 "aws:amz:us-east-1:bedrock" \
--user "$AWS_ACCESS_KEY_ID:$AWS_SECRET_ACCESS_KEY" \
-d '{
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "Explain quantum computing in one sentence."}
]
}'
Jika Anda menggunakan kredenSIAL sementara dari AWS STS (misalnya, peran yang diasumsikan), berikan juga token sesi -H "X-Amz-Security-Token: $AWS_SESSION_TOKEN" dengan menambahkan permintaan. Untuk sebagian besar kasus penggunaan, kami merekomendasikan AWS SDK atau CLI, yang menangani penandatanganan permintaan dan penyegaran kredensi secara otomatis.
- bedrock-runtime (curl, API key)
-
Anda juga dapat men bedrock-runtime elepon dengan kunci API Amazon Bedrock menggunakan Anthropic-native /anthropic/v1/messages rute, seperti: bedrock-mantle
curl -X POST https://bedrock-runtime.us-east-1.amazonaws.com/anthropic/v1/messages \
-H "x-api-key: $AWS_BEARER_TOKEN_BEDROCK" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "us.anthropic.claude-sonnet-5",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "Explain quantum computing in one sentence."}
]
}'
- bedrock-mantle (curl)
-
curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages \
-H "x-api-key: $BEDROCK_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "anthropic.claude-sonnet-5",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "Explain quantum computing in one sentence."}
]
}'
Streaming tanggapan
Untuk menerima token respons secara bertahap saat dibuat, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
- bedrock-runtime (Python, Antropik SDK)
-
from anthropic import Anthropic
from aws_bedrock_token_generator import provide_token
token = provide_token(region="us-east-1")
client = Anthropic(
base_url="https://bedrock-runtime.us-east-1.amazonaws.com/anthropic",
api_key=token,
)
with client.messages.stream(
model="global.anthropic.claude-sonnet-5",
max_tokens=1024,
messages=[
{"role": "user", "content": "Write a short poem about cloud computing."}
],
) as stream:
for text in stream.text_stream:
print(text, end="", flush=True)
- bedrock-runtime (Python, boto3)
-
import boto3
import json
client = boto3.client("bedrock-runtime", region_name="us-east-1")
response = client.invoke_model_with_response_stream(
modelId="anthropic.claude-sonnet-5",
body=json.dumps({
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "Write a short poem about cloud computing."}
]
})
)
for event in response["body"]:
chunk = json.loads(event["chunk"]["bytes"])
if chunk["type"] == "content_block_delta":
print(chunk["delta"]["text"], end="")
- bedrock-runtime (curl, API key)
-
curl -X POST https://bedrock-runtime.us-east-1.amazonaws.com/anthropic/v1/messages \
-H "x-api-key: $AWS_BEARER_TOKEN_BEDROCK" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "us.anthropic.claude-sonnet-5",
"max_tokens": 1024,
"stream": true,
"messages": [
{"role": "user", "content": "Write a short poem about cloud computing."}
]
}'
- bedrock-mantle (curl)
-
curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages \
-H "x-api-key: $BEDROCK_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "anthropic.claude-sonnet-5",
"max_tokens": 1024,
"stream": true,
"messages": [
{"role": "user", "content": "Write a short poem about cloud computing."}
]
}'
Fitur yang didukung
Selain bagian Pemikiran yang diperluas, pemikiran adaptif, keluaran terstruktur , pemadatan, kredit Fallback untuk permintaan yang ditolak (beta), dan pesan Mid-conversation sistem di atas, Messages API mendukung fitur-fitur berikut dengan model Claude:
-
Perintah sistem — Mengatur perilaku model dengan system parameter.
-
Multi-turn percakapan — Lewati bergantian user dan assistant pesan.
-
Penggunaan alat — Tentukan alat yang dapat dipanggil model. Lihat Menggunakan alat untuk menyelesaikan respons model Amazon Bedrock.
-
V isi — Kirim gambar dalam content array bersama teks.
-
Caching cepat — Cache sering digunakan konteks untuk mengurangi latensi dan biaya.
Untuk referensi kolom permintaan dan respons Messages API lengkap, lihatPermintaan dan Tanggapan.
Hitung token
Untuk menghitung jumlah token input yang akan dikonsumsi permintaan sebelum mengirimnya untuk inferensi, gunakan count_tokens jalur Anthropic pada titik akhirbedrock-mantle. Ini adalah satu-satunya jalur penghitungan token yang didukung untuk model Claude yang tidak tersedia bedrock-runtime dengan Region-specific titik akhir, termasuk model Claude yang diluncurkan dengan inferensi lintas wilayah (CRIS) saja. Untuk detail dan contoh, lihat Hitung token menggunakan titik akhir mantel batuan dasar.
