View a markdown version of this page

API Respons pada titik akhir mantel batuan dasar - Amazon Bedrock
Wilayah dan Titik Akhir yang DidukungPrasyaratModel APIAPI Tanggapan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

API Respons pada titik akhir mantel batuan dasar

Amazon Bedrock menyediakan API Tang OpenAI gapan pada titik akhir bedrock-runtime dan titik akhirbedrock-mantle. API memungkinkan Anda menggunakan OpenAI SDK dan alat yang sudah dikenal dengan model Amazon Bedrock, sehingga Anda dapat memigrasikan aplikasi yang ada dengan sedikit perubahan kode — cukup perbarui URL dasar dan kunci API Anda. Untuk aplikasi baru, kami merekomendasikan titik bedrock-runtime akhir.

Kedua titik akhir tidak memiliki dukungan fitur yang identik. Permintaan bedrock-runtime aktif selalu sinkron, alat sisi server tidak tersedia, dan hanya proyek default yang didukung. Untuk perbandingan lengkap, lihatTitik akhir didukung oleh Amazon Bedrock, dan untuk detail setiap perbedaan, lihatMenggunakan Responses API pada titik akhir runtime bedrock-.

penting

Saat menggunakan OpenAI SDK dengan Amazon Bedrock, Anda harus mengarahkannya ke titik akhir Amazon Bedrock, bukan titik akhir. OpenAI Tetapkan variabel lingkungan berikut, pilih URL dasar untuk titik akhir yang Anda inginkan:

# bedrock-runtime (recommended)
OPENAI_BASE_URL="https://bedrock-runtime.<your-region>.amazonaws.com/openai/v1"

# bedrock-mantle
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

OPENAI_API_KEY="<your Bedrock API key>"

Jangan gunakan kunci OpenAI API atau URL OpenAI dasar (https://api.openai.com/v1). Mereka terhubung OpenAI langsung, bukan ke Amazon Bedrock. Untuk membuat kunci API Amazon Bedrock, lihatKunci API.

Manfaat utama meliputi:

  • Inferensi asinkron — Dukungan untuk beban kerja inferensi yang berjalan lama melalui Responses API. Hanya tersedia. bedrock-mantle

  • Manajemen percakapan stateful - Secara otomatis membangun kembali konteks tanpa meneruskan riwayat percakapan secara manual dengan setiap permintaan

  • Penggunaan alat yang disederhanakan — Integrasi yang efisien untuk alur kerja agen

  • Mode respons fleksibel - Dukungan untuk respons streaming dan non-streaming

  • Migrasi mudah - Kompatibel dengan basis kode OpenAI SDK yang ada

Setiap titik akhir diatur oleh set kuotanya sendiri. Untuk lalu lintas Respons bedrock-runtime aktif, kuota token per menit dan token per hari model berlaku, dan mereka dibagikan dengan API inferensi lainnya di titik akhir tersebut — lihat. Kuota untuk titik akhir runtime dasar Untuk bedrock-mantle, lihat Kuota untuk titik akhir mantel dasar.

Wilayah dan Titik Akhir yang Didukung

Pada bedrock-runtime titik akhir, Responses API tersedia di Wilayah AWS setiap titik akhir tersedia, termasuk Wilayah AWS GovCloud (AS). Untuk daftar, lihatKetersediaan regional berdasarkan titik akhir. Model mana yang mendukung API pada setiap titik akhir tercantum diKetersediaan titik akhir berdasarkan model.

T bedrock-mantle itik akhir tersedia di Wil AWS ayah berikut:

Nama Wilayah Wilayah Titik akhir
AS Timur (Ohio) us-east-2 bedrock-mantle.us-east-2.api.aws
US East (Northern Virginia) us-east-1 bedrock-mantle.us-east-1.api.aws
AS Barat (Oregon) us-west-2 bedrock-mantle.us-west-2.api.aws
Asia Pasifik (Jakarta) ap-southeast-3 bantung-mantel.ap-selatan-3.api.aws
Asia Pasifik (Mumbai) ap-south-1 landasan-mantel.ap-selatan-1.api.aws
Asia Pasifik (Sydney) ap-southeast-2 bantung-mantel.ap-selatan-2.api.aws
Asia Pasifik (Tokyo) ap-northeast-1 landasan-mantel.ap-northeast-1.api.aws
Eropa (Frankfurt) eu-central-1 bedrock-mantle.eu-central-1.api.aws
Eropa (Irlandia) eu-west-1 bedrock-mantle.eu-west-1.api.aws
Eropa (London) eu-west-2 bedrock-mantle.eu-barat-2.api.aws
Europe (Milan) eu-south-1 bedrock-mantle.eu-selatan-1.api.aws
Eropa (Stockholm) eu-north-1 bedrock-mantle.eu-utara-1.api.aws
Amerika Selatan (Sao Paulo) sa-east-1 bedrock-mantle.sa-east-1.api.aws
AWS GovCloud (US-West) us-gov-west-1 bedrock-mantle.us-gov-west-1.api.aws

Prasyarat

Sebelum menggunakan OpenAI API, pastikan Anda memiliki yang berikut:

  • Otentikasi — Anda dapat mengotentikasi menggunakan:

    • Kunci API Amazon Bedrock (diperlukan untuk OpenAI SDK)

    • AWS kredenSIAL (didukung untuk permintaan HTTP)

  • OpenAISDK (opsional) - Instal OpenAI Python SDK jika menggunakan SDK-based permintaan.

  • Variabel lingkungan — Mengatur variabel lingkungan berikut:

    • OPENAI_API_KEY— Setel ke kunci API Amazon Bedrock Anda

    • OPENAI_BASE_URL— Setel ke titik akhir Amazon Bedrock untuk wilayah Anda (misalnya, https://bedrock-runtime.us-east-1.amazonaws.com/openai/v1 atauhttps://bedrock-mantle.us-east-1.api.aws/v1)

  • Iz in — Tindakan yang Anda butuhkan bergantung pada titik akhir. Aktifbedrock-mantle, inferensi mengi bedrock-mantle:CreateInference zinkan. Padabedrock-runtime, ia memberi otorisasi bedrock:InvokeModel pada target inferensi dan proyek default akun Anda, dan mengelola respons yang disimpan memberi otorisasibedrock:GetInvoke,bedrock:CancelInvoke, dan bedrock:DeleteInvoke pada proyek itu. Untuk contoh kebijakan, lihatPrasyarat untuk menjalankan inferensi model.

Model API

API Model memungkinkan Anda menemukan model yang tersedia di Amazon Bedrock yang didukung oleh Mantle. Gunakan API ini untuk mengambil daftar model yang dapat Anda gunakan dengan Responses API. Untuk detail API lengkap, lihat dokumentasi OpenAI Model.

Daftar model yang tersedia

Untuk membuat daftar model yang tersedia, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)
# List all available models using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

models = client.models.list()

for model in models.data:
    print(model.id)
HTTP request

Buat permintaan GET ke/v1/models:

# List all available models
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X GET $OPENAI_BASE_URL/models \
   -H "Authorization: Bearer $OPENAI_API_KEY"

API Tanggapan

Responses API menyediakan manajemen percakapan stateful dengan dukungan untuk streaming, pemrosesan latar belakang, dan interaksi multi-turn. Untuk detail API lengkap, lihat dokumentasi OpenAI Respons.

catatan

Tidak semua model mendukung Responses API. Untuk melihat model mana yang mendukung Responses API, lihatKompatibilitas API menurut model.

Bagaimana Responses API menyimpan status percakapan

Responses API dapat menggunakan status tersimpan untuk mengaktifkan percakapan multi-putaran dan memungkinkan Anda mereferensikan putaran sebelumnya melalui previous_response_id parameter. Penyimpanan diaktifkan secara default tetapi dapat dinonaktifkan per permintaan melalui store parameter. Tanggapan yang disimpan dicakup oleh Project. Tanggapan dari satu Proyek tidak dapat digunakan sebagai respons sebelumnya atau dibaca di Proyek kedua. Untuk informasi selengkapnya tentang Proyek, lihatProyek (OpenAI-compatible).

  • storeKapan true (default), Amazon Bedrock mempertahankan respons, termasuk input dan output, selama 30 hari. Selama jendela ini Anda dapat merangkai permintaan tindak lanjut dengan previous_response_id meneruskan dan mengambil respons dengan GET /v1/responses/{id} onbedrock-mantle, atau GET /openai/v1/responses/{id} onbedrock-runtime. Setelah 30 hari, respons dihapus secara otomatis dan tidak lagi dapat diambil kembali.

  • storeKapan yafalse, Amazon Bedrock tidak menyimpan data apa pun dari permintaan atau tanggapan. previous_response_idParameter tidak dapat digunakan untuk melanjutkan percakapan.

Nilai defaultnya adalah true untuk mencocokkan spesifikasi OpenAI Responses API. Pelanggan yang tidak ingin Amazon Bedrock menyimpan data percakapan harus secara eksplisit store mengatur false pada setiap permintaan, atau mengatur mode retensi data akun kenone, yang menolak secara eksplisit secara langsungstore=true. Untuk informasi selengkapnya, lihat Retensi data.

Data yang disimpan dienkripsi saat diam dan dicakup ke sumber daya Proyek AWS akun pemanggil. Data disimpan semata-mata untuk melayani permintaan Anda dan tidak digunakan atau disimpan untuk tujuan lain. Padabedrock-mantle, itu disimpan Wilayah AWS dalam permintaan dikirim ke. Padabedrock-runtime, permintaan yang menggunakan inferensi lintas wilayah dapat diproses di yang lain Wilayah AWS, dan respons disimpan di Wilayah yang memprosesnya — sehingga permintaan yang menggunakan profil inferensi global dapat menyimpan data di Wilayah komersial mana pun yang dirujuk profil. Jika Anda memiliki persyaratan residensi data, gunakan profil inferensi geografis daripada profil global.

Permintaan dasar

Untuk membuat respons, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)
# Create a basic response using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
)

print(response)
HTTP request

Buat permintaan POST ke/v1/responses:

# Create a basic response
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
}'

Streaming tanggapan

Untuk menerima peristiwa respons secara bertahap, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)
# Stream response events incrementally using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

stream = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[{"role": "user", "content": "Tell me a story"}],
    stream=True
)

for event in stream:
    print(event)
HTTP request

Buat permintaan POST /v1/responses dengan diset stream el ketrue:

# Stream response events incrementally
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Tell me a story"}
    ],
    "stream": true
}'

Menggunakan Responses API pada titik akhir runtime bedrock-

Responses API bedrock-runtime menggunakan format permintaan dan respons yang sama seperti padabedrock-mantle, sehingga OpenAI SDK bekerja melawan salah satu. Yang berubah adalah URL dasar, ID model, izin, dan sejumlah kecil perilaku yang dijelaskan di bagian ini.

URL dasar dan jalur

Setel URL dasar Anda kehttps://bedrock-runtime.region.amazonaws.com/openai/v1. API disajikan pada jalur berikut:

  • POST /openai/v1/responsesBuat respon.

  • GET /openai/v1/responses/{id}— mengambil respons yang tersimpan.

  • POST /openai/v1/responses/{id}/cancel— membatalkan respons yang masih dalam proses.

  • DELETE /openai/v1/responses/{id}— menghapus respons yang tersimpan.

ID Model

Beri nama profil inferensi lintas wilayah sebagai model, bukan ID model dasar. Model OpenAI GPT menggunakan global. profil us. dan di Wilayah komersial dan us-gov. profil di Wilayah AWS GovCloud (AS) - misalnya,us.openai.gpt-5.6-sol. In-Region inferensi tidak tersedia untuk model ini pada titik akhir ini. Untuk ID profil setiap model, lihat kartu modelnya diSekilas tentang model, dan untuk cara kerja routing, lihatRute permintaan inferensi model lintas Wilayah AWS dengan inferensi lintas wilayah.

Izin

Membuat respons mengotorisasi dua sumber daya: bedrock:InvokeModel (ataubedrock:InvokeModelWithResponseStream) pada target inferensi, seperti permintaan inferensi apa pun, dan bedrock:InvokeModel pada proyek default akun Anda. Mengambil, membatalkan, dan menghapus respons tersimpan otorisasibedrock:GetInvoke,bedrock:CancelInvoke, dan bedrock:DeleteInvoke masing-masing, masing-masing pada proyek. ID respons individu bukan sumber daya IAM.

Dua kunci kondisi memungkinkan kebijakan pada salah satu sumber daya membatasi yang lain. Otorisasi target kesimpulan membawabedrock:ProjectArn, dan otorisasi proyek membawabedrock:ModelArn, dinilai berdasarkan profil inferensi atau model dasar yang dinamai permintaan Anda — bukan model tujuan yang dirujuk oleh profil Lintas wilayah. Untuk contoh kebijakan, lihatPrasyarat untuk menjalankan inferensi model.

Perbedaan perilaku

  • Permintaan selalu sinkron. background=trueditolak dengan kesalahan 400. storeParameter tidak terpengaruh dan mempertahankan defaultnyatrue, sehingga percakapan multi-putaran yang disimpan berfungsi secara normal.

  • modeldiperlukan pada setiap permintaan, termasuk yang memasokprevious_response_id. Ini berbeda dari spesifikasi OpenAI Responses API dan daribedrock-mantle, di mana model dapat dihilangkan dan diwarisi dari respons sebelumnya. Model adalah bagian dari apa yang diotorisasi permintaan, sehingga harus disebutkan dalam permintaan itu sendiri.

  • Server-side penggunaan alat dan alat pra-konfigurasi tidak tersedia, termasuk pencarian Penelusuran Web web. Client-side penggunaan alat bekerja pada kedua titik akhir.

  • Hanya proyek default yang didukung. OpenAI-ProjectHeader hanya diterima sebagai default atau sebagai proyek default ARN Anda sendiri; nilai lainnya ditolak. Lihat Proyek (OpenAI-compatible).

  • Profil inferensi aplikasi tidak didukung. Permintaan yang menyebutkan satu sebagai target inferensinya ditolak dengan kesalahan 400. Profil inferensi sistem, geografis, dan global bekerja secara normal.

  • Guardrails tidak berlaku untuk Responses API. Untuk menerapkan pagar pembatas ke model GPT pada titik akhir ini, panggil API Converse sebagai gantinya.

  • Respons yang tersimpan adalah milik Wilayah AWS yang melayaninya. Mengambil, membatalkan, atau menghapusnya, dan melanjutkan percakapan denganprevious_response_id, semuanya ditangani oleh Wilayah tersebut. ID respons yang tidak dapat ditemukan — karena tidak pernah ada, milik akun lain, atau tidak pernah disimpan — mengembalikan kesalahan 404 yang sama di setiap kasus.

Pemantauan dan biaya

Karena setiap permintaan sinkron, CloudWatch metrik dan pencatatan pemanggilan model berfungsi untuk Responses API dengan cara yang sama seperti untuk API inferensi lainnya di titik akhir ini, termasuk untuk permintaan streaming. Penggunaan dikaitkan dengan target inferensi, persis seperti untuk Converse dan InvokeModel — proyek default tidak pernah menjadi jangkar penagihan. Lihat Lacak penggunaan dan biaya di Amazon Bedrock.