本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
Amazon Nova Sonic 模型透過雙向音訊串流提供即時的對話式互動。Amazon Nova Sonic 會在即時語音發生時處理和回應，實現自然、類似人類的對話體驗。
Amazon Nova Sonic 透過統一的語音理解和產生架構，提供對話式 AI 的轉換方法。這個state-of-the-art基礎模型具有業界領先的價格效能，可讓企業建置語音體驗，保持自然和情境感知。
主要功能
-
State-of-the-art串流語音理解功能，具有雙向串流 API 功能，可實現即時、低延遲的多轉對話。
-
自然、類似人類的對話式 AI 體驗在所有支援的語言中都具有豐富的內容。
-
調整式語音回應，可根據輸入語音的代理程式動態調整交付。
-
周到地處理使用者中斷，而不會捨棄對話內容。
-
使用擷取增強生成 (RAG) 的企業資料知識基礎。
-
函數呼叫和代理工作流程支援，以建置複雜的 AI 應用程式。
-
真實世界部署案例的背景雜訊強大度。
-
識別所有支援語言的各種說話風格。
主題
Amazon Nova Sonic 架構
Amazon Nova Sonic 透過雙向串流 API 實作事件驅動架構，實現即時對話體驗。以下是 API 的關鍵架構元件：
-
雙向事件串流：Amazon Nova Sonic 使用持久性雙向連線，允許雙向同時串流事件。與傳統的請求-回應模式不同，此方法允許下列項目：
從使用者到模型的持續音訊串流
並行語音處理和產生
即時模型回應，無需等待完整的表達用語
-
事件驅動的通訊流程：整個互動遵循事件型通訊協定，其中
用戶端和模型交換結構化 JSON 事件
事件控制工作階段生命週期、音訊串流、文字回應和工具互動
每個事件在對話流程中都有特定角色
雙向串流 API 包含這三個主要元件：
-
工作階段初始化：用戶端會建立雙向串流並傳送組態事件。
-
音訊串流：使用者音訊會持續擷取、編碼和串流為模型的事件，以持續處理語音。
-
回應串流：音訊送達時，模型會同時傳送事件回應：
使用者語音的文字轉錄 (ASR)
工具使用 事件進行函數呼叫
模型的文字回應
口語輸出的音訊區塊
下圖提供雙向串流 API 的高階概觀。
