# Amazon Nova Sonic Speech-to-Speech モデルの使用
<a name="speech"></a>

**注記**  
このドキュメントは Amazon Nova バージョン 1 を対象としています。Amazon Nova 2 Sonic ガイドについては、「[Speech-to-Speech](https://docs.aws.amazon.com/nova/latest/nova2-userguide/using-conversational-speech.html)」を参照してください。

Amazon Nova Sonic モデルは、双方向オーディオストリーミングを通じてリアルタイムの会話型インタラクションを提供します。Amazon Nova Sonic は、発話された音声をリアルタイムで処理して応答するため、人間のような自然な会話エクスペリエンスが可能になります。

Amazon Nova Sonic の音声理解と生成の統合アーキテクチャにより、会話型 AI に変革的なアプローチがもたらされます。この最先端の基盤モデルは、業界をリードするコストパフォーマンスを誇り、企業が自然でコンテキストに応じた音声エクスペリエンスを構築できるようにします。

主な機能と特徴
+ リアルタイムかつ低レイテンシーの複数ターン会話を可能にする双方向ストリーム API 機能による最先端のストリーミング音声理解。
+ サポートされているすべての言語で、コンテキストに応じた豊かさを備えた人間のような自然な会話 AI エクスペリエンスを提供。
+ 入力音声のプロソディに基づいて配信を動的に調整するアダプティブ音声レスポンス。
+ 会話のコンテキストを失うことなく、ユーザーの割り込みにスムーズに対応。
+ 検索拡張生成 (RAG) を使用した企業データのナレッジグラウンディング。
+ 複雑な AI アプリケーションを構築するための関数呼び出しとエージェントワークフローのサポート。
+ 実際のデプロイシナリオにおけるバックグラウンドノイズに対する堅牢性。
+ 表現力のある音声と話し方による多言語サポート。表現力のある音声は、男性的なサウンドと女性的なサウンドの両方を含み、英語 (米国、英国)、フランス語、イタリア語、ドイツ語、スペイン語の 5 つの言語で提供されます。
+ サポートされているすべての言語でさまざまな話し方を認識。

**Topics**
+ [Amazon Nova Sonic アーキテクチャ](#speech-architecture)
+ [双方向ストリーミング API の使用](speech-bidirection.md)
+ [Speech-to-Speech の例](s2s-example.md)
+ [Amazon Nova Sonic のコード例](speech-code-examples.md)
+ [双方向 API を使用した入力イベントの処理](input-events.md)
+ [双方向 API を使用した出力イベントの処理](output-events.md)
+ [Amazon Nova Sonic で利用可能な音声](available-voices.md)
+ [Amazon Nova Sonic でのエラーの処理](speech-errors.md)
+ [Amazon Nova Sonic でのツールの使用、RAG、およびエージェントフロー](speech-tools.md)

## Amazon Nova Sonic アーキテクチャ
<a name="speech-architecture"></a>

Amazon Nova Sonic は、双方向ストリーム API を介してイベント駆動型アーキテクチャを実装し、リアルタイムの会話エクスペリエンスを可能にします。API の主要なアーキテクチャコンポーネントは次のとおりです。

1. **双方向イベントストリーミング**: Amazon Nova Sonic は、双方向の同時イベントストリーミングを可能にする永続的な双方向接続を使用します。従来のリクエスト/レスポンスパターンとは異なり、このアプローチでは以下が許可されます。
   + ユーザーからモデルへの継続的なオーディオストリーミング
   + 同時音声処理と生成
   + 完全な発話を待つことなくリアルタイムにモデルが応答

1. **イベント駆動型通信フロー**: インタラクション全体が、以下のようなイベントベースのプロトコルに従います。
   + クライアントとモデルが構造化された JSON イベントを交換する
   + イベントは、セッションのライフサイクル、オーディオストリーミング、テキストレスポンス、およびツールインタラクションを制御する
   + 各イベントは、会話フローで特定のロールを持つ

双方向ストリーム API は、次の 3 つの主要コンポーネントで構成されます。

1. **セッションの初期化**: クライアントは双方向ストリームを確立し、設定イベントを送信します。

1. **オーディオストリーミング**: ユーザーオーディオは継続的にキャプチャ、エンコードされ、イベントとしてモデルにストリーミングされ、音声が継続的に処理されます。

1. **レスポンスストリーミング**: オーディオが届くと、モデルは以下のイベントレスポンスを同時に送信します。
   + ユーザー音声のテキスト文字起こし (ASR)
   + 関数呼び出しのツール使用イベント
   + モデルのテキストレスポンス
   + 音声出力のオーディオチャンク

次の図は、双方向ストリーム API の概要を示しています。

![\[Amazon Nova Sonic 双方向ストリーミングシステムを説明する図。\]](http://docs.aws.amazon.com/ja_jp/nova/latest/userguide/images/nova-sonic-sequential.png)