統合

インストール:

必要なパッケージをインストールします。

pip install strands-agents strands-agents-tools

次の例を実行します。

import asyncio
from strands.experimental.bidi.agent import BidiAgent
from strands.experimental.bidi.io.audio import BidiAudioIO
from strands.experimental.bidi.io.text import BidiTextIO
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel
from strands_tools import calculator

async def main():
    """Test the BidirectionalAgent API."""
    # Audio and Text input/output utility
    audio_io = BidiAudioIO(audio_config={})
    text_io = BidiTextIO()
    
    # Nova Sonic model
    model = BidiNovaSonicModel(region="us-east-1")
    
    async with BidiAgent(model=model, tools=[calculator]) as agent:
        print("New BidiAgent Experience")
        print("Try asking: 'What is 25 times 8?' or 'Calculate the square root of 144'")
        
        await agent.run(
            inputs=[audio_io.input()],
            outputs=[audio_io.output(), text_io.output()]
        )

if __name__ == "__main__":
    try:
        asyncio.run(main())
    except KeyboardInterrupt:
        print("\nConversation ended by user")
    except Exception as e:
        print(f"Error: {e}")
        import traceback
        traceback.print_exc()

from strands.experimental.bidi.agent import BidiAgent 
from strands.experimental.bidi.io.audio import BidiAudioIO 
from strands.experimental.bidi.io.text import BidiTextIO 
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel 
from strands_tools import calculator

audio_io = BidiAudioIO(audio_config={}) 
text_io = BidiTextIO()

BidiAudioIO はマイクの入力とスピーカーの出力を管理し、BidiTextIO はテキスト文字起こしとレスポンスをコンソールに表示します。

model = BidiNovaSonicModel(region="us-east-1")

Nova Sonic モデルインスタンスを作成します。region パラメータは、モデルがデプロイされる AWS リージョンを指定します。

async with BidiAgent(model=model, tools=[calculator]) as agent: 
    await agent.run( 
        inputs=[audio_io.input()],  
        outputs=[audio_io.output(), text_io.output()] 
    )

エージェントは以下を使用して作成されます。

Amazon Bedrock AgentCore は、エンタープライズグレードのセキュリティとスケーラビリティを備えた Nova 2 Sonic アプリケーションをデプロイするためのマネージドランタイム環境を提供します。AgentCore は、インフラストラクチャ、認証、WebSocket 接続を処理することで、リアルタイムの音声 AI アプリケーションのデプロイを簡素化します。

主な特徴:

このアーキテクチャは、クライアントアプリケーションが SigV4 認証を使用して WebSocket 経由で AgentCore Runtime に接続する方法を示しています。コンテナ化された環境には、WebSocket サーバー、アプリケーションロジック、Nova Sonic クライアントが含まれ、すべて双方向ストリーミング API を介して Nova Sonic と通信します。

利点:

ユースケース

AgentCore を使用した Nova Sonic のデプロイに関する詳細なドキュメントについては、Amazon Bedrock AgentCore ドキュメントを参照してください。

LiveKit は、リアルタイムのオーディオおよび動画アプリケーションを構築するためのオープンソースプラットフォームです。Amazon Nova 2 Sonic との統合により、デベロッパーは複雑なオーディオパイプラインやシグナリングプロトコルを管理することなく、会話型音声インターフェイスを構築できます。

実装例とコード例の詳細については、LiveKit AWS 統合ドキュメントを参照してください。

仕組み:

Pipecat は、音声およびマルチモーダル会話 AI アプリケーションを構築するためのフレームワークです。モジュール式のパイプラインベースのアーキテクチャを提供し、複数のコンポーネントをオーケストレーションして、Amazon Nova Sonic やその他の AWS サービスでインテリジェントな音声アプリケーションを作成します。

実装例とコードサンプルの詳細については、PipeCat AWS 統合ドキュメントを参照してください。

主な特徴:

アーキテクチャには以下が含まれます。

AWS CDK (Cloud Development Kit) で Infrastructure as Code を使用して、Nova Sonic アプリケーションを AWS にデプロイします。このアプローチは、ベストプラクティスが組み込まれた、バージョン管理された反復可能なデプロイを実現します。

デプロイオプション

AWS CDK で Nova Sonic をデプロイする完全で本番環境に対応した例については、GitHub の「Speech-to-Speech CDK サンプル」を参照してください。このサンプルは、以下を紹介します:

マルチエージェントアーキテクチャは、複雑なタスクを処理する AI アシスタントを設計するために広く使用されているパターンです。Nova 2 Sonic を搭載した音声アシスタントでは、このアーキテクチャは複数の特殊なエージェントを調整します。各エージェントは独立して動作し、並列処理、モジュラー設計、スケーラブルなソリューションを可能にします。

Nova Sonic は、マルチエージェントシステムのオーケストレーターとして機能し、次の 2 つの主要な機能を実行します。

会話フロー管理: 会話の次のステップに進む前に、必要な情報がすべて収集されていることを確認します。

インテント分類: ユーザーの問い合わせを分析し、適切な特殊サブエージェントにルーティングします。

上記の図は、マルチエージェントアーキテクチャを使用する銀行業務の音声アシスタントを示しています。会話フローは、挨拶とユーザー名の収集から始まり、専門のサブエージェントを通じて銀行や住宅ローンに関連する問い合わせを処理します。

会話フローの例:

この例では、Amazon Bedrock AgentCore にデプロイされた Strands Agents フレームワークを使用するサブエージェントを示していますが、アーキテクチャは柔軟です。以下を選択することができます。

利点:

詳細とコード例については、このブログを参照してください。

実践的なサンプルについては、「Nova Sonic ワークショップのマルチエージェントラボ」を参照してください。

Amazon Nova 2 Sonic はテレフォニープロバイダーと統合され、通話を介してアクセス可能な AI を活用した音声アプリケーションを可能にします。このガイドでは、コンタクトセンターのソリューションや音声エージェントを構築するための Twilio、Vonage、その他の SIP ベースのシステムとの統合について説明します。

Twilio: プログラム可能な音声およびメディアストリーミング機能を備えたクラウド通信プラットフォーム。

Vonage: 音声、WebSocket オーディオストリーミング、SIP 接続を行えるグローバル通信 API。

AWS は、リアルタイム分析とテレフォニー統合を行うコンタクトセンター環境で Nova Sonic を実証する包括的なサンプル実装を提供します。

リポジトリ: テレフォニーを使用した Sonic コンタクトセンターのサンプル