통합

설치:

필수 패키지를 설치합니다.

pip install strands-agents strands-agents-tools

다음 예제를 실행합니다.

import asyncio
from strands.experimental.bidi.agent import BidiAgent
from strands.experimental.bidi.io.audio import BidiAudioIO
from strands.experimental.bidi.io.text import BidiTextIO
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel
from strands_tools import calculator

async def main():
    """Test the BidirectionalAgent API."""
    # Audio and Text input/output utility
    audio_io = BidiAudioIO(audio_config={})
    text_io = BidiTextIO()
    
    # Nova Sonic model
    model = BidiNovaSonicModel(region="us-east-1")
    
    async with BidiAgent(model=model, tools=[calculator]) as agent:
        print("New BidiAgent Experience")
        print("Try asking: 'What is 25 times 8?' or 'Calculate the square root of 144'")
        
        await agent.run(
            inputs=[audio_io.input()],
            outputs=[audio_io.output(), text_io.output()]
        )

if __name__ == "__main__":
    try:
        asyncio.run(main())
    except KeyboardInterrupt:
        print("\nConversation ended by user")
    except Exception as e:
        print(f"Error: {e}")
        import traceback
        traceback.print_exc()

from strands.experimental.bidi.agent import BidiAgent 
from strands.experimental.bidi.io.audio import BidiAudioIO 
from strands.experimental.bidi.io.text import BidiTextIO 
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel 
from strands_tools import calculator

audio_io = BidiAudioIO(audio_config={}) 
text_io = BidiTextIO()

BidiAudioIO는 마이크 입력 및 스피커 출력을 관리하는 반면, BidiTextIO는 콘솔에 텍스트 트랜스크립션 및 응답을 표시합니다.

model = BidiNovaSonicModel(region="us-east-1")

Nova Sonic 모델 인스턴스를 생성합니다. 리전 파라미터는 모델이 배포되는 AWS 리전을 지정합니다.

async with BidiAgent(model=model, tools=[calculator]) as agent: 
    await agent.run( 
        inputs=[audio_io.input()],  
        outputs=[audio_io.output(), text_io.output()] 
    )

에이전트는 다음을 사용하여 생성됩니다.

Amazon Bedrock AgentCore는 엔터프라이즈급 보안 및 확장성을 갖춘 Nova 2 Sonic 애플리케이션을 배포하기 위한 관리형 런타임 환경을 제공합니다. AgentCore는 인프라, 인증 및 WebSocket 연결을 처리하여 실시간 음성 AI 애플리케이션의 배포를 단순화합니다.

주요 기능:

아키텍처는 클라이언트 애플리케이션이 SigV4 인증을 사용하여 WebSocket을 통해 AgentCore 런타임에 연결하는 방법을 보여줍니다. 컨테이너화된 환경에는 WebSocket 서버, 애플리케이션 로직 및 Nova Sonic 클라이언트가 포함되며, 모두 양방향 스트리밍 API를 통해 Nova Sonic과 통신합니다.

이점:

사용 사례

AgentCore를 사용하여 Nova Sonic을 배포하는 방법에 대한 자세한 내용은 Amazon Bedrock AgentCore 설명서를 참조하세요.

LiveKit은 실시간 오디오 및 비디오 애플리케이션을 빌드하기 위한 오픈 소스 플랫폼입니다. Amazon Nova 2 Sonic과의 통합을 통해 개발자는 복잡한 오디오 파이프라인 또는 신호 프로토콜을 관리하지 않고도 대화형 음성 인터페이스를 빌드할 수 있습니다.

자세한 구현 예제와 코드 예제는 LiveKit AWS 통합 설명서를 참조하세요.

작동 방식:

Pipecat은 음성 및 멀티모달 대화형 AI 애플리케이션을 빌드하기 위한 프레임워크입니다. Amazon Nova Sonic 및 기타 AWS 서비스를 사용하여 지능형 음성 애플리케이션을 생성하기 위해 여러 구성 요소를 오케스트레이션하는 모듈식 파이프라인 기반 아키텍처를 제공합니다.

자세한 구현 예제 및 코드 샘플은 PipeCat AWS 통합 설명서를 참조하세요.

주요 기능:

아키텍처에는 다음이 포함됩니다.

AWS 클라우드 개발 키트(CDK)와 함께 코드형 인프라를 사용하여 AWS에 Nova Sonic 애플리케이션을 배포합니다. 이 접근 방식에서는 모범 사례가 기본적으로 제공되는 반복 가능한 버전 제어 배포를 제공합니다.

배포 옵션

AWS CDK를 사용하여 Nova Sonic을 배포하는 완전한 프로덕션 지원 예제는 GitHub의 Speech-to-Speech CDK Sample을 참조하세요. 이 샘플에서 보여 주는 작업은 다음과 같습니다.

다중 에이전트 아키텍처는 복잡한 태스크를 처리하는 AI 어시스턴트를 설계하는 데 널리 사용되는 패턴입니다. Nova 2 Sonic에서 지원하는 음성 어시스턴트에서 이 아키텍처는 여러 전문 에이전트를 조정하며, 각 에이전트는 독립적으로 작동하여 병렬 처리, 모듈식 설계 및 규모 조정 가능한 솔루션을 지원합니다.

Nova Sonic은 다중 에이전트 시스템에서 오케스트레이터 역할을 하며 다음과 같은 두 가지 주요 기능을 수행합니다.

대화 흐름 관리: 대화의 다음 단계를 진행하기 전에 필요한 모든 정보가 수집되었는지 확인합니다.

의도 분류: 사용자 문의를 분석하여 적절한 전문 하위 에이전트로 라우팅합니다.

위 다이어그램에서는 다중 에이전트 아키텍처를 사용하는 뱅킹 음성 어시스턴트를 보여줍니다. 대화 흐름은 인사말과 사용자 이름 수집으로 시작한 다음, 전문 하위 에이전트를 통해 뱅킹 또는 모기지와 관련된 문의를 처리합니다.

대화 흐름 예제:

이 예제에서는 Amazon Bedrock AgentCore에 배포된 Strands Agents 프레임워크를 사용하는 하위 에이전트를 보여주지만, 이 아키텍처는 유연합니다. 선택 항목:

이점:

자세한 내용과 코드 예제는 이 블로그를 참조하세요.

실습 샘플은 Nova Sonic Workshop Multi-Agent Lab을 참조하세요.

Amazon Nova 2 Sonic은 텔레포니 제공업체와 통합되어 전화를 통해 AI 기반 음성 애플리케이션에 액세스할 수 있습니다. 이 가이드에서는 고객 센터 솔루션 및 음성 에이전트를 빌드하기 위한 Twilio, Vonage 및 기타 SIP 기반 시스템과의 통합을 다룹니다.

Twilio: 프로그래밍 가능한 음성 및 미디어 스트리밍 기능을 갖춘 클라우드 통신 플랫폼.

Vonage: 음성, WebSocket 오디오 스트리밍 및 SIP 연결을 사용하는 글로벌 통신 API.

AWS는 실시간 분석 및 텔레포니 통합을 통해 고객 센터 환경에서 Nova Sonic을 보여주는 포괄적인 샘플 구현을 제공합니다.

리포지토리: 텔레포니를 사용하는 샘플 Sonic Contact Center