Integrações

Instalação:

Instale os pacotes obrigatórios:

pip install strands-agents strands-agents-tools

Execute este exemplo:

import asyncio
from strands.experimental.bidi.agent import BidiAgent
from strands.experimental.bidi.io.audio import BidiAudioIO
from strands.experimental.bidi.io.text import BidiTextIO
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel
from strands_tools import calculator

async def main():
    """Test the BidirectionalAgent API."""
    # Audio and Text input/output utility
    audio_io = BidiAudioIO(audio_config={})
    text_io = BidiTextIO()
    
    # Nova Sonic model
    model = BidiNovaSonicModel(region="us-east-1")
    
    async with BidiAgent(model=model, tools=[calculator]) as agent:
        print("New BidiAgent Experience")
        print("Try asking: 'What is 25 times 8?' or 'Calculate the square root of 144'")
        
        await agent.run(
            inputs=[audio_io.input()],
            outputs=[audio_io.output(), text_io.output()]
        )

if __name__ == "__main__":
    try:
        asyncio.run(main())
    except KeyboardInterrupt:
        print("\nConversation ended by user")
    except Exception as e:
        print(f"Error: {e}")
        import traceback
        traceback.print_exc()

from strands.experimental.bidi.agent import BidiAgent 
from strands.experimental.bidi.io.audio import BidiAudioIO 
from strands.experimental.bidi.io.text import BidiTextIO 
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel 
from strands_tools import calculator

audio_io = BidiAudioIO(audio_config={}) 
text_io = BidiTextIO()

O BidiAudioIO gerencia a entrada do microfone e a saída do alto-falante, enquanto o BidiTextIO exibe transcrições e respostas de texto no console.

model = BidiNovaSonicModel(region="us-east-1")

Crie uma instância do modelo Nova Sonic. O parâmetro de região especifica a região da AWS em que o modelo é implantado.

async with BidiAgent(model=model, tools=[calculator]) as agent: 
    await agent.run( 
        inputs=[audio_io.input()],  
        outputs=[audio_io.output(), text_io.output()] 
    )

O agente é criado com:

O Amazon Bedrock AgentCore fornece um ambiente de runtime gerenciado para a implantação de aplicações do Nova 2 Sonic com segurança e escalabilidade de nível empresarial. O AgentCore simplifica a implantação de aplicações de IA de voz em tempo real ao lidar com infraestrutura, autenticação e conectividade WebSocket.

Principais atributos:

A arquitetura mostra como as aplicações do cliente se conectam ao AgentCore Runtime via WebSocket com autenticação SigV4. O ambiente conteinerizado inclui o servidor WebSocket, a lógica da aplicação e o cliente Nova Sonic, todos se comunicando com o Nova Sonic por meio da API de streaming bidirecional.

Benefícios:

Casos de uso

Para obter documentação detalhada sobre a implantação do Nova Sonic com o AgentCore, acesse a documentação do Amazon Bedrock AgentCore.

O LiveKit é uma plataforma de código aberto para criar aplicações de áudio e vídeo em tempo real. A integração com o Amazon Nova 2 Sonic permite que os desenvolvedores criem interfaces de voz conversacionais sem gerenciar pipelines de áudio complexos ou protocolos de sinalização.

Para exemplos detalhados de implementação e exemplos de código, acesse a documentação da integração da AWS para o LiveKit.

Como funciona:

O Pipecat é um framework para criar aplicações de IA conversacional de voz e multimodais. Ele fornece uma arquitetura modular baseada em pipelines que orquestra vários componentes para criar aplicações de voz inteligentes com o Amazon Nova Sonic e outros serviços da AWS.

Para exemplos detalhados de implementação e exemplos de código, acesse a documentação de integração da AWS para o PipeCat.

Principais atributos:

A arquitetura inclui:

Implante suas aplicações do Nova Sonic na AWS usando a infraestrutura como código com o AWS CDK (Cloud Development Kit). Essa abordagem fornece implantações reproduzíveis e controladas por versão com as melhores práticas incorporadas.

Opções de implantação

Para ver um exemplo completo e pronto para produção da implantação do Nova Sonic com o AWS CDK, consulte o exemplo de conversão de fala em fala do CDK no GitHub. Esse exemplo demonstra:

A arquitetura multiagente é um padrão amplamente usado para projetar assistentes de IA que lidam com tarefas complexas. Em um assistente de voz desenvolvido pelo Nova 2 Sonic, essa arquitetura coordena vários agentes especializados, em que cada agente opera de forma independente para permitir processamento paralelo, design modular e soluções escaláveis.

O Nova Sonic atua como o orquestrador em um sistema multiagente, executando duas funções principais:

Gerenciamento do fluxo de conversas: garante que todas as informações necessárias sejam coletadas antes de prosseguir para a próxima etapa da conversa.

Classificação de intenção: analisa as consultas dos usuários e as encaminha para o subagente especializado apropriado.

O diagrama acima mostra um assistente de voz bancário que usa uma arquitetura multiagente. O fluxo da conversa começa com uma saudação e a coleta do nome do usuário e, em seguida, trata de consultas relacionadas a bancos ou hipotecas por meio de subagentes especializados.

Exemplo de fluxo de conversa:

Embora este exemplo demonstre subagentes usando o framework Strands Agents implantado no Amazon Bedrock AgentCore, a arquitetura é flexível. É possível escolher:

Benefícios:

Consulte este blog para obter mais detalhes e exemplos de código.

Consulte o Nova Sonic Workshop Multi-Agent Lab para ver exemplos práticos.

O Amazon Nova 2 Sonic se integra aos provedores de telefonia para permitir que aplicações de voz baseadas em IA sejam acessíveis por meio de chamadas telefônicas. Este guia aborda a integração com Twilio, Vonage e outros sistemas baseados em SIP para criar soluções de central de atendimento e agentes de voz.

Twilio: plataforma de comunicação em nuvem com recursos programáveis de streaming de voz e mídia.

Vonage: APIs de comunicação global com voz, streaming de áudio WebSocket e conectividade SIP.

A AWS fornece um exemplo abrangente de implementação demonstrando o Nova Sonic em um ambiente de central de atendimento com analytics em tempo real e integração de telefonia.

Repositório: Exemplo de central de atendimento do Sonic com telefonia