Intégrations

Installation:

Installez les packages requis :

pip install strands-agents strands-agents-tools

Exécutez cet exemple :

import asyncio
from strands.experimental.bidi.agent import BidiAgent
from strands.experimental.bidi.io.audio import BidiAudioIO
from strands.experimental.bidi.io.text import BidiTextIO
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel
from strands_tools import calculator

async def main():
    """Test the BidirectionalAgent API."""
    # Audio and Text input/output utility
    audio_io = BidiAudioIO(audio_config={})
    text_io = BidiTextIO()
    
    # Nova Sonic model
    model = BidiNovaSonicModel(region="us-east-1")
    
    async with BidiAgent(model=model, tools=[calculator]) as agent:
        print("New BidiAgent Experience")
        print("Try asking: 'What is 25 times 8?' or 'Calculate the square root of 144'")
        
        await agent.run(
            inputs=[audio_io.input()],
            outputs=[audio_io.output(), text_io.output()]
        )

if __name__ == "__main__":
    try:
        asyncio.run(main())
    except KeyboardInterrupt:
        print("\nConversation ended by user")
    except Exception as e:
        print(f"Error: {e}")
        import traceback
        traceback.print_exc()

from strands.experimental.bidi.agent import BidiAgent 
from strands.experimental.bidi.io.audio import BidiAudioIO 
from strands.experimental.bidi.io.text import BidiTextIO 
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel 
from strands_tools import calculator

audio_io = BidiAudioIO(audio_config={}) 
text_io = BidiTextIO()

L' BidiAudioIO gère l'entrée microphone et la sortie haut-parleur, tandis que l' BidiTextIO affiche les transcriptions de texte et les réponses dans la console.

model = BidiNovaSonicModel(region="us-east-1")

Créez une instance de modèle Nova Sonic. Le paramètre region indique la AWS région dans laquelle le modèle est déployé.

async with BidiAgent(model=model, tools=[calculator]) as agent: 
    await agent.run( 
        inputs=[audio_io.input()],  
        outputs=[audio_io.output(), text_io.output()] 
    )

L'agent est créé avec :

Amazon Bedrock AgentCore fournit un environnement d'exécution géré pour déployer les applications Nova 2 Sonic avec une sécurité et une évolutivité de niveau professionnel. AgentCoresimplifie le déploiement d'applications d'IA vocale en temps réel en gérant l'infrastructure, l'authentification et WebSocket la connectivité.

Caractéristiques principales :

L'architecture montre comment les applications clientes se connectent à AgentCore Runtime via WebSocket l'authentification SigV4. L'environnement conteneurisé inclut votre WebSocket serveur, la logique de l'application et le client Nova Sonic, qui communiquent tous avec Nova Sonic via l'API de diffusion bidirectionnelle.

Avantages :

Cas d’utilisation

Pour obtenir une documentation détaillée sur le déploiement de Nova Sonic avec AgentCore, consultez la AgentCore documentation Amazon Bedrock.

LiveKit est une plateforme open source permettant de créer des applications audio et vidéo en temps réel. L'intégration avec Amazon Nova 2 Sonic permet aux développeurs de créer des interfaces vocales conversationnelles sans gérer de pipelines audio ou de protocoles de signalisation complexes.

Pour des exemples d'implémentation détaillés et des exemples de code, consultez la documentation LiveKit AWS d'intégration.

Comment cela fonctionne :

Pipecat est un framework permettant de créer des applications vocales et d'intelligence artificielle conversationnelle multimodale. Il fournit une architecture modulaire basée sur un pipeline qui orchestre plusieurs composants pour créer des applications vocales intelligentes avec Amazon Nova Sonic et d'autres services. AWS

Pour des exemples d'implémentation détaillés et des exemples de code, consultez la documentation PipeCat AWS d'intégration.

Caractéristiques principales :

L'architecture inclut :

Déployez vos applications Nova Sonic en AWS utilisant l'infrastructure sous forme de code avec le AWS CDK (Cloud Development Kit). Cette approche fournit des déploiements reproductibles et contrôlés par version avec les meilleures pratiques intégrées.

Options de déploiement

Pour un exemple complet et prêt pour la production de déploiement de Nova Sonic avec AWS CDK, consultez l'exemple de Speech-to-Speech CDK sur. GitHub Ce modèle illustre :

Multi-agent l'architecture est un modèle largement utilisé pour concevoir des assistants IA qui gèrent des tâches complexes. Dans un assistant vocal alimenté par Nova 2 Sonic, cette architecture coordonne plusieurs agents spécialisés, où chaque agent fonctionne indépendamment pour permettre un traitement parallèle, une conception modulaire et des solutions évolutives.

Nova Sonic joue le rôle d'orchestrateur dans un système multi-agents, remplissant deux fonctions clés :

Gestion du flux de conversation : garantit que toutes les informations nécessaires sont collectées avant de passer à l'étape suivante de la conversation.

Classification des intentions : analyse les demandes des utilisateurs et les achemine vers le sous-agent spécialisé approprié.

Le schéma ci-dessus montre un assistant vocal bancaire utilisant une architecture multi-agents. Le flux de conversation commence par un message d'accueil et la collecte du nom de l'utilisateur, puis traite les demandes liées aux opérations bancaires ou aux prêts hypothécaires par l'intermédiaire de sous-agents spécialisés.

Exemple de flux de conversation :

Bien que cet exemple montre des sous-agents utilisant le framework Strands Agents déployé sur Amazon Bedrock AgentCore, l'architecture est flexible. Vous pouvez choisir :

Avantages :

Consultez ce blog pour plus de détails et des exemples de code.

Visitez le Nova Sonic Workshop Multi-Agent Lab pour des échantillons pratiques.

Amazon Nova 2 Sonic s'intègre aux fournisseurs de téléphonie pour permettre aux applications AI-powered vocales d'être accessibles via des appels téléphoniques. Ce guide couvre l'intégration avec Twilio, Vonage et d'autres SIP-based systèmes pour créer des solutions de centre d'appels et des agents vocaux.

Twilio : plateforme de communication dans le cloud dotée de capacités de diffusion vocale et multimédia programmables.

Vonage : API de communications mondiales avec voix, streaming WebSocket audio et connectivité SIP.

AWS fournit un exemple complet d'implémentation démontrant Nova Sonic dans un environnement de centre de contact avec analyse en temps réel et intégration de la téléphonie.

Référentiel : Sample Sonic Contact Center avec téléphonie