Integrationen

Installation (Installation):

Installieren Sie die erforderlichen Pakete:

pip install strands-agents strands-agents-tools

Führen Sie dieses Beispiel aus:

import asyncio
from strands.experimental.bidi.agent import BidiAgent
from strands.experimental.bidi.io.audio import BidiAudioIO
from strands.experimental.bidi.io.text import BidiTextIO
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel
from strands_tools import calculator

async def main():
    """Test the BidirectionalAgent API."""
    # Audio and Text input/output utility
    audio_io = BidiAudioIO(audio_config={})
    text_io = BidiTextIO()
    
    # Nova Sonic model
    model = BidiNovaSonicModel(region="us-east-1")
    
    async with BidiAgent(model=model, tools=[calculator]) as agent:
        print("New BidiAgent Experience")
        print("Try asking: 'What is 25 times 8?' or 'Calculate the square root of 144'")
        
        await agent.run(
            inputs=[audio_io.input()],
            outputs=[audio_io.output(), text_io.output()]
        )

if __name__ == "__main__":
    try:
        asyncio.run(main())
    except KeyboardInterrupt:
        print("\nConversation ended by user")
    except Exception as e:
        print(f"Error: {e}")
        import traceback
        traceback.print_exc()

from strands.experimental.bidi.agent import BidiAgent 
from strands.experimental.bidi.io.audio import BidiAudioIO 
from strands.experimental.bidi.io.text import BidiTextIO 
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel 
from strands_tools import calculator

audio_io = BidiAudioIO(audio_config={}) 
text_io = BidiTextIO()

Das BidiAudio IO verwaltet den Mikrofoneingang und den Lautsprecherausgang, während BidiText IO Texttranskriptionen und -antworten in der Konsole anzeigt.

model = BidiNovaSonicModel(region="us-east-1")

Erstellen Sie eine Nova Sonic-Modellinstanz. Der Parameter Region gibt die AWS Region an, in der das Modell bereitgestellt wird.

async with BidiAgent(model=model, tools=[calculator]) as agent: 
    await agent.run( 
        inputs=[audio_io.input()],  
        outputs=[audio_io.output(), text_io.output()] 
    )

Der Agent wird erstellt mit:

Amazon Bedrock AgentCore bietet eine verwaltete Laufzeitumgebung für die Bereitstellung von Nova 2 Sonic-Anwendungen mit Sicherheit und Skalierbarkeit auf Unternehmensniveau. AgentCorevereinfacht die Bereitstellung von KI-Sprachanwendungen in Echtzeit, indem es sich um Infrastruktur, Authentifizierung und Konnektivität kümmert. WebSocket

Die wichtigsten Funktionen:

Die Architektur zeigt, wie Client-Anwendungen über WebSocket SigV4-Authentifizierung eine Verbindung zu AgentCore Runtime herstellen. Die containerisierte Umgebung umfasst Ihren WebSocket Server, Ihre Anwendungslogik und den Nova Sonic Client, die alle über die bidirektionale Streaming-API mit Nova Sonic kommunizieren.

Vorteile:

Anwendungsfälle

Eine ausführliche Dokumentation zur Bereitstellung von Nova Sonic mit AgentCore finden Sie in der Amazon AgentCore Bedrock-Dokumentation.

LiveKit ist eine Open-Source-Plattform für die Erstellung von Audio- und Videoanwendungen in Echtzeit. Die Integration mit Amazon Nova 2 Sonic ermöglicht es Entwicklern, dialogorientierte Sprachschnittstellen zu erstellen, ohne komplexe Audiopipelines oder Signalprotokolle verwalten zu müssen.

Ausführliche Implementierungsbeispiele und Codebeispiele finden Sie in der LiveKit AWS Integrationsdokumentation.

So funktioniert es:

Pipecat ist ein Framework für die Entwicklung von Sprach- und multimodalen Konversations-KI-Anwendungen. Es bietet eine modulare, Pipeline-basierte Architektur, die mehrere Komponenten orchestriert, um intelligente Sprachanwendungen mit Amazon Nova Sonic und anderen Diensten zu erstellen. AWS

Ausführliche Implementierungsbeispiele und Codebeispiele finden Sie in der PipeCat AWS Integrationsdokumentation.

Die wichtigsten Funktionen:

Die Architektur umfasst:

Stellen Sie Ihre Nova Sonic-Anwendungen AWS mithilfe von Infrastructure as Code mit AWS CDK (Cloud Development Kit) bereit. Dieser Ansatz ermöglicht wiederholbare, versionskontrollierte Bereitstellungen mit integrierten Best Practices.

Optionen für die Bereitstellung

Ein vollständiges, produktionsreifes Beispiel für die Bereitstellung von Nova Sonic mit AWS CDK finden Sie im CDK-Beispiel unter. Speech-to-Speech GitHub In diesem Beispiel wird Folgendes gezeigt:

Multi-agent Architektur ist ein weit verbreitetes Muster für die Entwicklung von KI-Assistenten, die komplexe Aufgaben bewältigen. In einem von Nova 2 Sonic unterstützten Sprachassistenten koordiniert diese Architektur mehrere spezialisierte Agenten, wobei jeder Agent unabhängig arbeitet, um Parallelverarbeitung, modulares Design und skalierbare Lösungen zu ermöglichen.

Nova Sonic dient als Orchestrator in einem System mit mehreren Agenten und erfüllt zwei Hauptfunktionen:

Verwaltung des Gesprächsflusses: Stellt sicher, dass alle erforderlichen Informationen gesammelt werden, bevor mit dem nächsten Gesprächsschritt fortgefahren wird.

Klassifizierung der Absichten: Analysiert Benutzeranfragen und leitet sie an den entsprechenden spezialisierten Unteragenten weiter.

Das obige Diagramm zeigt einen Sprachassistenten für Bankgeschäfte, der eine Multi-Agenten-Architektur verwendet. Der Konversationsablauf beginnt mit einer Begrüßung und der Erfassung des Benutzernamens. Anschließend werden Anfragen im Zusammenhang mit Bankgeschäften oder Hypotheken über spezialisierte Unteragenten bearbeitet.

Beispiel für einen Gesprächsablauf:

Dieses Beispiel zeigt zwar, dass Subagenten das auf Amazon Bedrock bereitgestellte Strands Agents-Framework verwenden AgentCore, aber die Architektur ist flexibel. Sie können wählen:

Vorteile:

Weitere Informationen und Codebeispiele finden Sie in diesem Blog.

Praktische Beispiele finden Sie im Nova Sonic Workshop Multi-Agent Lab.

Amazon Nova 2 Sonic lässt sich mit Telefonanbietern integrieren, um AI-powered Sprachanwendungen zu ermöglichen, auf die über Telefonanrufe zugegriffen werden kann. Dieser Leitfaden behandelt die Integration mit Twilio, Vonage und anderen SIP-based Systemen zum Aufbau von Contact-Center-Lösungen und Sprachagenten.

Twilio: Cloud-Kommunikationsplattform mit programmierbaren Sprach- und Medienstreaming-Funktionen.

Vonage: Globale Kommunikations-APIs mit Sprach WebSocket -, Audiostreaming- und SIP-Konnektivität.

AWS bietet eine umfassende Beispielimplementierung, die Nova Sonic in einer Contact-Center-Umgebung mit Echtzeitanalysen und Telefonie-Integration demonstriert.

Repository: Beispiel für ein Sonic Contact Center mit Telefonie