Integrasi

Instalasi:

Instal paket yang diperlukan:

pip install strands-agents strands-agents-tools

Jalankan contoh ini:

import asyncio
from strands.experimental.bidi.agent import BidiAgent
from strands.experimental.bidi.io.audio import BidiAudioIO
from strands.experimental.bidi.io.text import BidiTextIO
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel
from strands_tools import calculator

async def main():
    """Test the BidirectionalAgent API."""
    # Audio and Text input/output utility
    audio_io = BidiAudioIO(audio_config={})
    text_io = BidiTextIO()
    
    # Nova Sonic model
    model = BidiNovaSonicModel(region="us-east-1")
    
    async with BidiAgent(model=model, tools=[calculator]) as agent:
        print("New BidiAgent Experience")
        print("Try asking: 'What is 25 times 8?' or 'Calculate the square root of 144'")
        
        await agent.run(
            inputs=[audio_io.input()],
            outputs=[audio_io.output(), text_io.output()]
        )

if __name__ == "__main__":
    try:
        asyncio.run(main())
    except KeyboardInterrupt:
        print("\nConversation ended by user")
    except Exception as e:
        print(f"Error: {e}")
        import traceback
        traceback.print_exc()

from strands.experimental.bidi.agent import BidiAgent 
from strands.experimental.bidi.io.audio import BidiAudioIO 
from strands.experimental.bidi.io.text import BidiTextIO 
from strands.experimental.bidi.models.novasonic import BidiNovaSonicModel 
from strands_tools import calculator

audio_io = BidiAudioIO(audio_config={}) 
text_io = BidiTextIO()

BidiAudioIO mengelola input mikrofon dan output speaker, sementara BidiText IO menampilkan transkripsi teks dan respons di konsol.

model = BidiNovaSonicModel(region="us-east-1")

Buat contoh model Nova Sonic. Parameter wilayah menentukan AWS wilayah tempat model digunakan.

async with BidiAgent(model=model, tools=[calculator]) as agent: 
    await agent.run( 
        inputs=[audio_io.input()],  
        outputs=[audio_io.output(), text_io.output()] 
    )

Agen dibuat dengan:

Amazon Bedrock AgentCore menyediakan lingkungan runtime terkelola untuk menerapkan aplikasi Nova 2 Sonic dengan keamanan dan skalabilitas tingkat perusahaan. AgentCoremenyederhanakan penerapan aplikasi AI suara real-time dengan menangani infrastruktur, otentikasi, dan konektivitas. WebSocket

Fitur utama:

Arsitektur menunjukkan bagaimana aplikasi klien terhubung ke AgentCore Runtime melalui WebSocket otentikasi SiGv4. Lingkungan kontainer mencakup WebSocket server Anda, logika aplikasi, dan klien Nova Sonic, semuanya berkomunikasi dengan Nova Sonic melalui API streaming dua arah.

Manfaat:

Kasus penggunaan

Untuk dokumentasi terperinci tentang penerapan Nova Sonic dengan AgentCore, kunjungi Dokumentasi Amazon Bedrock AgentCore .

LiveKit adalah platform sumber terbuka untuk membangun aplikasi audio dan video real-time. Integrasi dengan Amazon Nova 2 Sonic memungkinkan pengembang untuk membangun antarmuka suara percakapan tanpa mengelola pipeline audio yang kompleks atau protokol pensinyalan.

Untuk contoh implementasi rinci dan contoh kode, kunjungi Dokumentasi LiveKit AWS Integrasi.

Cara kerjanya:

Pipecat adalah kerangka kerja untuk membangun aplikasi AI percakapan suara dan multimodal. Ini menyediakan arsitektur modular berbasis pipa yang mengatur beberapa komponen untuk membuat aplikasi suara cerdas dengan Amazon Nova Sonic dan layanan lainnya. AWS

Untuk contoh implementasi terperinci dan contoh kode, kunjungi Dokumentasi PipeCat AWS Integrasi.

Fitur utama:

Arsitekturnya meliputi:

Terapkan aplikasi Nova Sonic Anda untuk AWS menggunakan infrastruktur sebagai kode dengan AWS CDK (Cloud Development Kit). Pendekatan ini menyediakan penerapan yang dapat diulang dan dikendalikan versi dengan praktik terbaik bawaan.

Opsi deployment

Untuk contoh lengkap yang siap produksi tentang penerapan Nova Sonic dengan AWS CDK, lihat Sampel CDK di. Speech-to-Speech GitHub Sampel ini menunjukkan:

Multi-agent arsitektur adalah pola yang banyak digunakan untuk merancang asisten AI yang menangani tugas-tugas kompleks. Dalam asisten suara yang didukung oleh Nova 2 Sonic, arsitektur ini mengoordinasikan beberapa agen khusus, di mana setiap agen beroperasi secara independen untuk memungkinkan pemrosesan paralel, desain modular, dan solusi yang dapat diskalakan.

Nova Sonic berfungsi sebagai orkestrator dalam sistem multi-agen, melakukan dua fungsi utama:

Manajemen alur percakapan: Memastikan semua informasi yang diperlukan dikumpulkan sebelum melanjutkan ke langkah berikutnya dalam percakapan.

Klasifikasi maksud: Menganalisis pertanyaan pengguna dan merutekkannya ke sub-agen khusus yang sesuai.

Diagram di atas menunjukkan asisten suara perbankan yang menggunakan arsitektur multi-agen. Alur percakapan dimulai dengan salam dan mengumpulkan nama pengguna, kemudian menangani pertanyaan terkait perbankan atau hipotek melalui sub-agen khusus.

Contoh alur percakapan:

Meskipun contoh ini menunjukkan sub-agen menggunakan kerangka Strands Agents yang diterapkan di Amazon Bedrock AgentCore, arsitekturnya fleksibel. Anda dapat memilih:

Manfaat:

Lihat blog ini untuk detail lebih lanjut dan contoh kode.

Lihat Multi-Agent Lab Lokakarya Nova Sonic untuk sampel langsung.

Amazon Nova 2 Sonic terintegrasi dengan penyedia telepon untuk memungkinkan aplikasi AI-powered suara dapat diakses melalui panggilan telepon. Panduan ini mencakup integrasi dengan Twilio, Vonage, dan SIP-based sistem lain untuk membangun solusi pusat kontak dan agen suara.

Twilio: Platform komunikasi cloud dengan kemampuan streaming suara dan media yang dapat diprogram.

Vonage: API komunikasi global dengan suara, streaming WebSocket audio, dan konektivitas SIP.

AWS menyediakan contoh implementasi komprehensif yang menunjukkan Nova Sonic di lingkungan pusat kontak dengan analisis real-time dan integrasi telepon.

Repositori: Contoh Pusat Kontak Sonic dengan Telepon