View a markdown version of this page

Memahami alur kerja untuk analitik berbasis pembelajaran mesin untuk Amazon Chime SDK - Amazon Chime SDK

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memahami alur kerja untuk analitik berbasis pembelajaran mesin untuk Amazon Chime SDK

Bagian berikut menjelaskan cara menggunakan fitur analisis pembelajaran mesin yang disediakan oleh analisis panggilan Amazon Chime SDK.

catatan

Jika Anda berencana untuk menjalankan beberapa analisis pembelajaran mesin pada Stream Video Kinesis yang sama, Anda mungkin perlu meningkatkan batas tingkat koneksi untuk GetMedia dan GetMediaForFragmentList untuk aliran video. Untuk informasi selengkapnya, lihat batasan Stre aming Video Kinesis di Panduan Pengembang Stre aming Video Kinesis.

Gunakan alur kerja ini saat:

  • Anda ingin pengaturan yang digerakkan oleh konsol.

  • Anda sudah menggunakan atau berencana menggunakan Konektor Suara untuk membawa media SIP ke analitik panggilan. Konektor Suara mendukung SIP serta SIPREC. Untuk informasi selengkapnya tentang mengonfigurasi Konektor Suara, lihat M engelola Konektor Suara Amazon Chime SDK.

  • Anda ingin menerapkan konfigurasi wawasan media yang sama ke setiap panggilan Konektor Suara.

  • Anda perlu menggunakan analisis suara Amazon Chime SDK, yang memerlukan Konektor Suara atau saluran wawasan media.

Untuk mengaktifkan alur kerja ini di konsol Amazon Chime SDK, ikuti langkah-langkah untuk membuat konfigurasi perekaman di Mengonfigurasi Konek tor Suara untuk menggunakan analisis panggilan.

Untuk mengaktifkan alur kerja ini secara terprogram, gunakan API berikut: CreateMediaInsightsPipelineConfiguration API untuk membuat konfigurasi analisis panggilan dan kemudian menghubungkan konfigurasi ke Konektor Suara menggunakan API. PutVoiceConnectorStreamingConfiguration Untuk informasi selengkapnya, lihat Mengonfigurasi Konektor Suara untuk menggunakan analitik suara di Panduan Administrator Amazon Chime SDK.

Diagram berikut menunjukkan aliran data saat Konektor Suara memulai sesi analisis panggilan. Angka dalam diagram sesuai dengan teks bernomor di bawah ini.

Image showing the flow of data when a Voice Connector initiates a call.

Dalam diagram:

  1. Anda menggunakan konsol Amazon Chime SDK atau CreateMediaInsightsPipelineConfiguration API untuk membuat konfigurasi pipeline wawasan media.

  2. Anda menggunakan konsol Amazon Chime SDK atau PutVoiceConnectorStreamingConfiguration API untuk mengaitkan konfigurasi dengan Konektor Suara. Untuk mengaitkan konfigurasi yang ada dengan Konektor Suara, lihat Mengon figurasi Konektor Suara untuk menggunakan analisis panggilan, di Panduan Administrator Amazon Chime SDK.

  3. Selama panggilan keluar, Konektor Suara menerima audio setiap peserta panggilan.

  4. Karena integrasi bawaan dengan analitik panggilan, jika konfigurasi analisis panggilan dilampirkan ke Konektor Suara, layanan Konektor Suara memulai sesi analisis panggilan menggunakan layanan saluran media.

  5. Layanan saluran media memanggil satu atau lebih prosesor media seperti yang ditentukan dalam konfigurasi.

  6. Layanan pipa media mengirimkan data keluaran ke satu atau lebih tujuan berdasarkan konfigurasi. Misalnya, Anda dapat mengirim analitik real-time melalui Amazon Kinesis Data Stream, dan jika dikonfigurasi, Anda dapat mengirim metadata panggilan dan analitik ke gudang data Amazon S3.

  7. Layanan pipa media mengirimkan peristiwa status pipeline ke Amazon default EventBridge. Jika Anda telah mengonfigurasi aturan maka pemberitahuan untuk mereka akan dikirim ke Amazon EventBridge juga. Untuk informasi selengkapnya lihat, Menggunakan EventBridge notifikasi.

catatan

Anda dapat menyimpan data panggilan Voice Connector di Kinesis Video Streams untuk berbagai jumlah waktu, mulai dari jam hingga tahun. Memilih tidak ada retensi data membatasi kegunaan data panggilan untuk konsumsi langsung. Biaya Kinesis Video Streams ditentukan berdasarkan bandwidth dan total penyimpanan yang digunakan. Dimungkinkan untuk menyesuaikan periode retensi data kapan saja dengan mengedit konfigurasi streaming Konektor Suara Anda. Untuk mengaktifkan perekaman analisis panggilan, Anda harus memastikan bahwa Stream Video Kinesis menyimpan data sampai analisis panggilan selesai. Anda melakukannya dengan menentukan periode penyimpanan data yang sesuai.

Anda dapat mengaitkan konfigurasi pipeline wawasan media dengan Konektor Suara sebanyak yang Anda inginkan. Anda juga dapat membuat konfigurasi yang berbeda untuk setiap Konektor Suara. Konektor Suara menggunakan AWSServiceRoleForAmazonChimeVoiceConnector untuk memang CreateMediaInsightsPipeline gil API atas nama Anda sekali per ID transaksi. Untuk informasi tentang peran tersebut, lihat Menggunakan peran terkait layanan Amazon Chime SDK untuk Konektor Suara Amazon Chime SDK di Panduan Administrator Amazon Chime SDK.

Gunakan alur kerja ini jika Anda menggunakan Konektor Suara tetapi perlu mengontrol kapan Anda menerapkan konfigurasi analisis panggilan dan panggilan mana yang akan diterapkan konfigurasi.

Untuk menggunakan metode ini, Anda perlu membuat EventBridge target untuk peristiwa yang diterbitkan Voice Connector, dan kemudian menggunakan peristiwa tersebut untuk memicu API pipeline analisis panggilan. Untuk informasi selengkapnya, lihat Mengotomatiskan Amazon Chime SDK dengan EventBridge Panduan Administrator Amazon Chime SDK.

Diagram berikut menunjukkan cara menerapkan kontrol yang lebih terperinci saat menggunakan analitik panggilan dengan Konektor Suara. Angka dalam diagram sesuai dengan angka dalam teks di bawah ini.

Gambar menunjukkan aliran data saat menggunakan panggilan API dengan Konektor Suara.

Dalam diagram:

  1. Anda menggunakan konsol Amazon Chime SDK atau CreateMediaInsightsPipelineConfiguration API untuk membuat konfigurasi pipeline wawasan media.

  2. Selama panggilan keluar, Konektor Suara akan menerima audio peserta.

  3. Konektor Suara mengirimkan audio panggilan ke Kinesis Video Stream dan acara yang sesuai ke EventBridge. Acara ini memiliki metadata streaming dan panggilan.

  4. Aplikasi Anda berlangganan EventBridge melalui EventBridge Target.

  5. Aplikasi Anda memanggil Amazon Chime SDK API. CreateMediaInsightsPipeline

  6. Layanan saluran media memanggil satu atau lebih prosesor media berdasarkan elemen prosesor dalam konfigurasi pipeline wawasan media.

  7. Layanan pipa media mengirimkan data keluaran ke satu atau lebih tujuan berdasarkan konfigurasi. Analisis panggilan Amazon Chime SDK akan menyediakan analitik real-time melalui Amazon Kinesis Data Stream dan jika dikonfigurasi, analitik metadata panggilan ke gudang data Amazon S3.

  8. Layanan pipa media mengirimkan acara ke Amazon EventBridge. Jika Anda telah mengonfigurasi aturan maka pemberitahuan untuk mereka akan dikirim ke Amazon EventBridge juga.

  9. Anda dapat menjeda atau melanjutkan sesi analisis panggilan dengan memanggil UpdateMediaInsightsPipelineStatus API.

    catatan

    Rekaman panggilan tidak mendukung jeda dan melanjutkan panggilan. Selain itu, tugas analisis suara yang dimulai untuk panggilan juga berhenti saat Anda menjeda sesi. Untuk memulai ulang mereka, Anda harus memanggil StartVoiceToneAnalyisTask API StartSpeakerSearchTask or.

  10. Jika Anda memilih analisis nada suara selama konfigurasi, Anda memulai analisis suara dengan memanggil StartVoiceToneAnalyisTask API StartSpeakerSearchTask or.

Untuk menggunakan opsi ini, Anda perlu mempublikasikan data audio ke Kinesis Video Streams (KVS) dan kemudian memanggil CreateMediaInsightsPipeline API dengan informasi saluran aliran KVS.

catatan

API analisis panggilan mendukung maksimal dua saluran audio.

Saat memanggil CreateMediaInsightsPipeline API, Anda dapat menentukan nomor fragmen untuk setiap definisi saluran aliran KVS. Jika Anda memberikan nomor fragmen, analitik panggilan mulai memproses aliran pada fragmen itu. Jika tidak, analitik panggilan mulai memproses aliran dari fragmen terbaru yang tersedia.

Analisis panggilan mendukung audio PCM (hanya format audio little-endian 16-bit yang ditandatangani, yang tidak termasuk WAV) dengan laju sampel audio antara 8kHz dan 48kHz. Low-quality audio, seperti audio telepon, biasanya sekitar 8.000 Hz. High-quality Audio biasanya berkisar dari 16.000 Hz hingga 48.000 Hz. Laju sampel yang Anda tentukan harus sesuai dengan audio Anda. Untuk informasi selengkapnya, lihat KinesisVideoStreamSourceRuntimeConfiguration Refer ensi API Amazon Chime SDK.

Kinesis Video Streams Producer SDK menyediakan sekumpulan pustaka yang dapat Anda gunakan untuk mengalirkan data audio ke Stream Video Kinesis. Untuk informasi selengkapnya, lihat Perpustakaan Produsen Streams Video Kinesis, di Panduan Pengembang Amazon Kinesis Video Streams.

Diagram berikut menunjukkan aliran data saat menggunakan analitik panggilan dengan produsen Stream Video Kinesis kustom. Angka dalam diagram sesuai dengan teks bernomor di bawah ini.

Gambar yang menunjukkan aliran data saat menggunakan analitik panggilan dengan produser Kinesis Video Stream.

  1. Anda menggunakan AWS konsol atau CreateMediaInsightsPipelineConfiguration API untuk membuat konfigurasi pipeline wawasan media.

  2. Anda menggunakan Produser Stream Video Kinesis untuk menulis audio ke Kinesis Video Streams.

  3. Aplikasi Anda memanggil API. CreateMediaInsightsPipeline

  4. Layanan saluran media membaca audio dari Kinesis Video Streams pelanggan.

  5. Layanan pipa media mengirimkan acara ke Amazon EventBridge. Jika Anda telah mengonfigurasi aturan maka pemberitahuan untuk mereka akan dikirim ke Amazon EventBridge juga.

  6. Layanan pipa media memanggil satu atau lebih elemen prosesor.

  7. Layanan pipa media mengirimkan data keluaran ke satu atau lebih elemen sink.

  8. Anda dapat menjeda atau melanjutkan sesi analisis panggilan dengan memanggil UpdateMediaInsightsPipelineStatus API.

    catatan

    Rekaman panggilan tidak mendukung jeda dan melanjutkan.

  9. Aplikasi Anda dapat memproses EventBridge acara Amazon untuk memicu alur kerja bisnis khusus.

  10. Jika Anda memilih analisis suara saat membuat konfigurasi, aplikasi Anda dapat memulai analisis suara dengan memanggil StartVoiceToneAnalyisTask API StartSpeakerSearchTask or.