View a markdown version of this page

Comprendre les flux de travail pour les analyses basées sur l'apprentissage automatique pour le SDK Amazon Chime - Kit SDK Amazon Chime

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comprendre les flux de travail pour les analyses basées sur l'apprentissage automatique pour le SDK Amazon Chime

Les sections suivantes décrivent comment utiliser les fonctionnalités d'analyse d'apprentissage automatique fournies par l'analyse des appels du SDK Amazon Chime.

Note

Si vous envisagez d'exécuter plusieurs analyses d'apprentissage automatique sur le même flux vidéo Kinesis, vous devrez peut-être augmenter la limite de niveau de connexion pour GetMedia et GetMediaForFragmentList pour le flux vidéo. Pour plus d'informations, reportez-vous à la section Limites de Kinesis Video Streams dans le Guide du développeur de Kinesis Video Streams.

Utilisez ce flux de travail lorsque :

  • Vous voulez une configuration pilotée par console.

  • Vous utilisez déjà ou prévoyez d'utiliser un connecteur vocal pour intégrer le média SIP dans l'analyse des appels. Les connecteurs vocaux prennent en charge le SIP ainsi que le SIPREC. Pour plus d'informations sur la configuration des connecteurs vocaux, consultez la section Gestion du connecteur vocal Amazon Chime SDK.

  • Vous souhaitez appliquer la même configuration Media Insights à chaque appel du connecteur vocal.

  • Vous devez utiliser l'analyse vocale du SDK Amazon Chime, qui nécessite un connecteur vocal ou un pipeline d'informations sur les médias.

Pour activer ce flux de travail dans la console Amazon Chime SDK, suivez les étapes de création d'une configuration d'enregistrement dans Configuration des connecteurs vocaux pour utiliser l'analyse des appels.

Pour activer ce flux de travail par programmation, utilisez les API suivantes : CreateMediaInsightsPipelineConfiguration API pour créer une configuration d'analyse des appels, puis associez la configuration à un connecteur vocal à l'aide de l'PutVoiceConnectorStreamingConfigurationAPI. Pour plus d'informations, consultez la section Configuration des connecteurs vocaux pour utiliser l'analyse vocale dans le Guide de l'administrateur du SDK Amazon Chime.

Le schéma suivant montre le flux de données lorsqu'un connecteur vocal lance une session d'analyse des appels. Les chiffres du diagramme correspondent au texte numéroté ci-dessous.

Image showing the flow of data when a Voice Connector initiates a call.

Dans le schéma :

  1. Vous utilisez la console Amazon Chime SDK ou l'CreateMediaInsightsPipelineConfigurationAPI pour créer une configuration de pipeline Media Insights.

  2. Vous utilisez la console Amazon Chime SDK ou l'PutVoiceConnectorStreamingConfigurationAPI pour associer la configuration à un connecteur vocal. Pour associer une configuration existante à un connecteur vocal, reportez-vous à la section Configuration des connecteurs vocaux pour utiliser l'analyse des appels, dans le guide de l'administrateur du SDK Amazon Chime.

  3. Lors d'un appel sortant, le connecteur vocal reçoit le son de chaque participant à l'appel.

  4. Grâce à l'intégration intégrée à l'analyse des appels, si une configuration d'analyse des appels est associée à un connecteur vocal, le service Voice Connector lance une session d'analyse des appels à l'aide du service Media Pipeline.

  5. Le service de pipeline multimédia invoque un ou plusieurs processeurs multimédia comme spécifié dans la configuration.

  6. Le service de pipeline multimédia envoie les données de sortie vers une ou plusieurs destinations en fonction de la configuration. Par exemple, vous pouvez envoyer des analyses en temps réel via un flux de données Amazon Kinesis et, si cela est configuré, vous pouvez envoyer les métadonnées et les analyses des appels à un entrepôt de données Amazon S3.

  7. Le service de pipeline multimédia envoie les événements d'état du pipeline à l'Amazon par défaut EventBridge. Si vous avez configuré des règles, les notifications correspondantes seront également envoyées EventBridge à Amazon. Pour plus d'informations, consultez la section Utilisation EventBridge des notifications.

Note

Vous pouvez stocker les données d'appel du connecteur vocal dans Kinesis Video Streams pendant des durées variables, allant de quelques heures à plusieurs années. Le fait de ne pas conserver les données limite l'utilisabilité des données d'appel pour une consommation immédiate. Le coût de Kinesis Video Streams est déterminé en fonction de la bande passante et du stockage total utilisés. Il est possible d'ajuster la durée de conservation des données à tout moment en modifiant la configuration de streaming de votre Voice Connector. Pour activer l'enregistrement des analyses des appels, vous devez vous assurer que Kinesis Video Stream conserve les données jusqu'à la fin de l'analyse des appels. Pour ce faire, vous devez spécifier une période de conservation des données appropriée.

Vous pouvez associer une configuration de pipeline Media Insights à autant de connecteurs vocaux que vous le souhaitez. Vous pouvez également créer une configuration différente pour chaque connecteur vocal. Les connecteurs vocaux utilisent le AWSServiceRoleForAmazonChimeVoiceConnector pour appeler l'CreateMediaInsightsPipelineAPI en votre nom une fois par identifiant de transaction. Pour plus d'informations sur le rôle, consultez la section Utilisation du rôle lié au service Amazon Chime SDK pour les connecteurs vocaux Amazon Chime SDK dans le Guide de l'administrateur du SDK Amazon Chime.

Utilisez ce flux de travail si vous utilisez un connecteur vocal mais que vous devez contrôler quand vous appliquez une configuration d'analyse des appels et à quel appel appliquer la configuration.

Pour utiliser cette méthode, vous devez créer une EventBridge cible pour les événements publiés par le Voice Connector, puis utiliser les événements pour déclencher les API du pipeline d'analyse des appels. Pour plus d'informations, consultez Automatisation du SDK Amazon Chime EventBridge dans le Guide de l'administrateur du SDK Amazon Chime.

Le schéma suivant montre comment implémenter un contrôle plus granulaire lors de l'utilisation de l'analyse des appels avec Voice Connector. Les chiffres du diagramme correspondent aux chiffres du texte ci-dessous.

Image montrant le flux de données lors de l'utilisation d'appels d'API avec Voice Connectors.

Dans le schéma :

  1. Vous utilisez la console Amazon Chime SDK ou l'CreateMediaInsightsPipelineConfigurationAPI pour créer une configuration de pipeline Media Insights.

  2. Lors d'un appel sortant, le connecteur vocal reçoit le son du participant.

  3. Le connecteur vocal envoie le son des appels à Kinesis Video Stream et les événements correspondants au EventBridge. Ces événements comportent des métadonnées de flux et d'appel.

  4. Votre application est souscrite EventBridge via un EventBridge Target.

  5. Votre application invoque l'API du SDK CreateMediaInsightsPipeline Amazon Chime.

  6. Le service de pipeline multimédia invoque un ou plusieurs processeurs multimédia en fonction des éléments du processeur dans la configuration du pipeline d'informations multimédia.

  7. Le service de pipeline multimédia envoie les données de sortie vers une ou plusieurs destinations en fonction de la configuration. L'analyse des appels du SDK Amazon Chime fournira des analyses en temps réel via Amazon Kinesis Data Stream et, si la configuration est configurée, des analyses des métadonnées des appels vers un entrepôt de données Amazon S3.

  8. Le service Media Pipeline envoie les événements à Amazon EventBridge. Si vous avez configuré des règles, les notifications correspondantes seront également envoyées EventBridge à Amazon.

  9. Vous pouvez suspendre ou reprendre la session d'analyse des appels en invoquant l'UpdateMediaInsightsPipelineStatusAPI.

    Note

    L'enregistrement des appels ne permet pas de suspendre et de reprendre les appels. En outre, les tâches d'analyse vocale lancées pour l'appel s'arrêtent également lorsque vous interrompez une session. Pour les redémarrer, vous devez appeler les StartVoiceToneAnalyisTask API StartSpeakerSearchTask or.

  10. Si vous sélectionnez l'analyse des tonalités vocales lors de la configuration, vous pouvez démarrer l'analyse vocale en appelant les StartVoiceToneAnalyisTask API StartSpeakerSearchTask ou.

Pour utiliser cette option, vous devez publier des données audio sur Kinesis Video Streams (KVS), puis appeler l'CreateMediaInsightsPipelineAPI avec les informations du canal de diffusion KVS.

Note

Les API d'analyse des appels prennent en charge un maximum de deux canaux audio.

Lorsque vous appelez l'CreateMediaInsightsPipelineAPI, vous pouvez spécifier des numéros de fragment pour chaque définition de canal de flux KVS. Si vous indiquez un numéro de fragment, l'analyse des appels commence à traiter le flux correspondant à ce fragment. Sinon, l'analyse des appels commence à traiter le flux à partir du dernier fragment disponible.

L'analyse des appels prend en charge l'audio PCM (uniquement les formats audio Little-Endian 16 bits signés, qui n'incluent pas le WAV) avec une fréquence d'échantillonnage audio comprise entre 8 kHz et 48 kHz. Low-quality le son, tel que le son de téléphonie, est généralement d'environ 8 000 Hz. High-quality le son varie généralement de 16 000 Hz à 48 000 Hz. La fréquence d'échantillonnage que vous spécifiez doit correspondre à celle de votre audio. Pour plus d'informations, consultez KinesisVideoStreamSourceRuntimeConfiguration le manuel Amazon Chime SDK API Reference.

Le SDK Kinesis Video Streams Producer fournit un ensemble de bibliothèques que vous pouvez utiliser pour diffuser des données audio vers un flux vidéo Kinesis. Pour plus d'informations, consultez la section Bibliothèques de production de Kinesis Video Streams, dans le Guide du développeur Amazon Kinesis Video Streams.

Le schéma suivant montre le flux de données lors de l'utilisation de l'analyse des appels avec un producteur Kinesis Video Stream personnalisé. Les chiffres du diagramme correspondent au texte numéroté ci-dessous.

Image montrant le flux de données lors de l'utilisation de l'analyse des appels avec un producteur Kinesis Video Stream.

  1. Vous utilisez la AWS console ou l'CreateMediaInsightsPipelineConfigurationAPI pour créer une configuration de pipeline Media Insights.

  2. Vous utilisez un Kinesis Video Stream Producer pour enregistrer du son sur Kinesis Video Streams.

  3. Votre application invoque l'CreateMediaInsightsPipelineAPI.

  4. Le service de pipeline multimédia lit le contenu audio des flux vidéo Kinesis du client.

  5. Le service Media Pipeline envoie les événements à Amazon EventBridge. Si vous avez configuré des règles, les notifications correspondantes seront également envoyées EventBridge à Amazon.

  6. Le service de pipeline multimédia invoque un ou plusieurs éléments du processeur.

  7. Le service de pipeline multimédia envoie des données de sortie à un ou plusieurs éléments récepteurs.

  8. Vous pouvez suspendre ou reprendre la session d'analyse des appels en invoquant l' UpdateMediaInsightsPipelineStatusAPI.

    Note

    L'enregistrement des appels ne prend pas en charge la pause et la reprise.

  9. Votre application peut traiter les EventBridge événements Amazon pour déclencher des flux de travail commerciaux personnalisés.

  10. Si vous sélectionnez l'analyse vocale lorsque vous créez une configuration, votre application peut démarrer l'analyse vocale en appelant les StartVoiceToneAnalyisTask API StartSpeakerSearchTask ou.