Comprendre les messages de transcription en direct du SDK Amazon Chime

Le service Amazon Chime SDK partage les informations de transcription avec les participants en envoyant des TranscriptEvent objets dans des messages de données. A TranscriptEvent livre un Transcript ou unTranscriptionStatus.

A Transcript inclut les résultats horodatés, les mots attribués par l'utilisateur et la ponctuation. Un résultat peut être « partiel », auquel cas le système le met généralement à jour ultérieurementTranscriptEvent. Cela vous permet de consulter rapidement les transcriptions et d'appliquer des mises à jour en ligne ultérieurement si nécessaire.

A TranscriptStatus peut présenter l'un des TranscriptionStatusType événements répertoriés dans l'exemple de la section suivante.

Les nouvelles versions d'Amazon Chime SDKs incluent des types de données supplémentaires et des fonctions d'assistance pour le traitement courant a. TranscriptEvent

TranscriptEvent

Cet exemple montre un événement de transcription typique.

type TranscriptEvent = Transcript | TranscriptionStatus;

export class TranscriptEventConverter {
  static from(dataMessage: DataMessage): TranscriptEvent[] {
    // convert DataMessage to TranscriptEvents
    return ...
  }
}

export default class TranscriptionStatus {
    type: TranscriptionStatusType;
    eventTimeMs:                   number;
    transcriptionRegion:           string;
    transcriptionConfiguration:    string;
    message?:                      string;
}

enum TranscriptionStatusType {
    STARTED        =    'started',
    INTERRUPTED    =    'interrupted',
    RESUMED        =    'resumed',
    STOPPED        =    'stopped',
    FAILED         =    'failed',
}

export default class Transcript {
    results: TranscriptResult[];    // at least one
}

export class TranscriptResult {
    resultId:        string;
    isPartial:       boolean;
    startTimeMs:     number;
    endTimeMs:       number;
    alternatives:    TranscriptAlternative[];    // most confident first
    }

export default class TranscriptAlternative {
    items: TranscriptItem[];    // in start time order
    transcript: string; //concatenated transcript items
    entities?: TranscriptEntity[];
}

export default class TranscriptItem {
    type:                      TranscriptItemType;
    startTimeMs:               number;
    endTimeMs:                 number;
    attendee:                  Attendee;
    content:                   string;
    vocabularyFilterMatch?:    boolean;
    confidence?:               number;  
    stable?:                   boolean;
}

enum TranscriptItemType {
    PRONUNCIATION    =    'pronunciation',// content is a word
    PUNCTUATION      =    'punctuation',// content is punctuation
}

export default class TranscriptEntity {  
    category:       string;  
    confidence:     number;  
    content:        string;  
    endTimeMs:      number;  
    startTimeMs:    number;  
    type?:          string;
}

// This is an existing SDK model
export default class Attendee {
    attendeeId:        string;
    externalUserId:    string;
}

Directives relatives aux données

Gardez ces directives à l'esprit au fur et à mesure.

Enregistrement de gestionnaires d'événements pour TranscriptEvents

Les exemples suivants utilisent la bibliothèque cliente du SDK Amazon Chime pour. JavaScript Cependant, le schéma est le même sur tous les Amazon Chime SDKs.

Le TranscriptionController in the RealtimeController et RealtimeControllerFacade inclut des fonctions spécifiques pour ajouter un gestionnaire qui traite TranscriptionEvents :

/** 
 * Returns the [[TranscriptionController]] for this real-time controller. 
 */
readonly transcriptionController?: TranscriptionController; 

TranscriptionControllerIl dispose de deux fonctions pour gérer l'abonnement et le désabonnement aux rappels : TranscriptionEvent

import TranscriptEvent from './TranscriptEvent';

export default interface TranscriptionController {
  /**
   * Subscribe a callback to handle received transcript event
   */
  subscribeToTranscriptEvent(callback: (transcriptEvent: TranscriptEvent) => void): void;

  /** 
   * Unsubscribe a callback from receiving transcript event 
   */
  unsubscribeFromTranscriptEvent(callback: (transcriptEvent: TranscriptEvent) => void): void;
}

Utilisation de l'option TranscriptionController

Nous fournissons une implémentation par défaut de TranscriptionController l'interface nomméeDefaultTranscriptionController. L'implémentation par défaut dans DefaultRealtimeController et DefaultAudioVideoFacade renvoie un DefaultTranscriptionController objet :

/** 
get transcriptionController(): TranscriptionController {
   return this.realtimeController.transcriptionController;
}

DefaultRealtimeControllerprend également un TranscriptionController objet optionnel dans son constructeur. Cela vous permet de modifier le DefaultTranscriptionController comportement. Les applications de développement s'abonnent et se désabonnent à un ou plusieurs rappels via l'TranscriptionControllerobjet de l'AudioVideoFacadeobjet :

// Subscribe
this.audioVideo.transcriptionController?.subscribeToTranscriptEvent(this.transcriptEventHandler);

// Unsubscribe
this.audioVideo.transcriptionController?.unsubscribeFromTranscriptEvent(this.transcriptEventHandler););