Descripción de los mensajes de transcripción en vivo de Amazon Chime SDK

El servicio Amazon Chime SDK comparte la información de transcripción con los asistentes mediante el envío de objetos de TranscriptEvent en mensajes de datos. Un TranscriptEvent entrega un Transcript o un TranscriptionStatus.

Un Transcript incluye los resultados con marcas de tiempo, palabras y signos de puntuación atribuidos al usuario. Un resultado puede ser «parcial», en cuyo caso el sistema normalmente lo actualiza en un TranscriptEvent posterior. Esto le permite ver las transcripciones rápidamente y aplicar las actualizaciones en línea más adelante, según sea necesario.

Un TranscriptStatus puede ofrecer uno de los eventos de TranscriptionStatusType, que se enumeran en el ejemplo de la siguiente sección.

Las versiones más recientes de Amazon Chime SDKs incluyen tipos de datos adicionales y funciones de ayuda para el procesamiento común a. TranscriptEvent

TranscriptEvent

Este ejemplo muestra un evento de transcripción típico.

type TranscriptEvent = Transcript | TranscriptionStatus;

export class TranscriptEventConverter {
  static from(dataMessage: DataMessage): TranscriptEvent[] {
    // convert DataMessage to TranscriptEvents
    return ...
  }
}

export default class TranscriptionStatus {
    type: TranscriptionStatusType;
    eventTimeMs:                   number;
    transcriptionRegion:           string;
    transcriptionConfiguration:    string;
    message?:                      string;
}

enum TranscriptionStatusType {
    STARTED        =    'started',
    INTERRUPTED    =    'interrupted',
    RESUMED        =    'resumed',
    STOPPED        =    'stopped',
    FAILED         =    'failed',
}

export default class Transcript {
    results: TranscriptResult[];    // at least one
}

export class TranscriptResult {
    resultId:        string;
    isPartial:       boolean;
    startTimeMs:     number;
    endTimeMs:       number;
    alternatives:    TranscriptAlternative[];    // most confident first
    }

export default class TranscriptAlternative {
    items: TranscriptItem[];    // in start time order
    transcript: string; //concatenated transcript items
    entities?: TranscriptEntity[];
}

export default class TranscriptItem {
    type:                      TranscriptItemType;
    startTimeMs:               number;
    endTimeMs:                 number;
    attendee:                  Attendee;
    content:                   string;
    vocabularyFilterMatch?:    boolean;
    confidence?:               number;  
    stable?:                   boolean;
}

enum TranscriptItemType {
    PRONUNCIATION    =    'pronunciation',// content is a word
    PUNCTUATION      =    'punctuation',// content is punctuation
}

export default class TranscriptEntity {  
    category:       string;  
    confidence:     number;  
    content:        string;  
    endTimeMs:      number;  
    startTimeMs:    number;  
    type?:          string;
}

// This is an existing SDK model
export default class Attendee {
    attendeeId:        string;
    externalUserId:    string;
}

Directrices de datos

Tenga en cuenta estas pautas a medida que avanza.

Registrar los controladores de eventos para TranscriptEvents

En los siguientes ejemplos se utiliza la biblioteca de cliente del SDK de Amazon Chime para. JavaScript Sin embargo, el patrón es uniforme en todos los Amazon Chime SDKs.

El TranscriptionController en el RealtimeController y RealtimeControllerFacade incluye funciones específicas para añadir un controlador que procese TranscriptionEvents:

/** 
 * Returns the [[TranscriptionController]] for this real-time controller. 
 */
readonly transcriptionController?: TranscriptionController; 

TranscriptionController tiene dos funciones para gestionar la suscripción y la cancelación de la suscripción a las devoluciones de llamadas de TranscriptionEvent:

import TranscriptEvent from './TranscriptEvent';

export default interface TranscriptionController {
  /**
   * Subscribe a callback to handle received transcript event
   */
  subscribeToTranscriptEvent(callback: (transcriptEvent: TranscriptEvent) => void): void;

  /** 
   * Unsubscribe a callback from receiving transcript event 
   */
  unsubscribeFromTranscriptEvent(callback: (transcriptEvent: TranscriptEvent) => void): void;
}

Uso del TranscriptionController opcional

Proporcionamos una implementación predeterminada de la interfaz de TranscriptionController denominada DefaultTranscriptionController. La implementación predeterminada en DefaultRealtimeController y DefaultAudioVideoFacade devuelve un objeto DefaultTranscriptionController:

/** 
get transcriptionController(): TranscriptionController {
   return this.realtimeController.transcriptionController;
}

DefaultRealtimeController también toma un objeto de TranscriptionController opcional en su constructor. Eso le permite anular el comportamiento de DefaultTranscriptionController. Las aplicaciones para desarrolladores se suscriben y cancelan la suscripción a una o más llamadas mediante el objeto de TranscriptionController del objeto AudioVideoFacade:

// Subscribe
this.audioVideo.transcriptionController?.subscribeToTranscriptEvent(this.transcriptEventHandler);

// Unsubscribe
this.audioVideo.transcriptionController?.unsubscribeFromTranscriptEvent(this.transcriptEventHandler););