了解 Amazon Chime SDK 实时转录消息

Amazon Chime SDK 服务通过在数据消息中发送 TranscriptEvent 对象，与与会者共享转录信息。TranscriptEvent 传递 Transcript 或 TranscriptionStatus。

Transcript 包括带有时间戳、用户归属单词和标点符号的结果。结果可能是“部分的”，在这种情况下，系统通常会在后续 TranscriptEvent 中对其进行更新。这使您可以快速查看转录，并在以后根据需要应用内联更新。

TranscriptStatus 可能会传递其中一个 TranscriptionStatusType 事件，如以下部分示例中所列。

较新版本的 Amazon Chime SDKs 包括用于常见处理的其他数据类型和辅助函数 a. TranscriptEvent

TranscriptEvent

此示例显示了一个典型转录事件。

type TranscriptEvent = Transcript | TranscriptionStatus;

export class TranscriptEventConverter {
  static from(dataMessage: DataMessage): TranscriptEvent[] {
    // convert DataMessage to TranscriptEvents
    return ...
  }
}

export default class TranscriptionStatus {
    type: TranscriptionStatusType;
    eventTimeMs:                   number;
    transcriptionRegion:           string;
    transcriptionConfiguration:    string;
    message?:                      string;
}

enum TranscriptionStatusType {
    STARTED        =    'started',
    INTERRUPTED    =    'interrupted',
    RESUMED        =    'resumed',
    STOPPED        =    'stopped',
    FAILED         =    'failed',
}

export default class Transcript {
    results: TranscriptResult[];    // at least one
}

export class TranscriptResult {
    resultId:        string;
    isPartial:       boolean;
    startTimeMs:     number;
    endTimeMs:       number;
    alternatives:    TranscriptAlternative[];    // most confident first
    }

export default class TranscriptAlternative {
    items: TranscriptItem[];    // in start time order
    transcript: string; //concatenated transcript items
    entities?: TranscriptEntity[];
}

export default class TranscriptItem {
    type:                      TranscriptItemType;
    startTimeMs:               number;
    endTimeMs:                 number;
    attendee:                  Attendee;
    content:                   string;
    vocabularyFilterMatch?:    boolean;
    confidence?:               number;  
    stable?:                   boolean;
}

enum TranscriptItemType {
    PRONUNCIATION    =    'pronunciation',// content is a word
    PUNCTUATION      =    'punctuation',// content is punctuation
}

export default class TranscriptEntity {  
    category:       string;  
    confidence:     number;  
    content:        string;  
    endTimeMs:      number;  
    startTimeMs:    number;  
    type?:          string;
}

// This is an existing SDK model
export default class Attendee {
    attendeeId:        string;
    externalUserId:    string;
}

数据准则

请记住这些准则。

为注册事件处理程序 TranscriptEvents

以下示例使用适用于 Amazon Chime 软件开发工具包的客户端库。 JavaScript但是，所有亚马逊 Ch SDKs ime 的模式都是一致的。

RealtimeController 和 RealtimeControllerFacade 中的 TranscriptionController 包括用于添加处理 TranscriptionEvents 的处理程序的特定函数：

/** 
 * Returns the [[TranscriptionController]] for this real-time controller. 
 */
readonly transcriptionController?: TranscriptionController; 

TranscriptionController 有两个函数，用于管理对 TranscriptionEvent 回调的订阅和取消订阅：

import TranscriptEvent from './TranscriptEvent';

export default interface TranscriptionController {
  /**
   * Subscribe a callback to handle received transcript event
   */
  subscribeToTranscriptEvent(callback: (transcriptEvent: TranscriptEvent) => void): void;

  /** 
   * Unsubscribe a callback from receiving transcript event 
   */
  unsubscribeFromTranscriptEvent(callback: (transcriptEvent: TranscriptEvent) => void): void;
}

使用可选 TranscriptionController

我们提供了名为 DefaultTranscriptionController 的 TranscriptionController 接口的默认实现。DefaultRealtimeController 和 DefaultAudioVideoFacade 中的默认实现会返回一个 DefaultTranscriptionController 对象：

/** 
get transcriptionController(): TranscriptionController {
   return this.realtimeController.transcriptionController;
}

DefaultRealtimeController 也在其构造函数中使用一个可选 TranscriptionController 对象。这允许您覆盖 DefaultTranscriptionController 行为。开发人员应用程序通过 AudioVideoFacade 对象的 TranscriptionController 对象订阅和取消订阅一个或多个回调：

// Subscribe
this.audioVideo.transcriptionController?.subscribeToTranscriptEvent(this.transcriptEventHandler);

// Unsubscribe
this.audioVideo.transcriptionController?.unsubscribeFromTranscriptEvent(this.transcriptEventHandler););