IVS Broadcast SDK: モバイルオーディオモード | リアルタイムストリーミング

オーディオ品質はリアルチームのメディアエクスペリエンスにとって重要な部分であり、あらゆるユースケースに最適な万能のオーディオ構成はありません。IVS リアルタイムストリームを聴くときにユーザーが最高の体験を得られるように、モバイル SDK には複数のプリセットオーディオ構成が用意されているほか、必要に応じてさらに強力なカスタマイズも可能です。

序章

IVS モバイル Broadcast SDK には StageAudioManager クラスが用意されています。このクラスは、2 つのプラットフォームの基盤オーディオモードを一元的に制御できるように設計されています。Android では、オーディオモード、オーディオソース、コンテンツタイプ、使用方法、通信デバイスなど、AudioManager を制御します。iOS では、アプリケーションの AVAudioSession を制御し、voiceProcessing を有効にするかどうかも制御します。

重要: IVS リアルタイム Broadcast SDK がアクティブな間は、AVAudioSession や AudioManager を直接操作しないでください。これを行うと、オーディオが失われたり、間違ったデバイスから録音されたり、間違ったデバイスで再生されたりする可能性があります。

最初の DeviceDiscovery オブジェクトまたは Stage オブジェクトを作成する前に、StageAudioManager クラスを設定する必要があります。

Android (Kotlin)

StageAudioManager.getInstance(context).setPreset(StageAudioManager.UseCasePreset.VIDEO_CHAT) // The default value

val deviceDiscovery = DeviceDiscovery(context)
val stage = Stage(context, token, this)

// Other Stage implementation code
                    

iOS (Swift)

IVSStageAudioManager.sharedInstance().setPreset(.videoChat) // The default value

let deviceDiscovery = IVSDeviceDiscovery()
let stage = try? IVSStage(token: token, strategy: self)

// Other Stage implementation code
                    

DeviceDiscovery インスタンスや Stage インスタンスの初期化前に StageAudioManager に何も設定されていない場合、VideoChat プリセットが自動的に適用されます。

オーディオユースケースのプリセット

リアルタイム Broadcast SDK には 3 つのプリセットがあり、以下で説明するように、それぞれ一般的なユースケースに合わせて調整されています。各プリセットについて、プリセットを互いに区別する 5 つの主要カテゴリについて説明します。

Volume Rocker カテゴリは、デバイスの物理ボリュームロッカーを介して使用または変更されたボリュームのタイプ (メディアボリュームまたはコールボリューム) を指します。これは、オーディオモードを切り替えるときにボリュームに影響することに注意してください。例えば、Video Chat プリセットの使用中にデバイスボリュームが最大値に設定されているとします。Subscribe Only プリセットに切り替えると、オペレーティングシステムとは異なるボリュームレベルになり、デバイスで大幅なボリューム変更が発生する可能性があります。

ビデオチャット

これはデフォルトのプリセットで、ローカルデバイスが他の参加者とリアルタイムで会話する場合に適しています。

iOS の既知の問題: このプリセットを使用してマイクをアタッチしないと、デバイススピーカーではなくイヤホンでオーディオが再生されます。このプリセットは、マイクと組み合わせてのみ使用してください。

サブスクライブのみ

このプリセットは、公開している他の参加者をサブスクライブする予定があっても自分では公開しない場合向けに設計されています。オーディオの品質に重点を置き、利用可能なすべての出力デバイスをサポートしています。

Studio

このプリセットは、公開機能を維持したまま、質の高いサブスクライブができるように設計されています。エコーキャンセレーション機能付きの録音再生ハードウェアが必要です。この場合のユースケースは、USB マイクと有線ヘッドセットの使用です。エコーの原因とならないようにデバイスの物理的な分離を確保しながら、SDK は最高品質のオーディオを維持します。

高度なユースケース

プリセット以外にも、iOS と Android のリアルタイムストリーミング Broadcast SDK では、基盤となるプラットフォームのオーディオモードを次のように設定できます。

注: これらのオーディオ SDK メソッドを使用する場合、基盤となるオーディオセッションを誤って設定する可能性があります。例えば、iOS で .allowBluetooth オプションを .playback カテゴリと組み合わせて使用すると、無効なオーディオ設定が作成され、SDK はオーディオを録音または再生できません。これらのメソッドは、アプリケーションに特定のオーディオセッション要件が検証されている場合にのみ使用されるように設計されています。

Android (Kotlin)

// This would act similar to the Subscribe Only preset, but it uses a different ContentType.
StageAudioManager.getInstance(context)
    .setConfiguration(StageAudioManager.Source.GENERIC,
                      StageAudioManager.ContentType.MOVIE,
                      StageAudioManager.Usage.MEDIA);

val stage = Stage(context, token, this)

// Other Stage implementation code
                    

iOS (Swift)

// This would act similar to the Subscribe Only preset, but it uses a different mode and options.
IVSStageAudioManager.sharedInstance()
    .setCategory(.playback,
                 options: [.duckOthers, .mixWithOthers],
                 mode: .default)

let stage = try? IVSStage(token: token, strategy: self)

// Other Stage implementation code
                    

iOS エコーキャンセレーション

iOS でのエコーキャンセレーションは、echoCancellationEnabled メソッドを使用して IVSStageAudioManager を介して個別に制御することもできます。このメソッドは、SDK が使用し、基盤となっている AVAudioEngine の入出力ノードで音声処理が有効になっているかどうかを制御します。このプロパティを手動で変更した場合の以下の影響を理解することは重要です。

デバイスと iOS のバージョンによって動作が異なる場合があります。

iOS カスタムオーディオソース

カスタムオーディオソースは、IVSDeviceDiscovery.createAudioSource を使用して SDK で使用できます。ステージに接続する場合、IVS Real-Time Streaming Broadcast SDK は、SDK のマイクが使用されていなくても、音声再生用の内部 AVAudioEngine インスタンスを管理します。そのため、IVSStageAudioManager に提供される値は、カスタムオーディオソースによって提供されるオーディオと互換性がある必要があります。

公開に使用されるカスタムオーディオソースがマイクからの録音でホストアプリケーションで管理されている場合、上記のエコーキャンセレーション SDK は、SDK 管理のマイクがアクティブ化されない限り機能しません。この要件を回避する方法については、「iOS エコーキャンセレーション」を参照してください。

Android で Bluetooth を使用して公開する

以下の条件が満たされると、SDK は Android の VIDEO_CHAT プリセットに自動的に戻ります。

これは Bluetooth ヘッドセットを使用してオーディオを録音する方法に関する Android オペレーティングシステムの制限です。

他の SDK との統合

iOS と Android はどちらもアプリケーションごとにアクティブなオーディオモードを 1 つしかサポートしていないため、オーディオモードの制御を必要とする複数の SDK をアプリケーションで使用していると、競合が発生することがよくあります。このような競合が発生した場合は、以下で説明する一般的な解決方法をいくつか試してみてください。

オーディオモードの値に合わせる

IVS SDK の高度なオーディオ設定オプションまたは他の SDK の機能を使用して、2 つの SDK を基本となる値に合わせます。

Agora

iOS

iOS では、Agora SDK に AVAudioSession をアクティブのままにしておくように指示すると、IVS Real-Time Streaming Broadcast SDK が使用している間は非アクティブ化されなくなります。

myRtcEngine.SetParameters("{\"che.audio.keep.audiosession\":true}");

Android

IVS Real-Time Streaming Broadcast SDK で公開中に RtcEngine で setEnableSpeakerphone を呼び出すことや enableLocalAudio(false) を呼び出すことは避けてください。IVS SDK で公開していないときに再度 enableLocalAudio(true) を呼び出す機会があります。