使用 IVS Android 广播 SDK 发布和订阅 | 实时直播功能

概念发布媒体流显示并删除参与者静音和取消静音媒体流监控远程参与者媒体静音状态获取 WebRTC 统计信息获取参与者属性在后台继续会话通过联播启用/禁用分层编码视频配置限制处理网络问题使用蓝牙麦克风

本文档将引导您完成使用 IVS 实时直播 Android 广播 SDK 发布和订阅舞台所涉及的步骤。

三个核心概念构成了实时功能的基础：舞台、策略和渲染器。设计目标是最大限度地减少构建有效产品所需的客户端逻辑量。

Stage 类是主机应用程序和 SDK 之间交互的主要点。此类表示舞台，用于加入和退出舞台。创建和加入舞台需要控制面板上有效的未过期令牌字符串（表示为 token）。加入和退出舞台很简单。


Stage stage = new Stage(context, token, strategy);

try {
	stage.join();
} catch (BroadcastException exception) {
	// handle join exception
}

stage.leave();

也可以将 StageRenderer 附加到 Stage 类：


stage.addRenderer(renderer); // multiple renderers can be added

Stage.Strategy 接口为主机应用程序提供了一种方法，可以将所需的舞台状态传递给 SDK。需要实现三项函数：shouldSubscribeToParticipant、shouldPublishFromParticipant 和 stageStreamsToPublishForParticipant。下面将进行详述。


Stage.SubscribeType shouldSubscribeToParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo);

当远程参与者加入舞台，SDK 会向主机应用程序查询该参与者的所需订阅状态。选项为 NONE、AUDIO_ONLY 和 AUDIO_VIDEO。为该函数返回值时，主机应用程序无需担心发布状态、当前订阅状态或舞台连接状态。如果返回 AUDIO_VIDEO，则 SDK 会等到远程参与者发布后再订阅，并在整个过程中通过渲染器更新主机应用程序。

以下是实施示例：


@Override
Stage.SubscribeType shouldSubscribeToParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo) {
	return Stage.SubscribeType.AUDIO_VIDEO;
}

完整实施此功能，适用于始终希望所有参与者都能看到对方的主机应用程序；例如，视频聊天应用程序。

也可以进行更高级的实施。根据服务器提供的属性，使用 ParticipantInfo 上的 userInfo 属性有选择地订阅参与者：


@Override
Stage.SubscribeType shouldSubscribeToParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo) {
	switch(participantInfo.userInfo.get(“role”)) {
		case “moderator”:
			return Stage.SubscribeType.NONE;
		case “guest”:
			return Stage.SubscribeType.AUDIO_VIDEO;
		default:
			return Stage.SubscribeType.NONE;
	}
}

此操作用于创建舞台，在该舞台中，监管人可以监视所有来宾，而不会被来宾看见或听见。主机应用程序可以使用其他业务逻辑，让监管人看到彼此，但对来宾不可见。


SubscribeConfiguration subscribeConfigurationForParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo);

如果正在订阅远程参与者（请参阅订阅参与者），则 SDK 会询问主机应用程序有关该参与者的自定义订阅配置。此配置是可选的，允许主机应用程序控制订阅用户行为的某些方面。有关可配置内容的信息，请参阅 SDK 参考文档中的 SubscribeConfiguration。

以下是实施示例：


@Override
public SubscribeConfiguration subscribeConfigrationForParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo) {
    SubscribeConfiguration config = new SubscribeConfiguration();

    config.jitterBuffer.setMinDelay(JitterBufferConfiguration.JitterBufferDelay.MEDIUM());

    return config;
}

此实现将所有已订阅参与者的抖动缓冲区最小延迟更新为预设的 MEDIUM。

与 shouldSubscribeToParticipant 一样，可以实现更高级的实现。给定的 ParticipantInfo 可用于有选择地更新特定参与者的订阅配置。

建议使用默认行为。仅在需要更改特定行为时指定自定义配置。


boolean shouldPublishFromParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo);

连接到舞台后，SDK 会查询主机应用程序以查看特定参与者是否应该发布。仅对有权根据提供的令牌进行发布的本地参与者调用此操作。

以下是实施示例：


@Override
boolean shouldPublishFromParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo) {
	return true;
}

适用于用户总想发布的标准视频聊天应用程序。用户可以将音频和视频静音或取消静音，以便立即隐藏或被看见/听见。（他们也可以使用发布/取消发布，但这要慢得多。对于经常需要更改可见性的使用场景，静音/取消静音更可取。）


@Override
List<LocalStageStream> stageStreamsToPublishForParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo);
}

这项操作用于在发布时确定应发布的音频和视频流。稍后将在 Publish a Media Stream 中对此进行更详细的介绍。

此策略是动态的：可以随时更改从上述任何函数返回的值。例如，如果主机应用程序希望最终用户点击按钮之前不要发布，则可以从 shouldPublishFromParticipant（类似于 hasUserTappedPublishButton）返回一个变量。当该变量根据最终用户的交互而发生变化时，调用 stage.refreshStrategy() 发送信号到 SDK，表明 SDK 应该查询策略以获取最新值，仅应用已更改的内容。如果 SDK 发现 shouldPublishFromParticipant 值已更改，它将启动发布流程。如果 SDK 查询和所有函数返回的值与之前相同，则 refreshStrategy 调用将不会对舞台进行任何修改。

如果 shouldSubscribeToParticipant 的返回值从 AUDIO_VIDEO 更改为 AUDIO_ONLY，则如果之前存在视频流，将删除所有返回值已更改的参与者的视频流。

通常，舞台使用该策略来最有效地应用以前和当前策略之间的差异，而主机应用程序无需担心正确管理该策略所需的所有状态。因此，可以将调用 stage.refreshStrategy() 视为一种只需少量计算的操作，因为除非策略发生变化，否则该调用什么都不会做。

StageRenderer 接口将舞台状态传递给主机应用程序。渲染器提供的事件通常完全可以支持主机应用程序界面的更新。渲染器提供以下函数：


void onParticipantJoined(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo);

void onParticipantLeft(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo);

void onParticipantPublishStateChanged(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo, @NonNull Stage.PublishState publishState);

void onParticipantSubscribeStateChanged(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo, @NonNull Stage.SubscribeState subscribeState);

void onStreamsAdded(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo, @NonNull List<StageStream> streams);

void onStreamsRemoved(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo, @NonNull List<StageStream> streams);

void onStreamsMutedChanged(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo, @NonNull List<StageStream> streams);

void onError(@NonNull BroadcastException exception);

void onConnectionStateChanged(@NonNull Stage stage, @NonNull Stage.ConnectionState state, @Nullable BroadcastException exception);

对于其中大多数方法，提供相应的 Stage 和 ParticipantInfo。

预计渲染器提供的信息不会影响策略的返回值。例如，调用 onParticipantPublishStateChanged 时，shouldSubscribeToParticipant 的返回值预计不会改变。如果主机应用程序想要订阅特定参与者，则无论该参与者的发布状态如何，它都应返回所需的订阅类型。SDK 负责确保根据舞台状态在正确的时间执行策略的期望状态。

可以将 StageRenderer 附加到舞台类：


stage.addRenderer(renderer); // multiple renderers can be added

请注意，只有发布参与者才会触发 onParticipantJoined，每当参与者停止发布或退出舞台会话时，都会触发 onParticipantLeft。

通过 DeviceDiscovery 发现内置麦克风和摄像头等本地设备。以下示例演示如何选择前置摄像头和默认麦克风，然后将它们作为 LocalStageStreams 返回，由 SDK 发布：


DeviceDiscovery deviceDiscovery = new DeviceDiscovery(context);

List<Device> devices = deviceDiscovery.listLocalDevices();
List<LocalStageStream> publishStreams = new ArrayList<LocalStageStream>();

Device frontCamera = null;
Device microphone = null;

// Create streams using the front camera, first microphone
for (Device device : devices) {
	Device.Descriptor descriptor = device.getDescriptor();
	if (!frontCamera && descriptor.type == Device.Descriptor.DeviceType.Camera && descriptor.position = Device.Descriptor.Position.FRONT) {
		front Camera = device;
	}
	if (!microphone && descriptor.type == Device.Descriptor.DeviceType.Microphone) {
		microphone = device;
	}
}

ImageLocalStageStream cameraStream = new ImageLocalStageStream(frontCamera);
AudioLocalStageStream microphoneStream = new AudioLocalStageStream(microphoneDevice);

publishStreams.add(cameraStream);
publishStreams.add(microphoneStream);

// Provide the streams in Stage.Strategy
@Override
@NonNull List<LocalStageStream> stageStreamsToPublishForParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo) {
	return publishStreams;
}

订阅完成后，您将通过渲染器的 onStreamsAdded 函数接收一组 StageStream 对象。您可以从 ImageStageStream 检索预览：


ImagePreviewView preview = ((ImageStageStream)stream).getPreview();

// Add the view to your view hierarchy
LinearLayout previewHolder = findViewById(R.id.previewHolder);
preview.setLayoutParams(new LinearLayout.LayoutParams(
		LinearLayout.LayoutParams.MATCH_PARENT,
		LinearLayout.LayoutParams.MATCH_PARENT));
previewHolder.addView(preview);

您可以从 AudioStageStream 检索音频级别的统计信息：


((AudioStageStream)stream).setStatsCallback((peak, rms) -> {
	// handle statistics
});

当参与者停止发布或取消订阅时，将使用已删除的流来调用 onStreamsRemoved 函数。主机应用程序应将其用作信号，从视图层次结构中删除参与者的视频流。

在所有可能删除流的场景中都会调用 onStreamsRemoved，包括：

远程参与者停止发布。
本地设备取消订阅或将订阅从 AUDIO_VIDEO 更改为 AUDIO_ONLY。
远程参与者退出舞台。
本地参与者退出舞台。

由于在所有场景中都会调用 onStreamsRemoved，因此在远程或本地退出操作期间，从用户界面中删除参与者无需自定义业务逻辑。

LocalStageStream 对象具有控制流是否静音的 setMuted 函数。可以在 streamsToPublishForParticipant 策略函数返回之前或之后在流上调用此函数。

重要提示：如果在调用 refreshStrategy 后 streamsToPublishForParticipant 返回了新的 LocalStageStream 对象实例，将对舞台应用新流对象的静音状态。创建新 LocalStageStream 实例时要小心，务必保持预期的静音状态。

当参与者更改其视频或音频流的静音状态时，将使用已更改的流列表调用渲染器 onStreamMutedChanged 函数。使用 StageStream 上的 getMuted 方法相应地更新您的用户界面。


@Override
void onStreamsMutedChanged(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo, @NonNull List<StageStream> streams) {
	for (StageStream stream : streams) {
		boolean muted = stream.getMuted();
		// handle UI changes
	}
}

要获取发布流或订阅流的最新 WebRTC 统计信息，请使用 StageStream 上的 requestRTCStats。收集完成后，您将通过 StageStream.Listener（可在 StageStream 上设置）收到统计信息。


stream.requestRTCStats();

@Override
void onRTCStats(Map<String, Map<String, String>> statsMap) {
	for (Map.Entry<String, Map<String, string>> stat : statsMap.entrySet()) {
		for(Map.Entry<String, String> member : stat.getValue().entrySet()) {
			Log.i(TAG, stat.getKey() + “ has member “ + member.getKey() + “ with value “ + member.getValue());
		}
	}
}

如果您在 CreateParticipantToken 端点请求中指定属性，则可以在 ParticipantInfo 属性中看到这些属性：


@Override
void onParticipantJoined(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo) {
	for (Map.Entry<String, String> entry : participantInfo.userInfo.entrySet()) {
		Log.i(TAG, “attribute: “ + entry.getKey() + “ = “ + entry.getValue());
	}
}

应用程序进入后台时，您可能需要停止发布或仅订阅其他远程参与者的音频。要实现此目的，请更新 Strategy 实施以停止发布，然后订阅 AUDIO_ONLY（或者 NONE，如果适用）。


// Local variables before going into the background
boolean shouldPublish = true;
Stage.SubscribeType subscribeType = Stage.SubscribeType.AUDIO_VIDEO;

// Stage.Strategy implementation
@Override
boolean shouldPublishFromParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo) {
	return shouldPublish;
}

@Override
Stage.SubscribeType shouldSubscribeToParticipant(@NonNull Stage stage, @NonNull ParticipantInfo participantInfo) {
	return subscribeType;
}

// In our Activity, modify desired publish/subscribe when we go to background, then call refreshStrategy to update the stage
@Override
void onStop() {
	super.onStop();
	shouldPublish = false;
	subscribeTpye = Stage.SubscribeType.AUDIO_ONLY;
	stage.refreshStrategy();
}

发布媒体流时，SDK 会传输高质量和低质量的视频流，因此即使下行带宽有限，远程参与者也可以订阅此流。默认情况下，联播分层编码为启用状态。您可以使用 StageVideoConfiguration.Simulcast 类将其禁用：


// Disable Simulcast
StageVideoConfiguration config = new StageVideoConfiguration();
config.simulcast.setEnabled(false);

ImageLocalStageStream cameraStream = new ImageLocalStageStream(frontCamera, config);

// Other Stage implementation code

SDK 不支持使用 StageVideoConfiguration.setSize(BroadcastConfiguration.Vec2 size) 强制纵向模式或横向模式。在纵向中，较小的尺寸为宽度；在横向中，较小的尺寸为高度。这意味着以下两个对 setSize 的调用会对视频配置产生相同的影响：


StageVideo Configuration config = new StageVideo Configuration();

config.setSize(BroadcastConfiguration.Vec2(720f, 1280f);
config.setSize(BroadcastConfiguration.Vec2(1280f, 720f);

本地设备的网络连接中断时，SDK 会内部尝试重新连接，无需用户执行任何操作。在某些情况下，SDK 无法重新连接，则需要用户操作。有两个与网络连接中断有关的主要错误：

错误代码 1400，消息：“由于未知的网络错误，PeerConnection 中断”
错误代码 1300，消息：“重试次数已用完”

如果收到第一个错误但没有收到第二个错误，则 SDK 仍在连接该舞台，并将尝试自动重新建立连接。作为一种保护措施，您可以在不更改策略方法的返回值的情况下调用 refreshStrategy，以触发手动重新连接。

如果收到第二个错误，则 SDK 的重新连接尝试已失败，本地设备不再连接到舞台。在这种情况下，请尝试在重新建立网络连接后调用 join，以重新加入舞台。

通常，成功加入舞台后遇到错误则表明 SDK 未能成功重新建立连接。创建新的 Stage 对象，并在网络条件改善时尝试加入。

要使用蓝牙麦克风设备进行发布，必须启动蓝牙 SCO 连接：


Bluetooth.startBluetoothSco(context);
// Now bluetooth microphones can be used
…
// Must also stop bluetooth SCO
Bluetooth.stopBluetoothSco(context);

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

文档惯例

开始使用

已知问题和解决方法

使用 IVS Android 广播 SDK 发布和订阅 | 实时直播功能

概念

舞台

策略

订阅参与者

订阅参与者的配置

发布

选择要发布的流

更新策略

渲染器

发布媒体流

显示并删除参与者

静音和取消静音媒体流

监控远程参与者媒体静音状态

获取 WebRTC 统计信息

获取参与者属性

在后台继续会话

通过联播启用/禁用分层编码

视频配置限制

处理网络问题

使用蓝牙麦克风