配置流媒体响应行为以筛选内容 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

配置流媒体响应行为以筛选内容

以流媒体格式InvokeModelWithResponseStreamAPI返回数据。这使您可以分块访问响应，而无需等待整个结果。当使用带有流式响应的护栏时，有两种操作模式：同步和异步。

同步模式

在默认的同步模式下，在将响应发送回给用户之前，护栏会缓冲配置的策略并将其应用于一个或多个响应块。同步处理模式会给响应区块带来一些延迟，因为这意味着响应会延迟到护栏扫描完成。但是，它提供了更好的准确性，因为每个响应块在发送给用户之前都要通过护栏进行扫描。

异步模式

在异步模式下，护栏会在响应块可用时立即将其发送给用户，同时在后台异步应用配置的策略。优点是可以立即提供响应块，不会影响延迟，但是在护栏扫描完成之前，响应块可能包含不适当的内容。一旦发现不当内容，随后的区块就会被护栏挡住。

警告

在异步模式下，模型响应中敏感信息的屏蔽可能会受到严重影响，因为在护栏检测和屏蔽模型响应中的任何敏感内容之前，原始响应可能会返回给用户。因此，对于此类用例，不建议使用异步模式。

启用异步模式

要启用异步模式，您需要在InvokeModelWithResponseStream请求的amazon-bedrock-guardrailConfig对象中包含streamProcessingMode参数：

{
   "amazon-bedrock-guardrailConfig": {
   "streamProcessingMode": "ASYNCHRONOUS"
   }
}

通过了解同步模式和异步模式之间的权衡，您可以根据应用程序对延迟和内容审核准确性的要求选择适当的模式。