Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Configuración del comportamiento de respuesta de transmisión para filtrar el contenido
La API de InvokeModelWithResponseStream devuelve los datos en formato de transmisión. Esto permite acceder a las respuestas en fragmentos sin tener que esperar el resultado completo. Si se utilizan barreras de protección con una respuesta de transmisión, hay dos modos de funcionamiento: síncrono y asíncrono.
Modo síncrono
En el modo síncrono predeterminado, las barreras de protección almacenarán en búfer y aplicarán las políticas configuradas a uno o más fragmentos de respuesta antes de que la respuesta se devuelva al usuario. El modo de procesamiento síncrono introduce cierta latencia en los fragmentos de respuesta, lo que significa que la respuesta se retrasa hasta que se complete el escaneo de las barreras de protección. Sin embargo, proporciona una mayor precisión, ya que cada fragmento de respuesta se escanea con barreras de protección antes de enviarlo al usuario.
Modo asíncrono
En el modo asíncrono, las barreras de protección envían los fragmentos de respuesta al usuario en cuanto están disponibles y, al mismo tiempo, aplican de forma asíncrona las políticas configuradas en segundo plano. La ventaja es que los fragmentos de respuesta se proporcionan de forma inmediata sin que ello afecte a la latencia, pero los fragmentos de respuesta pueden incluir contenido inapropiado hasta que se complete el análisis de las barreras de protección. En cuanto se identifique el contenido inapropiado, los fragmentos subsiguientes se bloquearán con barreras de protección.
aviso
El enmascaramiento de la información confidencial en las respuestas del modelo puede verse gravemente afectado en el modo asíncrono, ya que la respuesta original puede devolverse al usuario antes de que la detecte y la barrera de protección oculte todo el contenido confidencial de la respuesta del modelo. Por lo tanto, para estos casos de uso, no se recomienda el modo asincrónico.
Activación del modo asíncrono
Para activar el modo asíncrono, debe incluir el parámetro streamProcessingMode en el objeto amazon-bedrock-guardrailConfig de la solicitud InvokeModelWithResponseStream:
{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }
Al comprender las ventajas y desventajas entre los modos síncrono y asíncrono, podrá elegir el modo adecuado en función de los requisitos de latencia y precisión de moderación del contenido de su aplicación.
