Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configurer le comportement de réponse au streaming pour filtrer le contenu
Les données sont InvokeModelWithResponseStreamAPIrenvoyées dans un format de streaming. Cela vous permet d'accéder aux réponses par blocs sans attendre le résultat complet. Lorsque vous utilisez des garde-corps avec une réponse en continu, il existe deux modes de fonctionnement : synchrone et asynchrone.
Mode synchrone
Dans le mode synchrone par défaut, les garde-corps mettent en mémoire tampon et appliquent les politiques configurées à un ou plusieurs segments de réponse avant que la réponse ne soit renvoyée à l'utilisateur. Le mode de traitement synchrone introduit une certaine latence dans les segments de réponse, car cela signifie que la réponse est retardée jusqu'à la fin de l'analyse des garde-corps. Cependant, il offre une meilleure précision, car chaque segment de réponse est scanné par des garde-corps avant d'être envoyé à l'utilisateur.
Mode asynchrone
En mode asynchrone, guardrails envoie les fragments de réponse à l'utilisateur dès qu'ils sont disponibles, tout en appliquant de manière asynchrone les politiques configurées en arrière-plan. L'avantage est que les segments de réponse sont fournis immédiatement, sans impact sur le temps de latence, mais ils peuvent contenir du contenu inapproprié jusqu'à ce que l'analyse des garde-corps soit terminée. Dès qu'un contenu inapproprié est identifié, les parties suivantes seront bloquées par des barrières de sécurité.
Avertissement
Le masquage des informations sensibles dans les réponses du modèle peut être sérieusement affecté en mode asynchrone, car la réponse d'origine peut être renvoyée à l'utilisateur avant la détection et le masquage de tout contenu sensible dans la réponse du modèle par le garde-corps. Par conséquent, pour de tels cas d'utilisation, le mode asynchrone n'est pas recommandé.
Activation du mode asynchrone
Pour activer le mode asynchrone, vous devez inclure le streamProcessingMode paramètre dans l'amazon-bedrock-guardrailConfigobjet de votre InvokeModelWithResponseStream demande :
{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }
En comprenant les compromis entre les modes synchrone et asynchrone, vous pouvez choisir le mode approprié en fonction des exigences de votre application en matière de latence et de précision de modération du contenu.
