As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configurar o comportamento da resposta de streaming para filtrar o conteúdo
A API InvokeModelWithResponseStream retorna dados em um formato de streaming. Isso permite acessar as respostas em fragmentos sem esperar pelo resultado completo. Ao usar barreiras de proteção com uma resposta de streaming, há dois modos de operação: síncrono e assíncrono.
Modo síncrono
No modo síncrono padrão, as barreiras de proteção armazenarão em buffer e aplicarão as políticas configuradas a um ou mais fragmentos de resposta antes que a resposta seja enviada ao usuário. O modo de processamento síncrono introduz alguma latência nos fragmentos de resposta, pois significa que a resposta é adiada até que a verificação das barreiras de proteção seja concluída. No entanto, ele fornece melhor precisão, pois cada fragmento de resposta é verificado por barreiras de proteção antes de ser enviado ao usuário.
Modo assíncrono
No modo assíncrono, as barreiras de proteção enviam os fragmentos de resposta ao usuário assim que forem disponibilizados, enquanto aplicam as políticas configuradas de forma assíncrona em segundo plano. A vantagem é que os fragmentos de resposta são fornecidos imediatamente, sem impacto na latência, mas os fragmentos de resposta podem conter conteúdo inadequado até que a verificação das barreiras de proteção seja concluída. Assim que o conteúdo inadequado for identificado, fragmentos subsequentes serão bloqueados pelas barreiras de proteção.
Atenção
O mascaramento de informações confidenciais nas respostas do modelo pode ser severamente afetado no modo assíncrono, pois a resposta original pode ser retornada ao usuário antes da detecção e do mascaramento de qualquer conteúdo confidencial na resposta do modelo pela barreira de proteção. Portanto, para esses casos de uso, o modo assíncrono não é recomendado.
Habilitar o modo assíncrono
Para ativar o modo assíncrono, inclua o parâmetro streamProcessingMode no objeto amazon-bedrock-guardrailConfig da solicitação InvokeModelWithResponseStream:
{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }
Ao compreender as vantagens e as desvantagens entre os modos síncrono e assíncrono, é possível escolher o modo adequado com base nos requisitos de latência e na precisão da moderação do conteúdo.
