As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configurar o comportamento da resposta de streaming
A InvokeModelWithResponseStreamAPI retorna dados em um formato de streaming. Isso permite que você acesse as respostas em partes sem esperar pelo resultado completo. Ao usar o Guardrails com uma resposta de streaming, há dois modos de operação: síncrono e assíncrono.
Modo síncrono
No modo síncrono padrão, o Guardrails armazenará em buffer e aplicará as políticas configuradas a um ou mais blocos de resposta antes que a resposta seja enviada de volta ao usuário. O modo de processamento síncrono introduz alguma latência nos fragmentos de resposta, pois significa que a resposta é adiada até que a verificação do Guardrails seja concluída. No entanto, ele fornece melhor precisão, pois cada fragmento de resposta é escaneado pelo Guardrails antes de ser enviado ao usuário.
Modo assíncrono
No modo assíncrono, o Guardrails envia os fragmentos de resposta ao usuário assim que eles se tornam disponíveis, enquanto aplica de forma assíncrona as políticas configuradas em segundo plano. A vantagem é que os fragmentos de resposta são fornecidos imediatamente, sem impacto na latência, mas os fragmentos de resposta podem conter conteúdo impróprio até que o escaneamento do Guardrails seja concluído. Assim que o conteúdo impróprio for identificado, partes subsequentes serão bloqueadas pelo Guardrails.
Atenção
O mascaramento de informações confidenciais nas respostas do modelo pode ser severamente afetado no modo assíncrono, pois a resposta original pode ser devolvida ao usuário antes da detecção do Guardrails e do mascaramento de qualquer conteúdo confidencial na resposta do modelo. Portanto, para esses casos de uso, o modo assíncrono não é recomendado.
Ativando o modo assíncrono
Para ativar o modo assíncrono, você precisa incluir o streamProcessingMode parâmetro no amazon-bedrock-guardrailConfig objeto da sua solicitação: InvokeModelWithResponseStream
{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }
Ao entender as vantagens e desvantagens entre os modos síncrono e assíncrono, você pode escolher o modo apropriado com base nos requisitos de latência e precisão da moderação de conteúdo do seu aplicativo.
