Configuración y personalización de las consultas y la generación de respuestas

Siga los pasos de la consola que se indican en Prueba de la base de conocimientos mediante consultas y respuestas. Al abrir el panel Configuraciones, verá las siguientes opciones para Tipo de búsqueda:

Cuando haces un Retrieve o RetrieveAndGeneratesolicitud, incluye un retrievalConfiguration campo asignado a un KnowledgeBaseRetrievalConfigurationobjeto. Para ver la ubicación de este campo, consulte la Retrieve y RetrieveAndGeneratesolicite los organismos de la API referencia.

El siguiente JSON objeto muestra los campos mínimos necesarios en el KnowledgeBaseRetrievalConfigurationobjeto para establecer las configuraciones de los tipos de búsqueda:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

Especifique el tipo de búsqueda en el campo overrideSearchType. Dispone de las opciones siguientes:

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

Para modificar los parámetros de inferencia al consultar una base de conocimientos: siga los pasos de la consola que se indican en Prueba de la base de conocimientos mediante consultas y respuestas. Al abrir el panel Configuraciones, verá la sección Parámetros de inferencia. Modifique los parámetros según sea necesario.

Para modificar los parámetros de inferencia al chatear con el documento: siga los pasos que se indican en Chateo con un documento sin tener configurada una base de conocimientos. En el panel Configuraciones, expanda la sección Parámetros de inferencia y modifique los parámetros según sea necesario.

Los parámetros del modelo se proporcionan en la llamada al RetrieveAndGenerateAPI. Puede personalizar el modelo proporcionando parámetros de inferencia en el inferenceConfig campo del knowledgeBaseConfiguration (si consulta una base de conocimientos) o en el externalSourcesConfiguration (si conversa con el documento).

Dentro del campo inferenceConfig hay un campo textInferenceConfig que contiene los siguientes parámetros:

Puede personalizar el modelo con los siguientes parámetros en el campo inferenceConfig de externalSourcesConfiguration y knowledgeBaseConfiguration:

Para obtener una explicación detallada de la función de cada uno de estos parámetros, consulte Influencia sobre la generación de respuestas con parámetros de inferencia.

Además, puede proporcionar parámetros personalizados que no sean compatibles con textInferenceConfig mediante la asignación de additionalModelRequestFields. Puede proporcionar parámetros exclusivos para modelos específicos con este argumento; para ver los parámetros exclusivos, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

Si se omite un parámetro de textInferenceConfig, se utilizará un valor predeterminado. Se ignorará cualquier parámetro que no se reconozca en textInferneceConfig, mientras que cualquier parámetro que no se reconozca en AdditionalModelRequestFields generará una excepción.

Se genera una excepción de validación si hay el mismo parámetro en additionalModelRequestFields y TextInferenceConfig.

Uso de los parámetros del modelo en RetrieveAndGenerate

A continuación, se muestra un ejemplo de la estructura para inferenceConfig y additionalModelRequestFields en generationConfiguration del cuerpo de la consulta RetrieveAndGenerate:

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

El ejemplo siguiente establece un valor temperature de 0,5, top_p de 0,5 y maxTokens de 2048, detiene la generación si encuentra la cadena «\nObservation" en la respuesta generada y pasa un top_k valor personalizado de 50.

Siga los pasos de la consola que se indican en Prueba de la base de conocimientos mediante consultas y respuestas. En el panel Configuraciones, amplíe Número máximo de resultados recuperados.

Cuando haces un Retrieve o RetrieveAndGeneratesolicitud, incluye un retrievalConfiguration campo asignado a un KnowledgeBaseRetrievalConfigurationobjeto. Para ver la ubicación de este campo, consulte la Retrieve y RetrieveAndGeneratesolicite los organismos de la API referencia.

El JSON objeto siguiente muestra los campos mínimos necesarios en el KnowledgeBaseRetrievalConfigurationobjeto para establecer el número máximo de resultados que se van a devolver:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

Especifique el número máximo de resultados recuperados (consulte el numberOfResults campo KnowledgeBaseRetrievalConfigurationpara ver el rango de valores aceptados) que se devolverán en el numberOfResults campo.

Siga los pasos de la consola que se indican en Prueba de la base de conocimientos mediante consultas y respuestas. Al abrir el panel Configuraciones, verá la sección Filtros. Los siguientes procedimientos describen distintos casos de uso:

En la imagen siguiente se muestra un ejemplo de configuración de filtro que devuelve todos los documentos escritos después de 2018 cuyo género es "entertainment", además de los documentos cuyo género es "cooking" o "sports" y cuyo autor comienza por "C".

Cuando haces un Retrieve o RetrieveAndGeneratesolicitud, incluye un retrievalConfiguration campo asignado a un KnowledgeBaseRetrievalConfigurationobjeto. Para ver la ubicación de este campo, consulte la Retrieve y RetrieveAndGeneratesolicite los organismos de la API referencia.

Los siguientes JSON objetos muestran los campos mínimos necesarios en el KnowledgeBaseRetrievalConfigurationobjeto para establecer filtros para distintos casos de uso:

En la siguiente tabla se describen los tipos de filtro que puede utilizar:

Para combinar los tipos de filtro, puede utilizar uno de los siguientes operadores lógicos:

Para ver ejemplos, consulte Enviar una consulta e incluir filtros (Recuperar) y Enviar una consulta e incluir filtros (RetrieveAndGenerate).

Siga los pasos de la consola que se indican en Prueba de la base de conocimientos mediante consultas y respuestas. En la ventana de prueba, active Generar respuestas. A continuación, en el panel Configuraciones, expanda la sección Plantillas de peticiones de la base de conocimientos.

Cuando haces un RetrieveAndGeneratesolicitud, incluye un generationConfiguration campo asignado a un GenerationConfigurationobjeto. Para ver la ubicación de este campo, consulte la RetrieveAndGeneratecuerpo de la solicitud en la API referencia.

El JSON objeto siguiente muestra los campos mínimos necesarios en el GenerationConfigurationobjeto para establecer el número máximo de resultados recuperados que se devolverán:

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

Introduzca su plantilla de solicitud personalizada en el textPromptTemplate campo, incluidos los marcadores de posición y las XML etiquetas de las solicitudes, según sea necesario. Para ver el número máximo de caracteres permitido en el mensaje del sistema, consulte el textPromptTemplate campo en GenerationConfiguration.

Siga los pasos de la consola que se indican en Prueba de la base de conocimientos mediante consultas y respuestas. En la ventana de prueba, active Generar respuestas. A continuación, en el panel Configuraciones, expanda la sección Barreras de protección.

Cuando haces un RetrieveAndGeneratesolicitud, incluye el guardrailConfiguration campo dentro de la generationConfiguration para usar tu barandilla con la solicitud. Para ver la ubicación de este campo, consulte la RetrieveAndGeneratecuerpo de la solicitud en la API referencia.

El siguiente JSON objeto muestra los campos mínimos necesarios GenerationConfigurationpara configurarguardrailConfiguration:

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

Especifique el guardrailId y la guardrailVersion para las barreras de protección que ha elegido.