配置和自定义查询和响应生成

按照中的控制台步骤进行操作查询知识库并生成 AI 响应。打开 “配置” 窗格时，您将看到以下搜索类型选项：

当你做一个 Retrieve 或 RetrieveAndGenerate请求，包括一个映射到KnowledgeBaseRetrievalConfiguration对象的retrievalConfiguration字段。要查看此字段的位置，请参阅 Retrieve 和 RetrieveAndGenerateAPI参考文献中的请求正文。

以下JSON对象显示了在KnowledgeBaseRetrievalConfiguration对象中设置搜索类型配置所需的最少字段：

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

在overrideSearchType字段中指定搜索类型。您有以下选项：

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

要在查询知识库时修改推理参数，请按照中的控制台查询知识库并生成 AI 响应步骤操作。当你打开配置窗格时，你会看到推理参数部分。根据需要修改参数。

要在与您的文档聊天时修改推理参数，请按照中的步骤操作。在未配置知识库的情况下与您的文档聊天在配置窗格中，展开推理参数部分，并根据需要修改参数。

您在调用时提供模型参数 RetrieveAndGenerateAPI。您可以通过在（如果您查询知识库）或knowledgeBaseConfiguration（如果您与文档聊天）inferenceConfig字段中externalSourcesConfiguration提供推理参数来自定义模型。

该inferenceConfig字段中有一个包含以下参数的textInferenceConfig字段，您可以执行以下操作：

您可以通过在externalSourcesConfiguration和的inferenceConfig字段中使用以下参数来自定义模型knowledgeBaseConfiguration：

有关每个参数的功能的详细说明，请参见使用推理参数生成影响响应。

此外，您可以textInferenceConfig通过additionalModelRequestFields地图提供不支持的自定义参数。您可以使用此参数提供特定模型独有的参数，有关唯一参数请参见基础模型的推理请求参数和响应字段。

如果省略了参数textInferenceConfig，则将使用默认值。中未识别的任何参数都textInferneceConfig将被忽略，而在中未识别的任何参数都AdditionalModelRequestFields将导致异常。

如果additionalModelRequestFields和中的参数相同，则会引发验证异常TextInferenceConfig。

在中使用模型参数 RetrieveAndGenerate

以下是RetrieveAndGenerate请求正文generationConfiguration中inferenceConfig和additionalModelRequestFields下方的结构示例：

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

上面的示例将 a temperature 设置为 0.5，top_p为 0.5，maxTokens为 2048，如果在生成的响应中遇到字符串 “\nObservation”，则停止生成，并传递自定义top_k值 50。

按照中的控制台步骤进行操作查询知识库并生成 AI 响应。在 “配置” 窗格中，展开 “检索到的最大结果数”。

当你做一个 Retrieve 或 RetrieveAndGenerate请求，包括一个映射到KnowledgeBaseRetrievalConfiguration对象的retrievalConfiguration字段。要查看此字段的位置，请参阅 Retrieve 和 RetrieveAndGenerateAPI参考文献中的请求正文。

以下JSON对象显示了在KnowledgeBaseRetrievalConfiguration对象中设置要返回的最大结果数所需的最小字段：

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

指定要在numberOfResults字段中KnowledgeBaseRetrievalConfiguration返回的最大检索结果数（有关可接受值的范围，请参阅中的numberOfResults字段）。

按照中的控制台步骤进行操作查询知识库并生成 AI 响应。当你打开 “配置” 窗格时，你会看到 “筛选器” 部分。以下过程描述了不同的用例：

下图显示了一个筛选器配置示例，除了类型为或2018且作者以开头的文档外"entertainment"，该配置还返回所有以其类型为"cooking"或"sports"的文档编写的文档"C"。

当你做一个 Retrieve 或 RetrieveAndGenerate请求，包括一个映射到KnowledgeBaseRetrievalConfiguration对象的retrievalConfiguration字段。要查看此字段的位置，请参阅 Retrieve 和 RetrieveAndGenerateAPI参考文献中的请求正文。

以下JSON对象显示了KnowledgeBaseRetrievalConfiguration对象中为不同用例设置过滤器所需的最少字段：

下表描述了您可以使用的过滤器类型：

要组合筛选器类型，可以使用以下逻辑运算符之一：

有关示例，请参阅发送查询并包含筛选条件（检索）和发送查询并包含筛选条件（RetrieveAndGenerate）。

按照中的控制台步骤进行操作查询知识库并生成 AI 响应。在测试窗口中，打开 “生成响应”。然后，在配置窗格中，展开知识库提示模板部分。

当你做一个 RetrieveAndGenerate请求，包括一个映射到GenerationConfiguration对象的generationConfiguration字段。要查看此字段的位置，请参阅 RetrieveAndGenerateAPI参考文献中的请求正文。

以下JSON对象显示了在GenerationConfiguration对象中设置要返回的最大检索结果数所需的最小字段：

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

在textPromptTemplate字段中输入您的自定义提示模板，包括必要的提示占位符和XML标签。有关系统提示符中允许的最大字符数，请参阅中的textPromptTemplate字段GenerationConfiguration。

按照中的控制台步骤进行操作查询知识库并生成 AI 响应。在测试窗口中，打开 “生成响应”。然后，在 “配置” 窗格中，展开 “护栏” 部分。

当你做一个 RetrieveAndGenerate请求，请在请求中包含generationConfiguration要使用护栏的guardrailsConfiguration字段。要查看此字段的位置，请参阅 RetrieveAndGenerateAPI参考文献中的请求正文。

以下JSON对象显示了在中设置所需的最少字段guardrailsConfiguration：GenerationConfiguration

"generationConfiguration": {
    "guardrailsConfiguration": {
        "guardrailsId": "string",
        "guardrailsVersion": "string"
    }
}

指定所选护栏guardrailsVersion的guardrailsId和。