쿼리 및 응답 생성 구성 및 사용자 지정

의 콘솔 단계를 따릅니다지식 기반 쿼리 및 AI 응답 생성. 구성 창을 열면 검색 유형 에 대한 다음 옵션이 표시됩니다.

를 만들 때 Retrieve 또는 RetrieveAndGenerate KnowledgeBaseRetrievalConfiguration 객체에 매핑된 retrievalConfiguration 필드를 포함하는 요청입니다. 이 필드의 위치를 보려면 Retrieve 및 RetrieveAndGenerate API 참조의 요청 본문입니다.

다음 JSON 객체는 검색 유형 구성을 설정하는 KnowledgeBaseRetrievalConfiguration 데 필요한 최소 필드를 보여줍니다.

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

overrideSearchType 필드에 검색 유형을 지정합니다. 다음과 같은 옵션이 있습니다:

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

지식 기반을 쿼리할 때 추론 파라미터를 수정하려면 의 콘솔 단계를 따르세요지식 기반 쿼리 및 AI 응답 생성. 구성 창을 열면 추론 파라미터 섹션이 표시됩니다. 필요에 따라 파라미터를 수정합니다.

문서와 채팅할 때 추론 파라미터를 수정하려면 의 단계를 따르세요지식 베이스를 구성하지 않고도 문서와 채팅할 수 있습니다.. 구성 창에서 추론 파라미터 섹션을 확장하고 필요에 따라 파라미터를 수정합니다.

에 대한 호출에서 모델 파라미터를 제공합니다. RetrieveAndGenerate API. (지식 기반을 쿼리하는 경우) 또는 knowledgeBaseConfiguration (문서와 채팅하는 externalSourcesConfiguration 경우) inferenceConfig 필드에 추론 파라미터를 제공하여 모델을 사용자 지정할 수 있습니다. 지식 베이스를 구성하지 않고도 문서와 채팅할 수 있습니다.

inferenceConfig 필드 내에는 다음과 같은 파라미터가 포함된 textInferenceConfig 필드가 있습니다.

externalSourcesConfiguration 및 의 inferenceConfig 필드에서 다음 파라미터를 사용하여 모델을 사용자 지정할 수 있습니다knowledgeBaseConfiguration.

이러한 각 파라미터의 함수에 대한 자세한 설명은 섹션을 참조하세요추론 파라미터를 사용한 영향 응답 생성.

또한 additionalModelRequestFields 맵을 textInferenceConfig 통해 에서 지원하지 않는 사용자 지정 파라미터를 제공할 수 있습니다. 이 인수가 있는 특정 모델에 고유한 파라미터를 제공할 수 있습니다. 고유한 파라미터는 섹션을 참조하세요파운데이션 모델의 추론 요청 파라미터 및 응답 필드.

파라미터가 에서 생략된 경우 기본값textInferenceConfig이 사용됩니다. 에서 인식되지 않는 파라미터textInferneceConfig는 무시되지만 에서 인식되지 않는 파라미터AdditionalModelRequestFields는 예외가 발생합니다.

additionalModelRequestFields 및 모두에 동일한 파라미터가 있는 경우 검증 예외가 발생합니다TextInferenceConfig.

에서 모델 파라미터 사용 RetrieveAndGenerate

다음은 RetrieveAndGenerate 요청 본문의 inferenceConfig 및 additionalModelRequestFields 아래에 generationConfiguration 있는 구조의 예입니다.

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

다음 예제에서는 2048temperature년의 0.5top_p를 maxTokens 0.5로 설정하고, 생성된 응답에서 문자열 “\nObservation”이 발생하면 생성을 중지하고, 사용자 지정 top_k 값 50을 전달합니다.

의 콘솔 단계를 따릅니다지식 기반 쿼리 및 AI 응답 생성. 구성 창에서 검색된 결과의 최대 수 를 확장합니다.

를 만들 때 Retrieve 또는 RetrieveAndGenerate KnowledgeBaseRetrievalConfiguration 객체에 매핑된 retrievalConfiguration 필드를 포함하는 요청입니다. 이 필드의 위치를 보려면 Retrieve 및 RetrieveAndGenerate API 참조의 요청 본문입니다.

다음 JSON 객체는 반환할 최대 결과 수를 설정하는 KnowledgeBaseRetrievalConfiguration 데 필요한 최소 필드를 보여줍니다.

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

필드에 반환할 최대 검색 결과 수를 지정합니다(허용된 값 numberOfResults KnowledgeBaseRetrievalConfiguration 범위는 의 numberOfResults 필드 참조).

의 콘솔 단계를 따릅니다지식 기반 쿼리 및 AI 응답 생성. 구성 창을 열면 필터 섹션이 표시됩니다. 다음 절차에서는 다양한 사용 사례를 설명합니다.

다음 이미지는 장르2018가 "cooking" 또는이고 작성자가 로 시작하는 문서 "entertainment"외에도 장르가 인 이후에 작성된 모든 문서를 반환"sports"하는 필터 구성의 예를 보여줍니다"C".

를 만들 때 Retrieve 또는 RetrieveAndGenerate KnowledgeBaseRetrievalConfiguration 객체에 매핑된 retrievalConfiguration 필드를 포함하는 요청입니다. 이 필드의 위치를 보려면 Retrieve 및 RetrieveAndGenerate API 참조의 요청 본문입니다.

다음 JSON 객체는 KnowledgeBaseRetrievalConfiguration 객체에서 다양한 사용 사례에 대한 필터를 설정하는 데 필요한 최소 필드를 보여줍니다.

다음 표에서는 사용할 수 있는 필터 유형을 설명합니다.

필터 유형을 결합하려면 다음 논리 연산자 중 하나를 사용할 수 있습니다.

예제는 쿼리 전송 및 필터 포함(검색)과 쿼리 전송 및 필터 포함(RetrieveAndGenerate)을 참조하세요.

의 콘솔 단계를 따릅니다지식 기반 쿼리 및 AI 응답 생성. 테스트 창에서 응답 생성 을 켭니다. 그런 다음 구성 창에서 지식 기반 프롬프트 템플릿 섹션을 확장합니다.

를 만들 때 RetrieveAndGenerate GenerationConfiguration 객체에 매핑된 generationConfiguration 필드를 포함하는 요청입니다. 이 필드의 위치를 보려면 RetrieveAndGenerate API 참조의 요청 본문입니다.

다음 JSON 객체는 반환할 최대 검색 결과 수를 설정하는 GenerationConfiguration 데 필요한 최소 필드를 보여줍니다.

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

필요에 따라 프롬프트 자리 표시자 및 XML 태그를 포함하여 textPromptTemplate 필드에 사용자 지정 프롬프트 템플릿을 입력합니다. 시스템 프롬프트에서 허용되는 최대 문자 수는 의 textPromptTemplate 필드를 참조하세요GenerationConfiguration.

의 콘솔 단계를 따릅니다지식 기반 쿼리 및 AI 응답 생성. 테스트 창에서 응답 생성 을 켭니다. 그런 다음 구성 창에서 Guardrails 섹션을 확장합니다.

를 만들 때 RetrieveAndGenerate 요청에서 요청에 가드레일을 generationConfiguration 사용할 guardrailsConfiguration 필드를 에 포함합니다. 이 필드의 위치를 보려면 RetrieveAndGenerate API 참조의 요청 본문입니다.

다음 JSON 객체는 를 설정하는 GenerationConfiguration 데 필요한 최소 필드를 보여줍니다guardrailsConfiguration.

"generationConfiguration": {
    "guardrailsConfiguration": {
        "guardrailsId": "string",
        "guardrailsVersion": "string"
    }
}

선택한 가드레guardrailsVersion일의 guardrailsId 및 를 지정합니다.