Abfragen und Antwortgenerierung konfigurieren und anpassen

Folgen Sie den Schritten auf der Konsole unterTesten Sie Ihre Wissensdatenbank mit Fragen und Antworten. Wenn Sie den Bereich Konfigurationen öffnen, werden die folgenden Optionen für den Suchtyp angezeigt:

Wenn Sie eine machen Retrieve oder RetrieveAndGenerateAnfrage, füge ein retrievalConfiguration Feld hinzu, das einem KnowledgeBaseRetrievalConfigurationObjekt zugeordnet ist. Die Position dieses Felds finden Sie in Retrieve und RetrieveAndGenerateStellen in der API Referenz anfordern.

Das folgende JSON Objekt zeigt die Mindestfelder, die im KnowledgeBaseRetrievalConfigurationObjekt erforderlich sind, um Suchtypkonfigurationen festzulegen:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

Geben Sie den Suchtyp in dem overrideSearchType Feld an. Ihnen stehen folgende Optionen zur Verfügung:

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

Um Inferenzparameter bei der Abfrage einer Wissensdatenbank zu ändern, folgen Sie den Schritten auf der Konsole unter. Testen Sie Ihre Wissensdatenbank mit Fragen und Antworten Wenn Sie den Bereich Konfigurationen öffnen, wird ein Abschnitt mit Inferenzparametern angezeigt. Ändern Sie die Parameter nach Bedarf.

Um die Inferenzparameter beim Chatten mit Ihrem Dokument zu ändern, folgen Sie den Schritten unterChatten Sie mit Ihrem Dokument, ohne dass eine Wissensdatenbank konfiguriert ist. Erweitern Sie im Bereich Konfigurationen den Abschnitt Inferenzparameter und ändern Sie die Parameter nach Bedarf.

Sie geben die Modellparameter im Aufruf von RetrieveAndGenerateAPI. Sie können das Modell anpassen, indem Sie Inferenzparameter entweder im inferenceConfig Feld knowledgeBaseConfiguration (wenn Sie eine Wissensdatenbank abfragen) oder im Feld externalSourcesConfiguration (wenn Sie mit Ihrem Dokument chatten) angeben.

Innerhalb des inferenceConfig Felds befindet sich ein textInferenceConfig Feld, das die folgenden Parameter enthält, die Sie verwenden können:

Sie können das Modell anpassen, indem Sie die folgenden Parameter im inferenceConfig Feld externalSourcesConfiguration sowohl als auch verwendenknowledgeBaseConfiguration:

Eine ausführliche Erläuterung der Funktion der einzelnen Parameter finden Sie unterBeeinflussen Sie die Antwortgenerierung mit Inferenzparametern.

Darüber hinaus können Sie benutzerdefinierte Parameter angeben, die von textInferenceConfig via additionalModelRequestFields Map nicht unterstützt werden. Mit diesem Argument können Sie für bestimmte Modelle eindeutige Parameter angeben. Informationen zu den eindeutigen Parametern finden Sie unterInferenzanforderungsparameter und Antwortfelder für Foundation-Modelle.

Wenn ein Parameter weggelassen wirdtextInferenceConfig, wird ein Standardwert verwendet. Alle Parameter, die in nicht erkannt textInferneceConfig werden, werden ignoriert, während alle Parameter, die in nicht erkannt AdditionalModelRequestFields werden, eine Ausnahme auslösen.

Eine Validierungsausnahme wird ausgelöst, wenn sowohl als auch additionalModelRequestFields derselbe Parameter vorhanden istTextInferenceConfig.

Verwenden von Modellparametern in RetrieveAndGenerate

Im Folgenden finden Sie ein Beispiel für die Struktur für inferenceConfig und additionalModelRequestFields unter dem generationConfiguration im RetrieveAndGenerate Anforderungstext:

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

Im folgenden Beispiel wird ein Wert temperature von 0,5, top_p von 0,5 maxTokens von 2048 festgelegt, die Generierung gestoppt, wenn sie in der generierten Antwort auf die Zeichenfolge nObservation „\“ stößt, und ein benutzerdefinierter top_k Wert von 50 übergeben.

Folgen Sie den Schritten auf der Konsole unterTesten Sie Ihre Wissensdatenbank mit Fragen und Antworten. Erweitern Sie im Bereich Konfigurationen die Option Maximale Anzahl abgerufener Ergebnisse.

Wenn Sie eine erstellen Retrieve oder RetrieveAndGenerateAnfrage, füge ein retrievalConfiguration Feld hinzu, das einem KnowledgeBaseRetrievalConfigurationObjekt zugeordnet ist. Die Position dieses Felds finden Sie in Retrieve und RetrieveAndGenerateStellen in der API Referenz anfordern.

Das folgende JSON Objekt zeigt die minimalen Felder, die im KnowledgeBaseRetrievalConfigurationObjekt erforderlich sind, um die maximale Anzahl zurückzugebender Ergebnisse festzulegen:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

Geben Sie die maximale Anzahl der abgerufenen Ergebnisse an (den numberOfResults Bereich der akzeptierten Werte finden Sie im KnowledgeBaseRetrievalConfigurationFeld), die in dem numberOfResults Feld zurückgegeben werden sollen.

Folgen Sie den Schritten auf der Konsole unterTesten Sie Ihre Wissensdatenbank mit Fragen und Antworten. Wenn Sie den Bereich Konfigurationen öffnen, wird der Abschnitt Filter angezeigt. Die folgenden Verfahren beschreiben verschiedene Anwendungsfälle:

Die folgende Abbildung zeigt ein Beispiel für eine Filterkonfiguration, mit der alle Dokumente zurückgegeben werden"entertainment", die nach 2018 deren Genre geschrieben wurden, sowie Dokumente, deren Genre "cooking" oder ist "sports" und deren Autor mit beginnt"C".

Wenn Sie eine erstellen Retrieve oder RetrieveAndGenerateAnfrage, füge ein retrievalConfiguration Feld hinzu, das einem KnowledgeBaseRetrievalConfigurationObjekt zugeordnet ist. Die Position dieses Felds finden Sie in Retrieve und RetrieveAndGenerateStellen in der API Referenz anfordern.

Die folgenden JSON Objekte zeigen die Mindestfelder, die im KnowledgeBaseRetrievalConfigurationObjekt erforderlich sind, um Filter für verschiedene Anwendungsfälle festzulegen:

In der folgenden Tabelle werden die Filtertypen beschrieben, die Sie verwenden können:

Um Filtertypen zu kombinieren, können Sie einen der folgenden logischen Operatoren verwenden:

Beispiele finden Sie unter Eine Abfrage senden und Filter einschließen (Abrufen) und Eine Abfrage senden und Filter einschließen (RetrieveAndGenerate).

Folgen Sie den Schritten auf der Konsole unterTesten Sie Ihre Wissensdatenbank mit Fragen und Antworten. Aktivieren Sie im Testfenster die Option Antworten generieren. Erweitern Sie dann im Bereich Konfigurationen den Abschnitt Vorlage für die Knowledgebase-Aufforderung.

Wenn Sie eine erstellen RetrieveAndGenerateAnfrage, füge ein generationConfiguration Feld hinzu, das einem GenerationConfigurationObjekt zugeordnet ist. Die Position dieses Felds finden Sie in RetrieveAndGenerateHauptteil der Anfrage in der API Referenz.

Das folgende JSON Objekt zeigt die minimalen Felder, die im GenerationConfigurationObjekt erforderlich sind, um die maximale Anzahl der zurückzugebenden abgerufenen Ergebnisse festzulegen:

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

Geben Sie Ihre benutzerdefinierte Vorlage für Eingabeaufforderungen in das textPromptTemplate Feld ein, einschließlich Platzhaltern und XML Tags für Eingabeaufforderungen, falls erforderlich. Die maximale Anzahl von Zeichen, die in der Systemaufforderung zulässig sind, finden Sie im textPromptTemplate GenerationConfigurationFeld unter.

Folgen Sie den Schritten auf der Konsole unterTesten Sie Ihre Wissensdatenbank mit Fragen und Antworten. Aktivieren Sie im Testfenster die Option Antworten generieren. Erweitern Sie dann im Bereich Konfigurationen den Abschnitt Guardrails.

Wenn Sie eine machen RetrieveAndGenerateBitte fügen Sie der Anfrage das guardrailConfiguration Feld generationConfiguration zur Verwendung Ihrer Leitplanke bei. Die Position dieses Feldes finden Sie in der RetrieveAndGenerateHauptteil der Anfrage in der API Referenz.

Das folgende JSON Objekt zeigt die minimalen Felder, die GenerationConfigurationzum Einstellen von erforderlich sindguardrailConfiguration:

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

Geben Sie das Ende guardrailId guardrailVersion der von Ihnen ausgewählten Leitplanken an.