利用推論參數影響回應產生 - Amazon Bedrock
隨機性和多樣性長度

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

利用推論參數影響回應產生

執行模型推論時，您可以調整推論參數以影響模型回應。推論參數可以變更模型在產生期間考慮的可能輸出集區，或者限制最終回應。若要瞭解不同模型的推論參數，請參閱基礎模型的推論請求參數和回應欄位。

以下類別的參數通常在不同的模型中找到：

隨機性和多樣性

對於任何指定的序列，模型可決定序列中下一個字符選項的機率分佈。為了在輸出中產生每個字符，模型會從此分佈中進行取樣。隨機性和多樣性是指模型回應中的變體數量。您可以透過限制或調整分佈來控制這些係數。基礎模型通常支援以下參數來控制回應中的隨機性和多樣性。

  • 溫度 — 影響預測輸出的機率分佈形狀，並影響模型選擇較低機率輸出的可能性。

    • 選擇較低的值來影響模型，以選擇較高機率的輸出。

    • 選擇較高的值來影響模型，以選取較低機率的輸出。

    用技術性名詞來說，溫度會調節下一個字符的機率質量函數。較低的溫度會使函數變得陡峭，並導致更具確定性的回應，而較高的溫度會使函數變得平坦，並導致更隨機的回應。

  • Top K - 模型考慮下一個字符最有可能的候選項數量。

    • 選擇較低的值以縮減集區的大小，並將選項限制為更可能的輸出。

    • 選擇較高的值以增加集區的大小，並允許模型考慮較不可能的輸出。

    例如，若為 Top K 選擇值 50，則模型會從 50 個最有可能成為序列中下一個的字符中做選擇。

  • Top P - 模型考慮下一個字符最有可能的候選項百分比。

    • 選擇較低的值以縮減集區的大小，並將選項限制為更可能的輸出。

    • 選擇較高的值以增加集區的大小，並允許模型考慮較不可能的輸出。

    用技術性名詞來說，該模型會運算回應集的累積機率分佈，並僅考慮分佈的前 P%。

    例如，若您為 Top P 選擇值 0.8，則模型會從可能是序列中下一個字符的機率分佈的前 80% 中做選擇。

下表摘要說明這些參數的功用。

參數 較低值的影響 較高值的影響
溫度 增加高機率字符的可能性

減少低機率字符的可能性

 增加低機率字符的可能性

減少高機率字符的可能性
Top K 移除低機率的字符 允許低機率的字符
Top P 移除低機率的字符 允許低機率的字符

做為用於了解這些參數的範例，請考慮範例提示 I hear the hoof beats of "。假設模型確定以下三個單字當做下一個字符的候選項。該模型也會為每個單字指派機率。

{
    "horses": 0.7,
    "zebras": 0.2,
    "unicorns": 0.1
}

  • 如果設定較高的溫度，則機率分佈較平坦，機率差異會減小，這會增加選擇「獨角獸」的機率，並降低選擇「馬」的機率。

  • 如果將 Top K 設為 2，則模型僅考慮前 2 名最有可能的候選項：「馬」和「斑馬」。

  • 如果將 Top P 設置為 0.7，則模型僅考慮「馬」，因為它是唯一位於概率分佈前 70％ 的候選人。如果將頂部 P 設置為 0.9，則模型將「馬」和「斑馬」視為它們位於概率分佈的前 90％。

長度

基礎模型通常會支援限制回應長度的參數。下方提供這些參數的範例。

  • 回應長度 — 用於指定在產生的回應中傳回的最小或最大字符數目的精確值。

  • 懲罰 — 指定在回應中對輸出進行懲罰的程度。範例如下。

    • 回應的長度。

    • 回應中的重複字符。

    • 回應中字符的頻率。

    • 回應中字符的類型。

  • 停止序列 — 指定模型停止產生其他字符的字元序列。如果模型產生您指定的停止序列，它會在該序列之後停止產生。