使用 fmeval程式庫自訂工作流程

建立自訂 ModelRunner

1. 定義模型組態。

   下列程式碼範例示範如何將dataclass裝飾器套用至自訂HFModelConfig類別，以便您可以定義 的模型組態 Hugging Face 模型：

   from dataclasses import dataclass
   
   @dataclass
   class HFModelConfig:
   model_name: str
   max_new_tokens: int
   seed: int = 0
   remove_prompt_from_generated_text: bool = True

   在先前的程式碼範例中，適用下列條件：

   • 參數max_new_tokens用於限制 傳回的字符數量，以限制回應的長度LLM。模型的類型是透過傳遞當類別具現化model_name時的 值來設定。在此範例中，模型名稱設定為 gpt2，如本節結尾所示。參數max_new_tokens是使用預先訓練 OpenAI 模型的gpt2模型組態來設定文字產生策略的一個選項GPT。如需其他模型類型AutoConfig，請參閱 。

   • 如果參數remove_prompt_from_generated_text設定為 True，則產生的回應不會包含在請求中傳送的原始提示。

   如需其他文字產生參數，請參閱 Hugging Face 的文件 GenerationConfig。

2. 建立自訂ModelRunner並實作預測方法。下列程式碼範例示範如何為 建立自訂 ModelRunner Hugging Face 模型使用在上一個程式碼範例中建立的HFModelConfig類別。

   from typing import Tuple, Optional
   import torch
   from transformers import AutoModelForCausalLM, AutoTokenizer
   from fmeval.model_runners.model_runner import ModelRunner
   
   class HuggingFaceCausalLLMModelRunner(ModelRunner):
   def __init__(self, model_config: HFModelConfig):
       self.config = model_config
       self.model = AutoModelForCausalLM.from_pretrained(self.config.model_name)
       self.tokenizer = AutoTokenizer.from_pretrained(self.config.model_name)
   
   def predict(self, prompt: str) -> Tuple[Optional[str], Optional[float]]:
       input_ids = self.tokenizer(prompt, return_tensors="pt").to(self.model.device)
       generations = self.model.generate(
           **input_ids,
           max_new_tokens=self.config.max_new_tokens,
           pad_token_id=self.tokenizer.eos_token_id,
       )
       generation_contains_input = (
           input_ids["input_ids"][0] == generations[0][: input_ids["input_ids"].shape[1]]
       ).all()
       if self.config.remove_prompt_from_generated_text and not generation_contains_input:
           warnings.warn(
               "Your model does not return the prompt as part of its generations. "
               "`remove_prompt_from_generated_text` does nothing."
           )
       if self.config.remove_prompt_from_generated_text and generation_contains_input:
           output = self.tokenizer.batch_decode(generations[:, input_ids["input_ids"].shape[1] :])[0]
       else:
           output = self.tokenizer.batch_decode(generations, skip_special_tokens=True)[0]
   
       with torch.inference_mode():
           input_ids = self.tokenizer(self.tokenizer.bos_token + prompt, return_tensors="pt")["input_ids"]
           model_output = self.model(input_ids, labels=input_ids)
           probability = -model_output[0].item()
   
       return output, probability

   先前的程式碼使用自HuggingFaceCausalLLMModelRunner類別繼承屬性的自訂FMEvalModelRunner類別。自訂類別包含 建構器和預測函數的定義，這會傳回 Tuple。

   如需更多ModelRunner範例，請參閱 fmeval 程式庫的 model_runner 區段。

   HuggingFaceCausalLLMModelRunner 建構器包含下列定義：

   • 組態設定為 HFModelConfig，定義於本節開頭。

   • 模型從 設定為預先訓練的模型 Hugging Face 初始化時使用 model_name 參數指定的自動類別。

   • 權杖化器從 設定為類別 Hugging Face 權杖程式庫，符合 指定的預先訓練模型model_name。

   HuggingFaceCausalLLMModelRunner 類別中的 predict 方法使用下列定義：

   • input_ids – 包含模型輸入 的變數。模型會產生輸入，如下所示。

     • A 將 中包含的請求tokenizer轉換為prompt字符識別符 （IDs）。這些字符 是代表特定字符 （單字、子單字或字元） 的數值IDs，可以直接由模型用作輸入。權杖IDs會傳回為 PyTorch 張量物件，如 所指定return_tensors="pt"。如需其他類型的傳回張量類型，請參閱 Hugging Face apply_chat_template 的文件。

     • 權杖IDs會傳送到模型所在的裝置，以便模型使用。

   • generations – 包含 產生的回應的變數LLM。模型的產生函數會使用下列輸入來產生回應：

     • 上一個步驟input_ids中的 。

     • 中max_new_tokens指定的參數HFModelConfig。

     • 會將句點結束 （eos） 權杖pad_token_id新增至回應。如需您可以使用的其他權杖，請參閱 Hugging Face 的文件PreTrainedTokenizer。

   • generation_contains_input – 當產生的回應在其回應中包含輸入提示True時，False以及其他情況下傳回的布林值變數。傳回值是使用下列項目之間的元素比較來計算。

     • 輸入提示IDs中包含的所有字符都包含在 中input_ids["input_ids"][0]。

     • 中包含的產生內容的開頭generations[0][: input_ids["input_ids"].shape[1]]。

     如果您在組態remove_prompt_from_generated_text中將 導向LLM至 ，但產生的回應不包含輸入提示，則 predict方法會傳回警告。

     predict 方法的輸出包含 batch_decode方法傳回的字串，會將回應中IDs傳回的權杖轉換為人類可讀文字。如果您將 指定remove_prompt_from_generated_text為 True，則會從產生的文字中移除輸入提示。如果您將 指定remove_prompt_from_generated_text為 False，則產生的文字將傳回，而不會包含您在字典 中包含的任何特殊字符special_token_dict，如 所指定skip_special_tokens=True。

3. 測試您的 ModelRunner。將範例請求傳送至您的模型。

   下列範例示範如何使用來自 的gpt2預先訓練模型來測試模型 Hugging Face AutoConfig 類別：

   hf_config = HFModelConfig(model_name="gpt2", max_new_tokens=32)
   model = HuggingFaceCausalLLMModelRunner(model_config=hf_config)

   在先前的程式碼範例中，model_name指定預先訓練模型的名稱。HFModelConfig 類別會以參數 的值做為 hf_config 進行實例化max_new_tokens，並用於初始化 ModelRunner。

   如果您想要從 使用其他預先訓練的模型 Hugging Face，pretrained_model_name_or_path在 from_pretrained下選擇 AutoClass。

   最後，測試您的 ModelRunner。將範例請求傳送至您的模型，如下列程式碼範例所示：

   model_output = model.predict("London is the capital of?")[0]
   print(model_output)
   eval_algo.evaluate_sample()