fmeval 라이브러리를 사용하여 워크플로 사용자 지정

사용자 지정 생성 ModelRunner

1. 모델 구성을 정의합니다.

   다음 코드 예제에서는 에 대한 모델 구성을 정의할 수 있도록 dataclass 데코레이터를 사용자 지정 HFModelConfig 클래스에 적용하는 방법을 보여줍니다. Hugging Face 모델:

   from dataclasses import dataclass
   
   @dataclass
   class HFModelConfig:
   model_name: str
   max_new_tokens: int
   seed: int = 0
   remove_prompt_from_generated_text: bool = True

   이전 코드 예제에서는 다음이 적용됩니다.

   • 파라미터max_new_tokens는 에서 반환하는 토큰 수를 제한하여 응답의 길이를 제한하는 데 사용됩니다LLM. 모델 유형은 클래스가 인스턴스화될 model_name 때 값을 전달하여 설정됩니다. 이 예제에서는 이 섹션의 끝에 표시된 gpt2것처럼 모델 이름이 로 설정됩니다. 파라미터는 사전 훈련된 OpenAI gpt2 모델에 대한 GPT 모델 구성을 사용하여 텍스트 생성 전략을 구성하는 하나의 옵션max_new_tokens입니다. 다른 모델 유형은 섹션을 참조AutoConfig하세요.

   • 파라미터remove_prompt_from_generated_text가 로 설정된 경우 True생성된 응답에는 요청에 전송된 원래 프롬프트가 포함되지 않습니다.

   기타 텍스트 생성 파라미터는 Hugging Face 에 대한 설명서 GenerationConfig.

2. 사용자 지정을 생성하고 예측 방법을 ModelRunner 구현합니다. 다음 코드 예제에서는 에 ModelRunner 대한 사용자 지정을 생성하는 방법을 보여줍니다.Hugging Face 이전 코드 예제에서 생성한 HFModelConfig 클래스를 사용하는 모델입니다.

   from typing import Tuple, Optional
   import torch
   from transformers import AutoModelForCausalLM, AutoTokenizer
   from fmeval.model_runners.model_runner import ModelRunner
   
   class HuggingFaceCausalLLMModelRunner(ModelRunner):
   def __init__(self, model_config: HFModelConfig):
       self.config = model_config
       self.model = AutoModelForCausalLM.from_pretrained(self.config.model_name)
       self.tokenizer = AutoTokenizer.from_pretrained(self.config.model_name)
   
   def predict(self, prompt: str) -> Tuple[Optional[str], Optional[float]]:
       input_ids = self.tokenizer(prompt, return_tensors="pt").to(self.model.device)
       generations = self.model.generate(
           **input_ids,
           max_new_tokens=self.config.max_new_tokens,
           pad_token_id=self.tokenizer.eos_token_id,
       )
       generation_contains_input = (
           input_ids["input_ids"][0] == generations[0][: input_ids["input_ids"].shape[1]]
       ).all()
       if self.config.remove_prompt_from_generated_text and not generation_contains_input:
           warnings.warn(
               "Your model does not return the prompt as part of its generations. "
               "`remove_prompt_from_generated_text` does nothing."
           )
       if self.config.remove_prompt_from_generated_text and generation_contains_input:
           output = self.tokenizer.batch_decode(generations[:, input_ids["input_ids"].shape[1] :])[0]
       else:
           output = self.tokenizer.batch_decode(generations, skip_special_tokens=True)[0]
   
       with torch.inference_mode():
           input_ids = self.tokenizer(self.tokenizer.bos_token + prompt, return_tensors="pt")["input_ids"]
           model_output = self.model(input_ids, labels=input_ids)
           probability = -model_output[0].item()
   
       return output, probability

   이전 코드는 HuggingFaceCausalLLMModelRunner 클래스에서 속성을 상속하는 사용자 지정 FMEval ModelRunner 클래스를 사용합니다. 사용자 지정 클래스에는 생성자와 예측 함수에 대한 정의가 포함되어 있으며, 이는 를 반환합니다Tuple.

   자세한 ModelRunner 예는 fmeval 라이브러리의 model_runner 섹션을 참조하세요.

   HuggingFaceCausalLLMModelRunner 생성기에 포함된 정의는 다음과 같습니다.

   • 구성은 이 섹션의 시작 부분에 HFModelConfig정의된 로 설정됩니다.

   • 모델은 에서 사전 훈련된 모델로 설정됩니다.Hugging Face 인스턴스화 시 model_name 파라미터를 사용하여 지정된 Auto Class입니다.

   • 토큰화기는 에서 클래스로 설정됩니다. Hugging Face 에서 지정한 사전 훈련된 모델과 일치하는 토큰화기 라이브러리입니다model_name.

   HuggingFaceCausalLLMModelRunner 클래스의 predict 메서드는 다음 정의를 사용합니다.

   • input_ids - 모델의 입력을 포함하는 변수입니다. 모델은 다음과 같이 입력을 생성합니다.

     • 는 에 포함된 요청을 토큰 식별자()prompt로 tokenizer 변환합니다IDs. 특정 토큰(단어IDs, 하위단어 또는 문자)을 나타내는 숫자 값인 이러한 토큰 는 모델에서 직접 입력으로 사용할 수 있습니다. 토큰은 로 반환IDs됩니다.PyTorch 에 지정된 텐서 객체return_tensors="pt". 다른 유형의 반환 텐서 유형은 Hugging Face apply_chat_template에 대한 설명서.

     • 토큰IDs은 모델이 위치한 디바이스로 전송되므로 모델에서 사용할 수 있습니다.

   • generations - 에서 생성된 응답을 포함하는 변수입니다LLM. 모델의 생성 함수는 다음 입력을 사용하여 응답을 생성합니다.

     • input_ids 이전 단계의 .

     • 에 max_new_tokens 지정된 파라미터입니다HFModelConfig.

     • 는 응답에 문장 끝(eo) 토큰을 pad_token_id 추가합니다. 사용할 수 있는 다른 토큰은 Hugging Face 에 대한 설명서PreTrainedTokenizer.

   • generation_contains_input - 생성된 응답에 응답에 입력 프롬프트가 포함될 True 때 를 반환하는 부울 변수입니다False. 반환 값은 다음 간의 요소별 비교를 사용하여 계산됩니다.

     • 에 포함된 입력 프롬프트IDs의 모든 토큰입니다input_ids["input_ids"][0].

     • 에 포함된 생성된 콘텐츠의 시작입니다generations[0][: input_ids["input_ids"].shape[1]].

     구성remove_prompt_from_generated_text에서 를 LLM로 지시했지만 생성된 응답에 입력 프롬프트가 포함되지 않은 경우 predict 메서드는 경고를 반환합니다.

     predict 메서드의 출력에는 batch_decode 메서드에서 반환한 문자열이 포함되어 응답에서 IDs 반환된 토큰을 사람이 읽을 수 있는 텍스트로 변환합니다. 를 remove_prompt_from_generated_text로 지정하면 생성된 텍스트에서 True입력 프롬프트가 제거됩니다. remove_prompt_from_generated_text 로 지정한 경우 False에 지정된 special_token_dict대로 사전 에 포함된 특수 토큰 없이 생성된 텍스트가 반환됩니다skip_special_tokens=True.

3. 를 테스트합니다ModelRunner. 모델로 샘플 요청을 보냅니다.

   다음 예제는 에서 gpt2 사전 훈련된 모델을 사용하여 모델을 테스트하는 방법을 보여줍니다.Hugging Face AutoConfig 클래스:

   hf_config = HFModelConfig(model_name="gpt2", max_new_tokens=32)
   model = HuggingFaceCausalLLMModelRunner(model_config=hf_config)

   이전 코드 예제에서 는 사전 훈련된 모델의 이름을 model_name 지정합니다. HFModelConfig 클래스는 파라미터 에 대한 값이 있는 hf_config로 인스턴스화되며 max_new_tokens를 초기화하는 데 사용됩니다ModelRunner.

   에서 다른 사전 훈련된 모델을 사용하려는 경우 Hugging Face에서 from_pretrained 의 pretrained_model_name_or_path를 선택합니다AutoClass.

   마지막으로 를 테스트합니다ModelRunner. 다음 코드 예제와 같이 샘플 요청을 모델에 전송합니다.

   model_output = model.predict("London is the capital of?")[0]
   print(model_output)
   eval_algo.evaluate_sample()