기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모델 평가 노트북 자습서
이 섹션에서는 예제 코드와 설명이 포함된 다음 노트북 자습서를 제공합니다.
-
프롬프트 고정 관념을 위해 JumpStart 모델을 평가하는 방법.
-
Amazon Bedrock 모델의 텍스트 요약 정확도를 평가하는 방법.
추가 노트북
fmeval GitHub
-
bedrock-claude-factual-knowledge.ipnyb
– Amazon Bedrock에서 호스팅되는 Anthropic Claude 2 모델을 평가하여 사실에 입각한 지식을 얻습니다. -
byo-model-outputs.ipynb
- 에서 호스팅되는 Falcon 7b 모델을 평가하여 추론 요청을 모델에 보내는 대신 자체 모델 출력을 가져오는 JumpStart 사실적 지식을 제공합니다. -
custom_model_runner_chat_gpt.ipnyb
- 에서 호스팅되는 사용자 지정 ChatGPT 3.5모델을 평가Hugging Face하여 사실에 입각한 지식을 얻습니다.
