本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
模型評估筆記本教學課程
本節提供下列筆記本教學課程,其中包含範例程式碼和說明:
-
如何評估 JumpStart 模型的提示刻板印象。
-
如何評估 Amazon Bedrock 模型的文字摘要準確性。
其他筆記本
Fmeval GitHub
-
bedrock-claude-factual-knowledge.ipnyb
– 評估託管在 Amazon Bedrock 上的 Anthropic Claude 2 模型,以取得事實知識。 -
byo-model-outputs.ipynb
– 評估託管在 上的 Falcon 7b 模型 JumpStart ,以取得事實知識,其中您可以自帶模型輸出,而不是將推論請求傳送至模型。 -
custom_model_runner_chat_gpt.ipnyb
– 評估託管的自訂 ChatGPT 3.5
模型,Hugging Face
以取得事實知識。