本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
模型評估筆記本教學課程
本節提供下列筆記本教學課程,其中包含範例程式碼和說明:
-
如何評估 JumpStart 模型以進行提示立體化。
-
如何評估 Amazon Bedrock 模型的文字摘要準確性。
其他筆記本
Fmeval GitHub
-
bedrock-claude-factual-knowledge.ipnyb
– 評估託管在 Amazon Bedrock 上的 Anthropic Claude 2 模型以取得事實知識。 -
byo-model-outputs.ipynb
- 評估託管在 JumpStart 上的 Falcon 7b 模型 ,以取得事實知識,其中您將自己的模型輸出帶入其中,而不是將推論請求傳送到模型。 -
custom_model_runner_chat_gpt.ipnyb
– 評估託管在 上的自訂 ChatGPT 3.5
模型Hugging Face
,以取得事實知識。