本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用模型推理提交提示并生成响应
推理是指根据提供给模型的输入生成输出的过程。
Amazon Bedrock 提供了一套基础模型,您可以使用这些模型生成以下模式的输出。要查看基础模型支持的模式,请参阅 Amazon Bedrock 中支持的根基模型。
输出模式 | 描述 | 使用案例示例 |
---|---|---|
文本 | 提供文本输入并生成各种类型的文本 | 聊天 question-and-answering、头脑风暴、摘要、代码生成、表格创建、数据格式化、重写 |
图像 | 提供文本或输入图像并生成或修改图像 | 图像生成、图像编辑、图像变体 |
嵌入 | 提供文本、图像或同时提供文本和图像,然后生成表示输入的数值向量。可以将输出向量与其他嵌入向量进行比较,以确定语义相似度(对于文本)或视觉相似度(对于图像)。 | 文本和图像搜索、查询、分类、推荐、个性化、知识库创建 |
您可以通过以下方法直接运行模型推理:
-
在中 AWS Management Console,使用任何 Amazon Bedrock Playgrounds 在用户友好的图形界面中进行推理。
使用 Converse 或 ConverseStreamAPI 实现对话应用程序。
-
使用InvokeModel或 InvokeModelWithResponseStreamAPI 提交单个提示。
-
准备一个包含所需配置的提示数据集,并根据 CreateModelInvocationJob 请求运行批量推理。
以下 Amazon Bedrock 功能还使用模型推理作为更大工作流中的一个步骤:
-
在您提交CreateEvaluationJob请求后,模型评估使用模型调用过程来评估不同模型的性能。
-
知识库在使用时使用模型调用 RetrieveAndGenerate用于根据从知识库中检索到的结果生成响应的 API。
-
代理使用模型调用在不同阶段生成响应 InvokeAgent 请求。
-
流程包括使用模型调用的 Amazon Bedrock 资源,例如提示、知识库和代理。
在测试了具有不同提示和推理参数的不同基础模型之后,您可以将应用程序配置为按照所需的规格调 APIs 用这些模型。