本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用模型推理提交提示并生成响应
推理是指根据提供给模型的输入生成输出的过程。根基模型使用概率来构造序列中的字词。模型可以根据输入预测接下来可能出现的词元序列,并将该序列作为输出返回。借助 Amazon Bedrock,您可以使用自己所选的根基模型运行推理。在运行推理时,您需要提供以下输入。
-
提示 – 提供给模型的输入,以便模型生成响应。有关编写提示的信息,请参阅 提示工程概念。有关防范提示注入攻击的信息,请参阅提示注入安全。
-
推理参数 – 一组可以调整以限制或影响模型响应的值。有关推理参数的信息,请参阅使用推理参数生成影响响应和根基模型的推理参数。
Amazon Bedrock 提供了一套基础模型,您可以使用这些模型生成以下模式的输出。要查看基础模型对模态的支持,请参阅。Amazon Bedrock 中支持的根基模型
输出模式 | 描述 | 使用案例示例 |
---|---|---|
文本 | 提供文本输入并生成各种类型的文本 | 聊天 question-and-answering、头脑风暴、摘要、代码生成、表格创建、数据格式化、重写 |
图像 | 提供文本或输入图像并生成或修改图像 | 图像生成、图像编辑、图像变体 |
嵌入 | 提供文本、图像或同时提供文本和图像,然后生成表示输入的数值向量。可以将输出向量与其他嵌入向量进行比较,以确定语义相似度(对于文本)或视觉相似度(对于图像)。 | 文本和图像搜索、查询、分类、推荐、个性化、知识库创建 |
运行推理时,您可以通过在控制台中选择吞吐量或在API请求的modelId
字段中指定吞吐量来指定要使用的吞吐量级别。吞吐量定义了您可以处理的输入和输出令牌的数量和速率。有关更多信息,请参阅 提高吞吐量,提高弹性和处理能力。
您可以通过以下方法运行模型推理。
-
在简单易用的图形界面中使用任何操场运行推理。
使用 ConverseAPI(Converse 和 ConverseStream)实现对话应用程序。
-
发送 O InvokeModelR InvokeModelWithResponseStream请求。
-
准备一个包含所需配置的提示数据集,并根据
CreateModelInvocationJob
请求运行批量推理。 -
以下 Amazon Bedrock 功能使用模型推断作为更大规模编排中的一个步骤。有关更多详细信息,请参阅这些部分。
-
设置知识库并发送 RetrieveAndGenerate 请求。
-
设置代理并发送 InvokeAgent 请求。
-
您可以使用基础模型、自定义模型或预调配模型运行推理。要对自定义模型运行推理,请先为其购买预调配吞吐量(有关更多信息,请参阅使用 Amazon Bedrock 中的预配置吞吐量增加模型调用容量)。
通过这些方法,使用不同的提示和推理参数来测试根基模型的响应。充分探索了这些方法后,就可以通过调用这些APIs方法来设置应用程序以运行模型推理。
选择一个主题,以详细了解如何通过相应方法运行模型推理。要了解有关使用代理的更多信息,请参阅 使用对话代理自动执行应用程序中的任务。