基础模型的推理请求参数和响应字段 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

基础模型的推理请求参数和响应字段

本节介绍了 Amazon Bedrock 提供的模型的请求参数和响应字段。使用此信息通过InvokeModelInvokeModelWithResponseStream(流式传输)操作对模型进行推理调用。本节还包括 Python 显示如何调用模型的代码示例。要在推理操作中使用模型,您需要模型的模型 ID。要获取模型 ID,请参阅Amazon Bedrock 模型 IDs。有些型号也可以与匡威API配合使用。要检查 Converse 是否API支持特定型号,请参阅支持的型号和型号功能。有关更多代码示例,请参阅使用 Amazon Bedrock 的代码示例 AWS SDKs

或者,您可以设置推理参数来影响模型生成的响应。如果您使用的是自定义模型,请使用与自定义该模型的基础模型相同的推理参数。

Amazon Bedrock 中的基础模型支持输入和输出模式,这些模式因模型而异。要检查模型支持的模式,请参阅Amazon Bedrock 中支持的根基模型。要查看某款机型支持哪些 Amazon Bedrock 功能,请参阅按功能划分的型号支持。要查看模型在哪些 AWS 区域可用,请参阅按 AWS 地区划分的模型支持

在对模型进行推理调用时,会包括模型的提示。有关为 Amazon Bedrock 支持的模型创建提示的一般信息,请参阅 提示工程概念