View a markdown version of this page

Nova Micro - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Nova Micro

亚马逊徽标带有从A到Z的弯曲箭头,形成微笑。 亚马逊 — 诺瓦微型

模型详细信息

Nova Micro 是亚马逊最快的纯文本模型,针对摘要、翻译和分类等任务的速度和低成本进行了优化。有关模型开发和性能的更多信息,请参阅model/service 卡片

  • 模型发布日期:2024 年 12 月 5 日

  • 车型停产日期:不早于 /2025 12/4

  • 最终用户许可协议和使用条款:查看

  • 模型生命周期:活跃

  • 上下文窗口:128K 代币

  • 最大输出代币:5K

  • 知识截止时间:2024 年 10 月

输入模式 输出模式 支持的 API 支持的终端节点
Red circle with white X icon indicating error, cancel, or close action.音频Red circle with white X icon indicating error, cancel, or close action.嵌入Red circle with white X icon indicating error, cancel, or close action. ResponsesGreen circle with white checkmark icon. bedrock-runtime
Red circle with white X icon indicating error, cancel, or close action.图片Red circle with white X icon indicating error, cancel, or close action.图片Red circle with white X icon indicating error, cancel, or close action. Chat CompletionsRed circle with white X icon indicating error, cancel, or close action. bedrock-mantle
Red circle with white X icon indicating error, cancel, or close action.演讲Red circle with white X icon indicating error, cancel, or close action.演讲Green circle with white checkmark icon. Invoke
Green circle with white checkmark icon.文本Green circle with white checkmark icon.文本Green circle with white checkmark icon. Converse
Red circle with white X icon indicating error, cancel, or close action.视频Red circle with white X icon indicating error, cancel, or close action.视频
提示

只要有可能,我们建议将bedrock-runtime终端节点用于新应用程序。有关详细信息,请参阅亚马逊 Bedrock 支持的终端节点

能力和特性

基岩特征

使用bedrock-runtime终端节点支持的功能

使用bedrock-runtime端点提示缓存

有关更多信息,请参阅提示缓存以加快模型推断

支持即时缓存 每个缓存检查点的最小令牌 每个请求的最大缓存检查点数 支持的 TTL 接受提示缓存检查点的字段
1K* 4 5 分钟 systemmessages

* 亚马逊 Nova 型号最多支持 2 万个代币用于即时缓存。

定价

有关定价信息,请参阅亚马逊基岩定价页面。

以编程方式访问

使用以下模型 ID 和端点 URL 以编程方式访问此模型。有关可用 API 和终端节点的更多信息,请参阅支持的 API 和支持的终端节点

Endpoint 模特 ID In-Region 端点 URL 地理推断 ID 全局推理 ID
bedrock-runtime amazon.nova-micro-v1:0 https://bedrock-runtime.{region}.amazonaws.com

us.amazon.nova-micro-v1:0

eu.amazon.nova-micro-v1:0

不支持

例如,如果区域为 us-east-1(弗吉尼亚北部),则基岩运行时终端节点 URL 将为 “”,基岩地堡的网址将为 https://bedrock-runtime.us-east-1.amazonaws.com “”。https://bedrock-mantle.us-east-1.api.aws/v1

服务等级

Amazon Bedrock 提供多个服务等级以满足您的工作负载要求。Standard 提供按代币付费的访问权限,无需承诺(设置"service_tier": "default"或省略该字段)。Priority 以溢价(套装"service_tier": "priority")提供最快的响应时间。Flex 为灵活、非时间敏感的工作负载(套装)提供更低成本的访问权限。"service_tier": "flex"预留为可预测的工作负载提供专用吞吐量和期限承诺;它是在账户级别设置的,而不是根据每个请求设置的(请联系您的 AWS 账户团队来启用)。有关更多信息,请参阅服务等级

Standard 优先级 Flex 已保留
Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action. Red circle with white X icon indicating error, cancel, or close action. Red circle with white X icon indicating error, cancel, or close action.

区域可用性

区域可用性一览

Amazon Bedrock 提供三种推理选项:将请求In-Region保留在单一区域内以确保严格合规;在尊重数据驻留的前提下跨地理区域(例如美国、欧盟和亚太地区)进行地理路由;在没有居住限制的情况下,全球 Cross-Region路由到全球任何地方。 Cross-Region 有关更多详细信息,请参阅该按型号划分的区域可用性页面。

区域 In-Region 地理 Global
us-east-1(弗吉尼亚北部)Green circle with white checkmark icon.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.
us-east-2(俄亥俄州)Red circle with white X icon indicating error, cancel, or close action.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.
us-west-2(俄勒冈州)Red circle with white X icon indicating error, cancel, or close action.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.
us-gov-west-1 (GovCloud)Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
eu-central-1(法兰克福)Red circle with white X icon indicating error, cancel, or close action.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.
eu-north-1(斯德哥尔摩)Red circle with white X icon indicating error, cancel, or close action.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.
eu-south-1(米兰)Red circle with white X icon indicating error, cancel, or close action.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.
eu-south-2(西班牙)Red circle with white X icon indicating error, cancel, or close action.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.
eu-west-1(爱尔兰)Red circle with white X icon indicating error, cancel, or close action.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.
eu-west-2(伦敦)Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
eu-west-3(巴黎)Red circle with white X icon indicating error, cancel, or close action.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.
ap-southeast-2(悉尼)Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
il-central-1(特拉维夫)Red circle with white X icon indicating error, cancel, or close action.Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.

地理推理细节

地理:美国

地理推断 ID:us.amazon.nova-micro-v1:0

来源区域 目的地区域
us-east-1(弗吉尼亚州北部)us-east-1(弗吉尼亚北部)、us-east-2(俄亥俄州)、us-west-2(俄勒冈州)
us-east-2(俄亥俄州)us-east-1(弗吉尼亚北部)、us-east-2(俄亥俄州)、us-west-2(俄勒冈州)
us-west-2 (俄勒冈)us-east-1(弗吉尼亚北部)、us-east-2(俄亥俄州)、us-west-2(俄勒冈州)

地理:欧盟

地理推断 ID:eu.amazon.nova-micro-v1:0

来源区域 目的地区域
eu-central-1 (法兰克福)eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-west-1(爱尔兰)、eu-west-3(巴黎)
eu-north-1(斯德哥尔摩)eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-west-1(爱尔兰)、eu-west-3(巴黎)
eu-south-1(米兰)eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-south-1(米兰)、eu-west-1(爱尔兰)、eu-west-3(巴黎)
eu-south-2(西班牙)欧盟中部 1(法兰克福)、欧盟北部 1(斯德哥尔摩)、欧盟南部 2(西班牙)、欧盟西部 1(爱尔兰)、欧盟西部 3(巴黎)
eu-west-1 (爱尔兰)欧盟中部 1(法兰克福)、欧盟北部 1(斯德哥尔摩)、欧盟西部 1(爱尔兰)、欧盟西部 3(巴黎)
eu-west-3(巴黎)eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-west-1(爱尔兰)、eu-west-3(巴黎)
il-central-1(特拉维夫)eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-south-1(米兰)、eu-west-1(爱尔兰)、eu-west-3(巴黎)、il-central-1(特拉维夫)

配额和限制

您的 AWS 账户有默认配额,以维持服务的性能并确保适当使用 Amazon Bedrock。分配给账户的默认配额可能会根据地区因素、付款历史记录、欺诈性使用、配额增加请求的 and/or 批准情况进行更新。有关更多信息,请参阅Amazon Bedrock 的配额文档并查看模型限制。

示例代码

第 1 步- AWS 账户:如果您已经有 AWS 账户,请跳过此步骤。如果您是新手 AWS,请注册一个 A WS 账户

第 2 步-API 密钥:前往亚马逊 Bedrock 控制台并生成长期 API 密钥。

第 3 步-获取 SDK:要使用此入门指南,必须已安装 Python。然后根据您使用的 API 安装相关软件。

pip install boto3

第 4 步-设置环境变量:将您的环境配置为使用 API 密钥进行身份验证。

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

第 5 步-运行您的第一个推理请求:将文件另存为 bedrock-first-request.py

有关完整的请求和响应架构,包括system提示、、、和等所有支持的参数 temperature topP stopSequencestoolConfig,请参阅 Amazon Nova 用户指南中的完整请求架构。

Invoke API
import json import boto3 client = boto3.client('bedrock-runtime', region_name='us-east-1') response = client.invoke_model( modelId='amazon.nova-micro-v1:0', body=json.dumps({ 'messages': [{ 'role': 'user', 'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}] }], 'inferenceConfig': { 'maxTokens': 1024 } }) ) print(json.loads(response['body'].read()))
Converse API
import boto3 client = boto3.client('bedrock-runtime', region_name='us-east-1') response = client.converse( modelId='amazon.nova-micro-v1:0', messages=[ { 'role': 'user', 'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}] } ] ) print(response)