本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Nova Micro
亚马逊 — 诺瓦微型
模型详细信息
Nova Micro 是亚马逊最快的纯文本模型,针对摘要、翻译和分类等任务的速度和低成本进行了优化。有关模型开发和性能的更多信息,请参阅model/service 卡片。
模型发布日期:2024 年 12 月 5 日
车型停产日期:不早于 /2025 12/4
最终用户许可协议和使用条款:查看
模型生命周期:活跃
上下文窗口:128K 代币
最大输出代币:5K
知识截止时间:2024 年 10 月
提示
只要有可能,我们建议将bedrock-runtime终端节点用于新应用程序。有关详细信息,请参阅亚马逊 Bedrock 支持的终端节点。
能力和特性
基岩特征
使用bedrock-runtime终端节点支持的功能
| 支持的 | 不支持 |
|---|---|
使用bedrock-runtime端点提示缓存
有关更多信息,请参阅提示缓存以加快模型推断。
| 支持即时缓存 | 每个缓存检查点的最小令牌 | 每个请求的最大缓存检查点数 | 支持的 TTL | 接受提示缓存检查点的字段 |
|---|---|---|---|---|
| 是 | 1K* | 4 | 5 分钟 | system 和 messages |
* 亚马逊 Nova 型号最多支持 2 万个代币用于即时缓存。
定价
有关定价信息,请参阅亚马逊基岩定价
以编程方式访问
使用以下模型 ID 和端点 URL 以编程方式访问此模型。有关可用 API 和终端节点的更多信息,请参阅支持的 API 和支持的终端节点。
| Endpoint | 模特 ID | In-Region 端点 URL | 地理推断 ID | 全局推理 ID |
|---|---|---|---|---|
bedrock-runtime |
amazon.nova-micro-v1:0 |
https://bedrock-runtime.{region}.amazonaws.com |
|
不支持 |
例如,如果区域为 us-east-1(弗吉尼亚北部),则基岩运行时终端节点 URL 将为 “”,基岩地堡的网址将为 https://bedrock-runtime.us-east-1.amazonaws.com “”。https://bedrock-mantle.us-east-1.api.aws/v1
服务等级
Amazon Bedrock 提供多个服务等级以满足您的工作负载要求。Standard 提供按代币付费的访问权限,无需承诺(设置"service_tier": "default"或省略该字段)。Priority 以溢价(套装"service_tier": "priority")提供最快的响应时间。Flex 为灵活、非时间敏感的工作负载(套装)提供更低成本的访问权限。"service_tier": "flex"预留为可预测的工作负载提供专用吞吐量和期限承诺;它是在账户级别设置的,而不是根据每个请求设置的(请联系您的 AWS 账户团队来启用)。有关更多信息,请参阅服务等级。
| Standard | 优先级 | Flex | 已保留 |
|---|---|---|---|
区域可用性
区域可用性一览
Amazon Bedrock 提供三种推理选项:将请求In-Region保留在单一区域内以确保严格合规;在尊重数据驻留的前提下跨地理区域(例如美国、欧盟和亚太地区)进行地理路由;在没有居住限制的情况下,全球 Cross-Region路由到全球任何地方。 Cross-Region 有关更多详细信息,请参阅该按型号划分的区域可用性页面。
| 区域 | In-Region | 地理 | Global |
|---|---|---|---|
us-east-1(弗吉尼亚北部) | |||
us-east-2(俄亥俄州) | |||
us-west-2(俄勒冈州) | |||
us-gov-west-1 (GovCloud) | |||
eu-central-1(法兰克福) | |||
eu-north-1(斯德哥尔摩) | |||
eu-south-1(米兰) | |||
eu-south-2(西班牙) | |||
eu-west-1(爱尔兰) | |||
eu-west-2(伦敦) | |||
eu-west-3(巴黎) | |||
ap-southeast-2(悉尼) | |||
il-central-1(特拉维夫) |
地理推理细节
地理:美国
地理推断 ID:us.amazon.nova-micro-v1:0
| 来源区域 | 目的地区域 |
|---|---|
| us-east-1(弗吉尼亚州北部) | us-east-1(弗吉尼亚北部)、us-east-2(俄亥俄州)、us-west-2(俄勒冈州) |
| us-east-2(俄亥俄州) | us-east-1(弗吉尼亚北部)、us-east-2(俄亥俄州)、us-west-2(俄勒冈州) |
| us-west-2 (俄勒冈) | us-east-1(弗吉尼亚北部)、us-east-2(俄亥俄州)、us-west-2(俄勒冈州) |
地理:欧盟
地理推断 ID:eu.amazon.nova-micro-v1:0
| 来源区域 | 目的地区域 |
|---|---|
| eu-central-1 (法兰克福) | eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-west-1(爱尔兰)、eu-west-3(巴黎) |
| eu-north-1(斯德哥尔摩) | eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-west-1(爱尔兰)、eu-west-3(巴黎) |
| eu-south-1(米兰) | eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-south-1(米兰)、eu-west-1(爱尔兰)、eu-west-3(巴黎) |
| eu-south-2(西班牙) | 欧盟中部 1(法兰克福)、欧盟北部 1(斯德哥尔摩)、欧盟南部 2(西班牙)、欧盟西部 1(爱尔兰)、欧盟西部 3(巴黎) |
| eu-west-1 (爱尔兰) | 欧盟中部 1(法兰克福)、欧盟北部 1(斯德哥尔摩)、欧盟西部 1(爱尔兰)、欧盟西部 3(巴黎) |
| eu-west-3(巴黎) | eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-west-1(爱尔兰)、eu-west-3(巴黎) |
| il-central-1(特拉维夫) | eu-central-1(法兰克福)、eu-north-1(斯德哥尔摩)、eu-south-1(米兰)、eu-west-1(爱尔兰)、eu-west-3(巴黎)、il-central-1(特拉维夫) |
配额和限制
您的 AWS 账户有默认配额,以维持服务的性能并确保适当使用 Amazon Bedrock。分配给账户的默认配额可能会根据地区因素、付款历史记录、欺诈性使用、配额增加请求的 and/or 批准情况进行更新。有关更多信息,请参阅Amazon Bedrock 的配额文档并查看模型的限制。
示例代码
第 1 步- AWS 账户:如果您已经有 AWS 账户,请跳过此步骤。如果您是新手 AWS,请注册一个 A WS 账户
第 2 步-API 密钥:前往亚马逊 Bedrock 控制台
第 3 步-获取 SDK:要使用此入门指南,必须已安装 Python。然后根据您使用的 API 安装相关软件。
pip install boto3
第 4 步-设置环境变量:将您的环境配置为使用 API 密钥进行身份验证。
AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"
第 5 步-运行您的第一个推理请求:将文件另存为 bedrock-first-request.py
有关完整的请求和响应架构,包括system提示、、、和等所有支持的参数 temperature topP stopSequencestoolConfig,请参阅 Amazon Nova 用户指南中的完整请求架构。