本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Command R
Cohere — 命令 R
模型详细信息
Command R 是 Cohere 的可扩展 LLM,针对检索增强型生成和工具在具有 128K 上下文窗口的企业应用程序中使用进行了优化。有关模型开发和性能的更多信息,请参阅model/service 卡片
模型发布日期:2024 年 8 月
车型停产日期:2026 年 8 月 19 日
最终用户许可协议和使用条款:查看
模型生命周期:旧版
上下文窗口:128K 代币
最大输出令牌:4K
知识截止时间:2024 年 3 月
商城产品编号:
prod-tukx4z3hrewle
提示
只要有可能,我们建议将bedrock-runtime终端节点用于新应用程序。有关详细信息,请参阅亚马逊 Bedrock 支持的终端节点。
能力和特性
基岩特征
使用bedrock-runtime终端节点支持的功能
| 支持的 | 不支持 |
|---|---|
|
— |
定价
有关定价信息,请参阅亚马逊基岩定价
以编程方式访问
使用以下模型 ID 和端点 URL 以编程方式访问此模型。有关可用 API 和终端节点的更多信息,请参阅支持的 API 和支持的终端节点。
| Endpoint | 模特 ID | In-Region 端点 URL | 地理推断 ID | 全局推理 ID |
|---|---|---|---|---|
bedrock-runtime |
cohere.command-r-v1:0 |
https://bedrock-runtime.{region}.amazonaws.com |
不支持 | 不支持 |
例如,如果区域为 us-east-1(弗吉尼亚北部),则基岩运行时终端节点 URL 将为 “”,基岩地堡的网址将为 https://bedrock-runtime.us-east-1.amazonaws.com “”。https://bedrock-mantle.us-east-1.api.aws/v1
服务等级
Amazon Bedrock 提供多个服务等级以满足您的工作负载要求。Standard 提供按代币付费的访问权限,无需承诺(设置"service_tier": "default"或省略该字段)。Priority 以溢价(套装"service_tier": "priority")提供最快的响应时间。Flex 为灵活、非时间敏感的工作负载(套装)提供更低成本的访问权限。"service_tier": "flex"预留为可预测的工作负载提供专用吞吐量和期限承诺;它是在账户级别设置的,而不是根据每个请求设置的(请联系您的 AWS 账户团队来启用)。有关更多信息,请参阅服务等级。
| Standard | 优先级 | Flex | 已保留 |
|---|---|---|---|
区域可用性
区域可用性一览
Amazon Bedrock 提供三种推理选项:将请求In-Region保留在单一区域内以确保严格合规;在尊重数据驻留的前提下跨地理区域(例如美国、欧盟和亚太地区)进行地理路由;在没有居住限制的情况下,全球 Cross-Region路由到全球任何地方。 Cross-Region 有关更多详细信息,请参阅该按型号划分的区域可用性页面。
| 区域 | In-Region | 地理 | Global |
|---|---|---|---|
us-east-1(弗吉尼亚北部) | |||
us-west-2(俄勒冈州) |
配额和限制
您的 AWS 账户有默认配额,以维持服务的性能并确保适当使用 Amazon Bedrock。分配给账户的默认配额可能会根据地区因素、付款历史记录、欺诈性使用、配额增加请求的 and/or 批准情况进行更新。有关更多信息,请参阅Amazon Bedrock 的配额文档并查看模型的限制。
示例代码
第 1 步- AWS 账户:如果您已经有 AWS 账户,请跳过此步骤。如果您是新手 AWS,请注册一个 A WS 账户
第 2 步-API 密钥:前往亚马逊 Bedrock 控制台
第 3 步-获取 SDK:要使用此入门指南,必须已安装 Python。然后根据您使用的 API 安装相关软件。
pip install boto3
第 4 步-设置环境变量:将您的环境配置为使用 API 密钥进行身份验证。
AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"
第 5 步-运行您的第一个推理请求:将文件另存为 bedrock-first-request.py