Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de un perfil de inferencia en la invocación del modelo
Puede utilizar un perfil de inferencia entre regiones en lugar de un modelo básico para enrutar las solicitudes a varias regiones. Para realizar un seguimiento de los costes y el uso de un modelo, en una o varias regiones, puede utilizar un perfil de inferencia de aplicaciones. Para aprender a usar un perfil de inferencia al ejecutar la inferencia de un modelo, elija la pestaña correspondiente al método que prefiera y, a continuación, siga estos pasos:
- Console
-
En la consola, el único perfil de inferencia que puede utilizar es el de EE. UU. Anthropic Claude 3 Opus perfil de inferencia en la región Este de EE. UU. (Virginia del Norte).
Para utilizar este perfil de inferencia, cambie a la región Este de EE. UU. (Norte de Virginia). Realice una de las siguientes acciones y seleccione Anthropic Claude 3 Opus Inferencia de modelos y regiones cruzadas como rendimiento al llegar al paso de selección de un modelo:
-
Para utilizar el perfil de inferencia en el campo de la generación de texto, siga los pasos que se indican en. Generación de respuestas en la consola mediante áreas de juego
-
Para utilizar el perfil de inferencia en la evaluación del modelo, siga los pasos de la consola que se indican en Inicio de un trabajo de evaluación automática de modelos en Amazon Bedrock.
-
- API
-
Puede utilizar un perfil de inferencia al ejecutar la inferencia desde cualquier región incluida en él con las siguientes operaciones: API
-
InvokeModelo InvokeModelWithResponseStream— Para utilizar un perfil de inferencia en la invocación de modelos, siga los pasos que se indican en Envíe un único mensaje con InvokeModel y especifique el nombre de recurso de Amazon (ARN) del perfil de inferencia en el campo.
modelIdPara ver un ejemplo, consulte Uso de un perfil de inferencia en la invocación del modelo. -
Converse o ConverseStream: para utilizar un perfil de inferencia en la invocación del modelo con el Converse API, siga los pasos que se indican en Mantenga una conversación con el Converse Operaciones de API y especifique el perfil ARN de inferencia en el campo.
modelIdPara ver un ejemplo, consulte Uso de un perfil de inferencia en la invocación del modelo. -
RetrieveAndGenerate— Para utilizar un perfil de inferencia al generar respuestas a partir de los resultados de una consulta a una base de conocimientos, siga los pasos de la API pestaña Prueba de la base de conocimientos mediante consultas y respuestas y especifique el perfil ARN de inferencia en el campo.
modelArnPara obtener más información, consulte Uso de un perfil de inferencia para generar una respuesta. -
CreateEvaluationJob— Para enviar un perfil de inferencia para la evaluación del modelo, siga los pasos de la API pestaña Inicio de un trabajo de evaluación automática de modelos en Amazon Bedrock y especifique el perfil ARN de inferencia en el campo.
modelIdentifier -
CreatePrompt— Para utilizar un perfil de inferencia al generar una respuesta para una solicitud que haya creado en la gestión de solicitudes, siga los pasos de la API pestaña Creación de una petición con la administración de peticiones y especifique el perfil ARN de inferencia en el campo.
modelId -
CreateFlow— Para utilizar un perfil de inferencia al generar una respuesta para una solicitud en línea que se defina dentro de un nodo de solicitud de un flujo, siga los pasos que se indican en la pestaña de. API Cree un flujo en Amazon Bedrock Al definir el nodo de solicitud, especifique el perfil ARN de inferencia en el campo.
modelId -
CreateDataSource— Para utilizar un perfil de inferencia al analizar información no textual en una fuente de datos, siga los pasos de la API sección Opciones de análisis para su fuente de datos y especifique el perfil ARN de inferencia en el campo.
modelArn
nota
Si utiliza un perfil de inferencia entre regiones (definido por el sistema), puede utilizar el perfil de inferencia o el ID del perfil de inferencia. ARN
-
