Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Ejecución de inferencias de modelos
La inferencia se refiere al proceso de generar una salida a partir de una entrada proporcionada a un modelo. Los modelos fundacionales utilizan la probabilidad para organizar las palabras en una secuencia. Ante una entrada dada, el modelo predice una secuencia probable de tokens siguiente y devuelve esa secuencia como salida. Amazon Bedrock le ofrece la capacidad de ejecutar inferencias en el modelo fundacional que elija. Para ejecutar una inferencia, se proporciona la siguiente información:
-
Petición: una entrada que se proporciona al modelo para que genere una respuesta. Para obtener información sobre la escritura de peticiones, consulte Directrices sobre ingeniería de peticiones.
-
Parámetros de inferencia: conjunto de valores que se pueden ajustar para limitar o influir en la respuesta del modelo. Para obtener más información acerca de los parámetros de inferencia, consulte Parámetros de inferencia y Parámetros de inferencia para Modelos fundacionales.
Amazon Bedrock ofrece un conjunto de modelos básicos que puede utilizar para generar resultados de las siguientes modalidades. Para ver el soporte de modalidades por modelo básico, consulte. Modelos fundacionales compatibles en Amazon Bedrock
| Modalidad de salida | Descripción | Ejemplos de casos de uso |
|---|---|---|
| Texto | Proporcione entrada de texto y genere varios tipos de texto | Charla question-and-answering, intercambio de ideas, resumen, generación de código, creación de tablas, formateo de datos, reescritura |
| Imagen | Proporcione texto o introduzca imágenes y genere o modifique imágenes | Generación de imágenes, edición de imágenes, variación de imágenes |
| Incrustaciones | Proporcione texto, imágenes o ambos, texto e imágenes y genere un vector de valores numéricos que representen la entrada. El vector de salida se puede comparar con otros vectores de incrustaciones para determinar la similitud semántica (en el caso del texto) o la similitud visual (en el caso de las imágenes). | Búsqueda de texto e imágenes, consulta, categorización, recomendaciones, personalización y creación de bases de conocimiento |
Puede ejecutar la inferencia de modelos de las siguientes maneras:
-
Utilice cualquiera de las áreas de prueba para ejecutar inferencias en una interfaz gráfica intuitiva.
-
Envíe una InvokeModelWithResponseStreamsolicitud InvokeModelo solicitud.
-
Prepare un conjunto de datos de peticiones con las configuraciones que desee y realice una inferencia por lotes con una solicitud
CreateModelInvocationJob. -
Las siguientes características de Amazon Bedrock utilizan la inferencia de modelos como un paso en una organización más amplia. Consulte esas secciones para obtener más información.
-
Configure una base de conocimientos y envíe una RetrieveAndGeneratesolicitud.
-
Configure un agente y envíe una InvokeAgentsolicitud.
-
Puede realizar inferencias con modelos base, modelos personalizados o modelos aprovisionados. Para ejecutar inferencias en un modelo personalizado, primero compre Rendimiento aprovisionado para el mismo (para obtener más información, consulte Rendimiento aprovisionado para Amazon Bedrock).
Utilice estos métodos para probar las respuestas del modelo fundacional con diferentes peticiones y parámetros de inferencia. Una vez que haya explorado suficientemente estos métodos, puede configurar su aplicación para ejecutar la inferencia de modelos llamando a estas API.
Seleccione un tema para obtener más información sobre cómo ejecutar la inferencia de modelos mediante ese método. Para obtener más información acerca del uso de agentes, consulte Agentes para Amazon Bedrock.
Temas
