Generación de respuestas en la consola mediante áreas de juego

Para usar un área de pruebas

1. Si aún no lo ha hecho, solicite acceso a los modelos que quiera utilizar. Para obtener más información, consulte Acceso a los modelos fundacionales de Amazon Bedrock.

2. Inicie sesión en la AWS Management Console con un rol de IAM con los permisos de Amazon Bedrock y abra la consola de Amazon Bedrock en https://console.aws.amazon.com/bedrock/.

3. En el panel de navegación, en Áreas de juego, seleccione Chat/texto o Imagen.

4. Si está en el área de juego Chat/texto, seleccione un Modo.

5. Elija Seleccionar modelo. A continuación, elija un proveedor, un modelo y el rendimiento a usar. Para obtener más información acerca de los tipos de rendimiento, consulte Aumento del rendimiento para mejorar la resiliencia y la potencia de procesamiento.

6. Envíe la siguiente información para generar una respuesta:

   • Petición: suele ser una o más frases de texto que configuran un escenario, una pregunta o una tarea para un modelo. Para obtener información sobre la creación de peticiones, consulte Conceptos de ingeniería de peticiones.

     Si utiliza el modo de chat del área de juego de chat/texto, puede seleccionar Elegir archivos o arrastrar un archivo al campo de texto de la petición para incluir archivos que complementen la petición. Puede hacer referencia al archivo en el texto de la petición, como Summarize this document for me o Tell me what's in this image. Puede incluir los siguientes tipos de archivos:

     • Documentos: añada documentos para complementar la petición. Para obtener una lista de los tipos de archivo compatibles, consulte el campo format de DocumentBlock.

       aviso

       Los nombres de documento son vulnerables a las inyecciones de peticiones, ya que el modelo podría interpretarlas como instrucciones por error. Por lo tanto, le recomendamos que especifique un nombre neutro.

     • Imágenes: agregue imágenes para complementar la petición, si el modelo admite peticiones multimodales. Para obtener una lista de los tipos de archivo compatibles, consulte el campo format de ImageBlock.

     nota

     Al agregar archivos a una petición, se aplican las siguientes restricciones:

     • Puede incluir un máximo de 20 imágenes. El tamaño, la altura y la anchura de cada imagen no deben ser superiores a 3,75 MB, 8000 px y 8000 px, respectivamente.

     • Puede incluir hasta cinco documentos. El tamaño de cada documento no debe superar los 4,5 MB.

   • Configuraciones: ajustes que se adaptan para modificar la respuesta del modelo. Las configuraciones son las siguientes:

     • Parámetros de inferencia: valores que afectan o limitan la forma en que el modelo genera la respuesta. Para obtener más información, consulte Influencia sobre la generación de respuestas con parámetros de inferencia. Para ver los parámetros de inferencia de modelos específicos, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

     • Peticiones del sistema: peticiones que proporcionan instrucciones o contexto al modelo acerca de la tarea que debe realizar o el personaje que debe adoptar. Solo están disponibles en el modo de chat del área de juego de chat/texto. Para obtener más información y una lista de modelos que admiten las peticiones del sistema, consulte Cómo mantener una conversación con las operaciones de la API de Converse.

     • Barreras de protección: filtra el contenido dañino o no deseado en las peticiones y modela las respuestas. Para obtener más información, consulte Detención del contenido dañino en los modelos que utilizan barreras de protección de Amazon Bedrock.

7. (Opcional) Si un modelo es compatible con la transmisión, el comportamiento predeterminado en el área de juego de chat/texto es transmitir las respuestas. Para desactivar la transmisión, seleccione el icono de opciones ( ) y modifique la opción Preferencias de streaming.

8. (Opcional) En el modo de chat del área de juego de chat/texto, puede comparar las respuestas de diferentes modelos de la siguiente manera:

   1. Active el Modo de comparación.

   2. Elija Seleccionar modelo. A continuación, elija un proveedor, un modelo y el rendimiento a usar.

   3. Elija el icono de configuración ( ) para modificar las configuraciones que se van a utilizar.

   4. Para añadir más modelos para compararlos, pulse el icono + de la derecha, seleccione un modelo y modifique las configuraciones según sea necesario.

9. Elija Ejecutar para ejecutar la consulta. Amazon Bedrock no almacena ningún texto, imagen ni documento que proporcione usted. Los datos solo se utilizan para generar la respuesta.

   nota

   Si la respuesta infringe la política de moderación de contenido, Amazon Bedrock no la mostrará. Si ha activado el streaming, Amazon Bedrock borra toda la respuesta si genera contenido que infrinja la política. Para obtener más información, diríjase a la consola de Amazon Bedrock, seleccione Proveedores y lea el texto de la sección Limitaciones de contenido.

10. El modelo devuelve la respuesta. Si utiliza el modo de chat del área de juego de chat/texto, puede enviar un petición para responder a la respuesta y generar otra respuesta.

11. Después de generar una respuesta, tiene las siguientes opciones:

    • Para exportar la respuesta como archivo JSON, elija el icono de opciones ( ) y seleccione Exportar como JSON.

    • Para ver la solicitud de la API que ha realizado, seleccione el icono de opciones ( ) y Ver solicitud de API.

    • En el modo de chat del área de juego de chat/texto, puede ver las métricas en la sección Métricas del modelo. Están disponibles las siguientes métricas del modelo:

      • Latencia: el tiempo que tarda el modelo en generar cada token (palabra) de una secuencia.

      • Recuento de tokens de entrada: la cantidad de tokens que se introducen en el modelo como entrada durante la inferencia.

      • Recuento de tokens de salida: la cantidad de tokens generados en respuesta a una petición. Las respuestas más largas y conversacionales requieren más tokens.

      • Costo: el costo de procesar la entrada y generar los tokens de salida.

      Para establecer los criterios de medición con los que desea que coincida la respuesta, elija Definir criterios de medición y defina las condiciones con las que debe coincidir el modelo. Después de aplicar los criterios, la sección Métricas del modelo muestra cuántos y qué criterios cumple la respuesta.

      Si no se cumplen los criterios, puede elegir un modelo diferente, volver a escribir la petición o modificar las configuraciones y volver a ejecutar la petición.