Requisitos previos para la destilación modelo Amazon Bedrock

Elige un modelo de profesor

Elija un modelo de profesor que sea significativamente más grande y más capaz que el modelo de estudiante, y cuya precisión desee lograr para su caso de uso. Para que el trabajo de destilación sea más eficaz, seleccione un modelo que ya esté entrenado para una tarea similar a su caso de uso. Para obtener información sobre los modelos de profesores compatibles con Amazon Bedrock, consulteModelos y regiones compatibles con Amazon Bedrock Model Distillation.

Elija un modelo para estudiantes

Elija un modelo de estudiante que sea significativamente más pequeño. Para obtener información sobre los modelos estudiantiles compatibles con Amazon Bedrock, consulteModelos y regiones compatibles con Amazon Bedrock Model Distillation.

Prepare su conjunto de datos de entrada

Proporcione los datos de entrada como se le indique. Amazon Bedrock utiliza los datos de entrada para generar respuestas a partir del modelo de profesor y utiliza las respuestas generadas para ajustar el modelo de alumnos. Para obtener más información sobre las entradas que utiliza Amazon Bedrock y para elegir la opción que mejor se adapte a su caso de uso, consulteCómo funciona Amazon Bedrock Model Distillation.

Elija la opción que mejor se adapte a su caso de uso para obtener instrucciones sobre cómo preparar el conjunto de datos de entrada:

Opción 1: proporciona tus propias indicaciones

Recopile sus indicaciones y guárdelas en formato JSON Line (JSONL). Cada registro del JSONL debe usar la siguiente estructura.

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],    
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "why is the sky blue"
                }
            ]
        },
        {
            "role": "assistant"
            "content": [
               {
                   "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
               }
            ]
        }
    ]
}

La estructura debe incluir el campo obligatorio schemaVersion que debe tener el valorbedrock-conversion-2024. Si lo desea, puede incluir un indicador del sistema que indique la función asignada al modelo. En el campo de mensajes, es obligatorio el rol de usuario, que contiene el mensaje de entrada proporcionado al modelo, mientras que el rol de asistente, que contiene la respuesta deseada, es opcional.

Para la versión preliminar Anthropic y Meta los modelos solo admiten mensajes de conversación de un solo turno, lo que significa que solo puedes tener un mensaje de usuario. La Amazon Nova los modelos admiten conversaciones en varios turnos, lo que permite intercambiar varios usuarios y asistentes en un solo registro.

Tras añadir todas las indicaciones, suba el archivo a un bucket de Amazon Simple Storage Service (Amazon S3).

Opción 2: usar registros de invocación

Para usar los registros de invocación para la destilación de modelos, configure el inicio de sesión de invocación del modelo, utilice una de las operaciones de invocación del modelo y asegúrese de haber configurado un bucket de Amazon S3 como destino de los registros. Antes de poder iniciar el trabajo de destilación del modelo, debe proporcionar permisos a Amazon Bedrock para acceder a los registros. Para obtener más información sobre la configuración de los registros de invocación, consulte Supervisar la invocación del modelo mediante Amazon CloudWatch Logs.

Con esta opción, puede especificar si desea que Amazon Bedrock utilice únicamente las solicitudes o utilice pares de solicitudes y respuestas del registro de invocaciones. Si desea que Amazon Bedrock utilice únicamente indicaciones, Amazon Bedrock podría añadir técnicas de síntesis de datos patentadas para generar respuestas diversas y de mayor calidad a partir del modelo docente. Si desea que Amazon Bedrock utilice pares de respuesta rápida, Amazon Bedrock no volverá a generar las respuestas a partir del modelo docente. Amazon Bedrock utilizará directamente las respuestas del registro de invocación para ajustar el modelo del alumno.

Si lo desea, puede añadir metadatos de solicitud a los pares de preguntas y respuestas del registro de invocación mediante una de las operaciones de invocación del modelo y, posteriormente, utilizarlos para filtrar los registros. Amazon Bedrock puede usar los registros filtrados para ajustar el modelo del estudiante.

Para filtrar los registros mediante varios metadatos de solicitudes, utilice un operador AND booleano, OR o, de una sola operación. NOT No puede combinar operaciones. Para el filtrado de metadatos de una sola solicitud, utilice el operador booleano. NOT