Preparación de los conjuntos de datos

Para text-to-text los modelos, prepare un conjunto de datos de entrenamiento y validación opcional. Cada objeto JSON es una muestra que contiene tanto un campo prompt como completion. Utilice 6 caracteres por token como una aproximación del número de tokens. El formato es el siguiente.

{"prompt": "<prompt1>", "completion": "<expected generated text>"}
{"prompt": "<prompt2>", "completion": "<expected generated text>"}
{"prompt": "<prompt3>", "completion": "<expected generated text>"}      

El siguiente es un ejemplo de una tarea de preguntas y respuestas:

{"prompt": "what is AWS", "completion": "it's Amazon Web Services"}

Para nuestros text-to-image image-to-embedding modelos, prepare un conjunto de datos de entrenamiento. No se admiten conjuntos de datos de validación. Cada objeto JSON es un ejemplo que contiene una image-ref, el URI de Amazon S3 de una imagen y un caption que podría ser una petición para la imagen.

Las imágenes deben tener formato PNG o JPEG.

{"image-ref": "s3://bucket/path/to/image001.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image002.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image003.png", "caption": "<prompt text>"}    

A continuación, se muestra un elemento de ejemplo:

{"image-ref": "s3://amzn-s3-demo-bucket/my-pets/cat.png", "caption": "an orange cat with white spots"}

Para permitir que Amazon Bedrock acceda a los archivos de imagen, agregue una política de IAM similar a la de Permisos para acceder a los archivos de entrenamiento y validación y escribir los archivos de salida en S3 al rol de servicio de personalización de modelos de Amazon Bedrock que ha configurado o que se ha configurado automáticamente para usted en la consola. Las rutas de Amazon S3 que proporcione en el conjunto de datos de entrenamiento deben estar en las carpetas que especifique en la política.

Para llevar a cabo una formación previa continua sobre un text-to-text modelo, prepare un conjunto de datos de formación y validación opcional. Como el entrenamiento previo continuo incluye datos sin etiquetar, cada línea de JSON es un ejemplo que contiene solo un campo input. Utilice 6 caracteres por token como una aproximación del número de tokens. El formato es el siguiente.

{"input": "<input text>"}
{"input": "<input text>"}
{"input": "<input text>"}

A continuación aparece un elemento de ejemplo que podría estar en los datos de entrenamiento.

{"input": "AWS stands for Amazon Web Services"}

Para ajustar un text-to-text modelo mediante el formato de mensajería de un solo paso, prepare un conjunto de datos de capacitación y validación opcional. Ambos archivos de datos deben estar en formato JSONL. Cada línea especifica un ejemplo de datos completo en formato json y cada ejemplo de datos debe tener el formato de una línea (elimine todas las “\n” en cada ejemplo). Una línea con varios ejemplos de datos o dividir un ejemplo de datos en varias líneas no funcionará.

Campos

Reglas

{"system": "<system message>","messages":[{"role": "user", "content": "<user query>"},{"role": "assistant", "content": "<expected generated text>"}]}

Ejemplo

{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "what is AWS"},{"role": "assistant", "content": "it's Amazon Web Services."}]}

Para ajustar un text-to-text modelo mediante el formato de mensajería de varios turnos, prepare un conjunto de datos de entrenamiento y validación opcional. Ambos archivos de datos deben estar en formato JSONL. Cada línea especifica un ejemplo de datos completo en formato json y cada ejemplo de datos debe tener el formato de una línea (elimine todas las “\n” en cada ejemplo). Una línea con varios ejemplos de datos o dividir un ejemplo de datos en varias líneas no funcionará.

Campos

Reglas

{"system": "<system message>","messages":[{"role": "user", "content": "<user query 1>"},{"role": "assistant", "content": "<expected generated text 1>"}, {"role": "user", "content": "<user query 2>"},{"role": "assistant", "content": "<expected generated text 2>"}]}

Ejemplo

{"system": "system message","messages":[{"role": "user", "content": "Hello there."},{"role": "assistant", "content": "Hi, how can I help you?"},{"role": "user", "content": "what are LLMs?"},{"role": "assistant", "content": "LLM means large language model."},]}  

Para preparar conjuntos de datos de entrenamiento y validación para un trabajo de destilación de modelos, consulte. Requisitos previos para la destilación modelo Amazon Bedrock

Restricciones de imagen y vídeo