Preparar los conjuntos de datos

Para text-to-text los modelos, prepare un conjunto de datos de entrenamiento y validación opcional. Cada JSON objeto es una muestra que contiene un completion campo prompt y. Utilice 6 caracteres por token como una aproximación del número de tokens. El formato es el siguiente.

{"prompt": "<prompt1>", "completion": "<expected generated text>"}
{"prompt": "<prompt2>", "completion": "<expected generated text>"}
{"prompt": "<prompt3>", "completion": "<expected generated text>"}      

El siguiente es un ejemplo de una tarea de preguntas y respuestas:

{"prompt": "what is AWS", "completion": "it's Amazon Web Services"}

Para nuestros text-to-image image-to-embedding modelos, prepare un conjunto de datos de entrenamiento. No se admiten los conjuntos de datos de validación. Cada JSON objeto es una muestra que contiene unimage-ref, el Amazon S3 URI de una imagen y un caption que podría ser un mensaje para la imagen.

Las imágenes deben estar en PNG formato JPEG o.

{"image-ref": "s3://bucket/path/to/image001.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image002.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image003.png", "caption": "<prompt text>"}    

A continuación, se muestra un elemento de ejemplo:

{"image-ref": "s3://amzn-s3-demo-bucket/my-pets/cat.png", "caption": "an orange cat with white spots"}

Para permitir que Amazon Bedrock acceda a los archivos de imagen, añada una IAM política similar a la del rol del servicio de personalización de modelos de Amazon Bedrock que configuró o que se configuró automáticamente para usted en la consola. Permisos para acceder a los archivos de formación y validación y para escribir los archivos de salida en S3 Las rutas de Amazon S3 que proporcione en el conjunto de datos de entrenamiento deben estar en las carpetas que especifique en la política.

Para llevar a cabo una formación previa continua sobre un text-to-text modelo, prepare un conjunto de datos de formación y validación opcional. Como la formación previa continua incluye datos sin etiquetar, cada JSON línea es una muestra que contiene solo un campo. input Utilice 6 caracteres por token como una aproximación del número de tokens. El formato es el siguiente.

{"input": "<input text>"}
{"input": "<input text>"}
{"input": "<input text>"}

A continuación aparece un elemento de ejemplo que podría estar en los datos de entrenamiento.

{"input": "AWS stands for Amazon Web Services"}

Para ajustar un text-to-text modelo mediante el formato de mensajería de un solo paso, prepare un conjunto de datos de entrenamiento y validación opcional. Ambos archivos de datos deben tener ese formato. JSONL Cada línea especifica una muestra de datos completa en formato json y cada muestra de datos debe tener el formato de 1 línea (elimine todas las '\n' de cada muestra). Una línea con varias muestras de datos o dividir una muestra de datos en varias líneas no funcionará.

Campos

Reglas

{"system": "<system message>","messages":[{"role": "user", "content": "<user query>"},{"role": "assistant", "content": "<expected generated text>"}]}

Ejemplo

{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "what is AWS"},{"role": "assistant", "content": "it's Amazon Web Services."}]}

Para ajustar un text-to-text modelo mediante el formato de mensajería de varios turnos, prepare un conjunto de datos de entrenamiento y validación opcional. Ambos archivos de datos deben tener ese formato. JSONL Cada línea especifica una muestra de datos completa en formato json y cada muestra de datos debe tener el formato de 1 línea (elimine todas las '\n' de cada muestra). Una línea con varias muestras de datos o dividir una muestra de datos en varias líneas no funcionará.

Campos

Reglas

{"system": "<system message>","messages":[{"role": "user", "content": "<user query 1>"},{"role": "assistant", "content": "<expected generated text 1>"}, {"role": "user", "content": "<user query 2>"},{"role": "assistant", "content": "<expected generated text 2>"}]}

Ejemplo

{"system": "system message","messages":[{"role": "user", "content": "Hello there."},{"role": "assistant", "content": "Hi, how can I help you?"},{"role": "user", "content": "what are LLMs?"},{"role": "assistant", "content": "LLM means large language model."},]}