데이터 세트 준비

모델의 경우 text-to-text 훈련 및 선택적 검증 데이터 세트를 준비합니다. 각 JSON 객체는 prompt 및 completion 필드를 모두 포함하는 샘플입니다. 토큰 개수의 근사치로 토큰당 6자를 사용합니다. 형식은 다음과 같습니다.

{"prompt": "<prompt1>", "completion": "<expected generated text>"}
{"prompt": "<prompt2>", "completion": "<expected generated text>"}
{"prompt": "<prompt3>", "completion": "<expected generated text>"}      

다음은 질문-응답 태스크의 예제 항목입니다.

{"prompt": "what is AWS", "completion": "it's Amazon Web Services"}

또는 image-to-embedding 모델의 경우 text-to-image 훈련 데이터 세트를 준비합니다. 검증 데이터 세트는 지원되지 않습니다. 각 JSON 객체는 image-ref, 이미지에 URI 대한 Amazon S3 및 이미지에 대한 프롬프트일 수 caption 있는 이 포함된 샘플입니다.

이미지는 JPEG 또는 PNG 형식이어야 합니다.

{"image-ref": "s3://bucket/path/to/image001.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image002.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image003.png", "caption": "<prompt text>"}    

예시는 다음과 같습니다.

{"image-ref": "s3://amzn-s3-demo-bucket/my-pets/cat.png", "caption": "an orange cat with white spots"}

Amazon Bedrock이 이미지 파일에 액세스할 수 있도록 하려면 콘솔교육 및 검증 파일에 액세스하고 S3에 출력 파일을 작성할 수 있는 권한에서 설정했거나 자동으로 설정한 Amazon Bedrock 모델 사용자 지정 서비스 역할에 의 정책과 유사한 IAM 정책을 추가합니다. 훈련 데이터 세트에 제공하는 Amazon S3 경로는 정책에서 지정하는 폴더에 있어야 합니다.

모델에 대한 text-to-text 지속적인 사전 교육을 수행하려면 훈련 및 선택적 검증 데이터 세트를 준비합니다. 지속적인 사전 훈련에는 레이블이 지정되지 않은 데이터가 포함되므로 각 JSON 줄은 input 필드만 포함하는 샘플입니다. 토큰 개수의 근사치로 토큰당 6자를 사용합니다. 형식은 다음과 같습니다.

{"input": "<input text>"}
{"input": "<input text>"}
{"input": "<input text>"}

다음은 훈련 데이터에 포함될 수 있는 예제 항목입니다.

{"input": "AWS stands for Amazon Web Services"}

싱글턴 메시징 형식을 사용하여 모델을 미세 조정 text-to-text하려면 훈련 및 선택적 검증 데이터 세트를 준비합니다. 두 데이터 파일 모두 JSONL 형식이어야 합니다. 각 줄은 json 형식으로 전체 데이터 샘플을 지정하며, 각 데이터 샘플은 1줄로 포맷되어야 합니다(각 샘플 내에서 모든 '\n' 제거). 데이터 샘플이 여러 개 있는 한 줄 또는 데이터 샘플을 여러 줄로 분할하면 작동하지 않습니다.

필드

규칙

{"system": "<system message>","messages":[{"role": "user", "content": "<user query>"},{"role": "assistant", "content": "<expected generated text>"}]}

예

{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "what is AWS"},{"role": "assistant", "content": "it's Amazon Web Services."}]}

멀티턴 메시징 형식을 사용하여 모델을 미세 조정 text-to-text하려면 훈련 및 선택적 검증 데이터 세트를 준비합니다. 두 데이터 파일 모두 JSONL 형식이어야 합니다. 각 줄은 json 형식으로 전체 데이터 샘플을 지정하며, 각 데이터 샘플은 1줄로 포맷되어야 합니다(각 샘플 내에서 모든 '\n' 제거). 데이터 샘플이 여러 개 있는 한 줄 또는 데이터 샘플을 여러 줄로 분할하면 작동하지 않습니다.

필드

규칙

{"system": "<system message>","messages":[{"role": "user", "content": "<user query 1>"},{"role": "assistant", "content": "<expected generated text 1>"}, {"role": "user", "content": "<user query 2>"},{"role": "assistant", "content": "<expected generated text 2>"}]}

예

{"system": "system message","messages":[{"role": "user", "content": "Hello there."},{"role": "assistant", "content": "Hi, how can I help you?"},{"role": "user", "content": "what are LLMs?"},{"role": "assistant", "content": "LLM means large language model."},]}