Description Formato do conjunto de dados Hiperparâmetros - DPO LoRa Hiperparâmetros - DPO FFT

DPO

Description

A Otimização de Preferência Direta (DPO) alinha um modelo às preferências humanas treinando pares de respostas escolhidas (preferidas) e rejeitadas (não preferidas) para a mesma solicitação.

Quando usar

Você tem dados de preferência que mostram quais respostas são melhores
Melhore a qualidade da resposta além do que a SFT alcança
O modelo precisa evitar comportamentos indesejáveis específicos

O que ela alcança

O modelo aprende a preferir gerar respostas semelhantes aos exemplos escolhidos e a evitar exemplos rejeitados, sem exigir um modelo de recompensa separado.

Formato do conjunto de dados

O DPO exige pares de respostas escolhidas (preferenciais) e rejeitadas (não preferenciais) para a mesma solicitação. O DPO oferece suporte a dois formatos de conjunto de dados. Todos os conjuntos de dados devem estar no formato JSONL (um objeto JSON por linha). Uma system mensagem é opcional em ambos os formatos.

Formato 1: `mensagens`

Forneça chosen e rejected como listas completas de mensagens. Se incluída, a system mensagem deve ser o primeiro elemento e deve ser a mesma em chosen rejected e.


{
  "chosen": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ],
  "rejected": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

Formato 2: `solicitado/escolhido/rejeitado`

Forneça a solicitação e as duas respostas como campos de string separados, com um system campo opcional de nível superior.


{
  "system": "...",
  "prompt": "...",
  "chosen": "...",
  "rejected": "..."
}

Orientação

As respostas escolhidas e rejeitadas devem diferir significativamente em qualidade
Use o mesmo prompt para os escolhidos e rejeitados
A system mensagem é opcional

Hiperparâmetros - DPO LoRa

nota

As tabelas abaixo mostram os hiperparâmetros disponíveis quando você usa a personalização do modelo sem servidor. Outros hiperparâmetros são predefinidos pela Amazon SageMaker AI usando padrões otimizados. Ao usar o SageMaker AI Training Jobs ou HyperPod, você pode acessar a lista completa de hiperparâmetros disponíveis nas receitas. Consulte o repositório SageMaker AI Recipes para obter uma receita e acessar todos os hiperparâmetros.

Parâmetro	Tipo	Obrigatório?	Intervalo/Valores	Description
`max_epochs`	integer	Obrigatório	1–100	Número de passagens completas pelo conjunto de dados de treinamento.
`global_batch_size`	integer	Obrigatório	16, 32, 64, 128	Total de amostras processadas por etapa do otimizador em todas as instâncias.
`learning_rate`	flutuação	Obrigatório	5e-07—1e-04	Tamanho da etapa para atualizações de peso durante a otimização.
`lr_scheduler`	string	Obrigatório	cosseno, constante	Cronograma de declínio da taxa de aprendizado durante o treinamento.
`lr_warmup_steps_ratio`	flutuação	Obrigatório	0—1	Fração do total de etapas gastas aumentando a taxa de aprendizado de 0.
`weight_decay`	flutuação	Obrigatório	0, 0 a 1,0	Coeficiente de regularização L2. Ajuda a evitar o sobreajuste.
`gradient_clipping`	booleano	Obrigatório	true, false	Reduza os gradientes se a norma exceder o limite.
`gradient_clipping_threshold`	flutuação	Obrigatório	0,0—5,0	Norma de gradiente máxima permitida.
`dataset_max_len`	integer	Obrigatório	256—131072	Tamanho máximo de sequência em tokens. As sequências mais longas são truncadas.
`seed`	integer	Obrigatório	0–2147483647	Semente aleatória para reprodutibilidade.
`logging_steps`	integer	Obrigatório	1–100	Frequência do registro de métricas nas etapas do otimizador.
`lora_rank`	integer	Obrigatório	8, 16, 32, 64, 128	Dimensionalidade de matrizes de baixa classificação. Menor = menos parâmetros treináveis.
`lora_dropout`	flutuação	Obrigatório	0, 0 a 1,0	Probabilidade de abandono para camadas LoRA adaptadoras.
`lora_alpha`	integer	Obrigatório	16, 32, 64, 128, 256	LoRAfator de escala. O LR eficaz é escalado como alpha/rank.
`merge_weights`	booleano	Obrigatório	true, false	Combine LoRA pesos no modelo básico após o treinamento.
`train_val_split_ratio`	flutuação	Opcional	0, 0 a 1,0	Fração alocada para treinamento versus validação.
`temperature`	flutuação	Obrigatório	0,0—2,0	Temperatura de amostragem para avaliação.
`adam_beta`	flutuação	Obrigatório	1e-03—0,1	Temperatura inversa do DPO. Controla a intensidade com que o modelo impõe classificações de preferências.

Hiperparâmetros - DPO FFT

Parâmetro	Tipo	Obrigatório?	Intervalo/Valores	Description
`max_epochs`	integer	Obrigatório	1–100	Número de passagens completas pelo conjunto de dados de treinamento.
`global_batch_size`	integer	Obrigatório	16, 32, 64, 128	Total de amostras processadas por etapa do otimizador.
`learning_rate`	flutuação	Obrigatório	5e-07—1e-04	Tamanho da etapa para atualizações de peso.
`lr_scheduler`	string	Obrigatório	cosseno, constante	Cronograma de decaimento da taxa de aprendizado.
`lr_warmup_steps_ratio`	flutuação	Obrigatório	0—1	Fração de etapas para aquecimento do LR.
`weight_decay`	flutuação	Obrigatório	0, 0 a 1,0	Coeficiente de regularização L2.
`gradient_clipping`	booleano	Obrigatório	true, false	Reduza os gradientes se a norma exceder o limite.
`gradient_clipping_threshold`	flutuação	Obrigatório	0,0—5,0	Norma de gradiente máxima permitida.
`dataset_max_len`	integer	Obrigatório	256—131072	Tamanho máximo de sequência em tokens.
`max_response_length`	integer	Obrigatório	100—200000	Máximo de tokens para resposta gerada.
`seed`	integer	Obrigatório	0–2147483647	Semente aleatória para reprodutibilidade.
`logging_steps`	integer	Obrigatório	1–100	Frequência do registro métrico.
`train_val_split_ratio`	flutuação	Opcional	0, 0 a 1,0	Fração alocada para treinamento versus validação.
`temperature`	flutuação	Obrigatório	0,0—2,0	Temperatura de amostragem para avaliação.
`adam_beta`	flutuação	Obrigatório	1e-03—0,1	Temperatura inversa do DPO. Controla a intensidade com que o modelo impõe classificações de preferências.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

SFT

RFT

DPO