Tipos de arquivo de conjunto de dados e formato de dados de entrada

CSV(valores separados por vírgula) é um formato de arquivo baseado em linhas que armazena dados em texto simples legível por humanos, que é uma escolha popular para troca de dados, pois é suportado por uma ampla variedade de aplicativos.

O Parquet é um formato de arquivo binário baseado em colunas em que os dados são armazenados e processados com mais eficiência do que em formatos de arquivo legíveis por humanos, como. CSV Isso o torna uma opção melhor para problemas de big data.

O conjunto de dados deve conter exatamente duas colunas separadas por vírgula e nomeadas, input e output. O piloto automático não permite colunas adicionais.

As colunas input contêm as solicitações e as correspondentes output contêm a resposta esperada. Tanto o input quanto output estão no formato de string.

Os limites do número de linhas em um conjunto de dados se aplicam à contagem cumulativa de linhas em todos os arquivos dentro do conjunto de dados, incluindo vários arquivos. Se houver dois tipos de canais definidos (um para treinamento e outro para validação), o limite se aplica ao número total de linhas em todos os conjuntos de dados em ambos os canais. Quando o número de linhas excede o limite, o trabalho falha com um erro de validação.

Quando o comprimento da entrada ou saída de uma linha no conjunto de dados excede o limite definido no contexto do modelo de linguagem, ele é automaticamente truncado. Se mais de 60% das linhas no conjunto de dados estiverem truncadas, seja na entrada ou na saída, o Autopilot falhará no trabalho com um erro de validação.