Pré-requisitos para a destilação do modelo Amazon Bedrock

Escolha um modelo de professor

Escolha um modelo de professor que seja significativamente maior e mais capaz do que o modelo do aluno e cuja precisão você deseja obter para seu caso de uso. Para tornar o trabalho de destilação mais eficaz, selecione um modelo que já esteja treinado em uma tarefa semelhante ao seu caso de uso. Para obter informações sobre os modelos de professores suportados pelo Amazon Bedrock, consulteModelos e regiões compatíveis com o Amazon Bedrock Model Distillation.

Escolha um modelo de estudante

Escolha um modelo de estudante que seja significativamente menor em tamanho. Para obter informações sobre os modelos estudantis compatíveis com o Amazon Bedrock, consulteModelos e regiões compatíveis com o Amazon Bedrock Model Distillation.

Prepare seu conjunto de dados de entrada

Para preparar conjuntos de dados de entrada para seu modelo personalizado, você cria .jsonl arquivos, cada linha dos quais é um objeto JSON correspondente a um registro. Os arquivos criados devem estar em conformidade com o formato do método de personalização, e o modelo escolhido e os registros neles devem estar em conformidade com os requisitos de tamanho.

Forneça os dados de entrada como instruções. O Amazon Bedrock usa os dados de entrada para gerar respostas do modelo do professor e usa as respostas geradas para ajustar o modelo do aluno. Para obter mais informações sobre as entradas que o Amazon Bedrock usa e para escolher uma opção que funcione melhor para seu caso de uso, consulte. Como funciona o Amazon Bedrock Model Distillation

Escolha a opção que funciona melhor para seu caso de uso para obter instruções sobre como preparar seu conjunto de dados de entrada:

Opção 1: forneça suas próprias instruções

Colete seus prompts e armazene-os em um formato de linha JSON (JSONL). Cada registro no JSONL deve usar a estrutura a seguir.

Para a versão prévia Anthropic and Meta Llama os modelos suportam apenas solicitações de conversação de um único turno, o que significa que você só pode ter uma solicitação de usuário. A ferramenta Amazon Nova os modelos suportam conversas em vários turnos, permitindo que você forneça várias trocas de usuários e assistentes em um único registro.

Formato de exemplo

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
        }
    ],    
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "why is the sky blue"
                }
            ]
        },
        {
            "role": "assistant"
            "content": [
               {
                   "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
               }
            ]
        }
    ]
}

Opção 2: usar registros de invocação

Para usar os registros de invocação para destilação do modelo, defina o login da invocação do modelo, use uma das operações de invocação do modelo e certifique-se de ter configurado um bucket do Amazon S3 como destino para os registros. Antes de iniciar o trabalho de destilação do modelo, você deve fornecer permissões ao Amazon Bedrock para acessar os registros. Para obter mais informações sobre como configurar os registros de invocação, consulte Monitorar a invocação do modelo usando o Amazon Logs. CloudWatch

Com essa opção, você pode especificar se deseja que o Amazon Bedrock use somente os prompts ou use pares de prompt-response do log de invocação. Se você quiser que o Amazon Bedrock use somente prompts, o Amazon Bedrock pode adicionar técnicas proprietárias de síntese de dados para gerar respostas diversas e de maior qualidade a partir do modelo do professor. Se você quiser que o Amazon Bedrock use pares de resposta rápida, o Amazon Bedrock não gerará novamente as respostas do modelo do professor. O Amazon Bedrock usará diretamente as respostas do registro de invocação para ajustar o modelo do aluno.

Opcionalmente, você pode adicionar metadados de solicitação aos pares de prompt-resposta no registro de invocação usando uma das operações de invocação do modelo e depois usá-los para filtrar os registros. O Amazon Bedrock pode usar os registros filtrados para ajustar o modelo do aluno.

Para filtrar os registros usando vários metadados de solicitação, use um único operador booleano de operação AND, OR ou NOT. Você não pode combinar operações. Para filtragem de metadados de solicitação única, use o operador booleano NOT.

Se você ainda não tiver uma função de serviço do IAM com as permissões adequadas, crie uma nova função de serviço personalizada AWS Identity and Access Management (IAM) com as permissões adequadas seguindo as instruções em Criar um perfil de serviço para a personalização de modelo para configurar a função. Você pode ignorar esse pré-requisito se planeja usar o para criar automaticamente uma função de serviço AWS Management Console para você.

(Opcional) Defina configurações de segurança adicionais.