As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Importar um modelo personalizado no Amazon Bedrock.
Você pode criar um modelo personalizado no Amazon Bedrock usando o recurso Amazon Bedrock Custom Model Import para importar modelos de base que você personalizou em outros ambientes, como o Amazon SageMaker AI. Por exemplo, você pode ter um modelo criado na Amazon SageMaker AI que tenha pesos de modelo proprietários. Agora é possível importar esse modelo no Amazon Bedrock e aproveitar os recursos do Amazon Bedrock para fazer chamadas de inferência ao modelo.
É possível usar um modelo que você importa com o throughput sob demanda. Use as InvokeModelWithResponseStreamoperações InvokeModelou para fazer chamadas de inferência para o modelo. Para obter mais informações, consulte Envie uma única solicitação com InvokeModel.
A importação de modelos personalizados do Amazon Bedrock é suportada nas seguintes regiões (para obter mais informações sobre regiões suportadas no Amazon Bedrock, consulte endpoints e cotas do Amazon Bedrock):
-
Leste dos EUA (N. da Virgínia)
-
Oeste dos EUA (Oregon)
nota
Certifique-se de que a importação e o uso dos modelos no Amazon Bedrock estejam em conformidade com os termos ou licenças aplicáveis aos modelos.
Você não pode usar o recurso Importar modelo personalizado com os recursos do Amazon Bedrock a seguir.
Inferência em lote
AWS CloudFormation
Com o recurso Importar modelo personalizado, é possível criar um modelo personalizado compatível com os padrões a seguir.
-
Modelo ajustado ou de pré-treinamento contínuo: é possível personalizar os pesos do modelo usando dados proprietários, mas reter a configuração do modelo de base.
-
Adaptação é possível personalizar o modelo ao seu domínio para casos de uso em que o modelo não se generaliza bem. A adaptação de domínio modifica um modelo para generalizar para um domínio de destino e lidar com discrepâncias entre domínios, como um setor financeiro que deseja criar um modelo que generalize bem os preços. Outro exemplo é a adaptação da linguagem. Por exemplo, é possível personalizar um modelo para gerar respostas em português ou tâmil. Na maioria das vezes, isso envolve alterações no vocabulário do modelo que você está usando.
-
Pré-treinado do zero: além de personalizar os pesos e o vocabulário do modelo, você também pode alterar os parâmetros de configuração do modelo, como o número de cabeçalhos de atenção, camadas ocultas ou comprimento do contexto.
Tópicos
Arquiteturas compatíveis
O modelo que você importa deve estar em uma das arquiteturas a seguir.
-
Mistral: uma arquitetura baseada em transformador somente para decodificadores com Sliding Window Attention (SWA) e opções para Grouped Query Attention (GQA). Para ter mais informações, consulte Mistral
na documentação do Hugging Face. nota
O Amazon Bedrock Custom Model Import não suporta Mistral Nemo
neste momento. -
Mixtral: um modelo tipo transformador somente para decodificador com modelos esparsos de Mixture of Experts (MoE). Para ter mais informações, consulte Mixtral
na documentação do Hugging Face. -
Flan — Uma versão aprimorada da arquitetura T5, um modelo de transformador baseado em codificador-decodificador. Para ter mais informações, consulte Flan T5
na documentação do Hugging Face. -
Llama 2, Llama3, Llama3.1, Llama3.2 e Llama 3.3— Uma versão aprimorada do Llama com atenção de consulta agrupada (GQA). Para ter mais informações, consulte Llama 2
, Llama 3 , Llama 3.1 , Llama 3.2 , e Llama 3.3 no Hugging Face documentação.
nota
O tamanho dos pesos do modelo importado deve ser menor que 100 GB para modelos multimodais e 200 GB para modelos de texto.
O Amazon Bedrock só é compatível com a versão 4.45.2 do transformador. Verifique se você está usando a versão 4.45.2 do transformador ao ajustar o modelo.
Importar a origem
Importe um modelo no Amazon Bedrock criando um trabalho de importação de modelo no console ou na API do Amazon Bedrock. No trabalho, especifique o URI do Amazon S3 para a origem dos arquivos do modelo. Como alternativa, se você criou o modelo na Amazon SageMaker AI, você pode especificar o modelo de SageMaker IA. Durante o treinamento do modelo, o trabalho de importação detecta automaticamente a arquitetura do modelo.
Se você importar de um bucket do Amazon S3, precisará fornecer os arquivos de modelo no Hugging Face formato de pesos. É possível criar os arquivos usando a biblioteca de transformadores da Hugging Face. Para criar arquivos de modelo para um Llama modelo, consulte convert_llama_weights_to_hf.py
Para importar o modelo do Amazon S3, você precisa no mínimo dos arquivos a seguir que são criados pela biblioteca de transformadores da Hugging Face.
-
.safetensor: os pesos do modelo no formato Safetensor. Safetensors é um formato criado por Hugging Face que armazena os pesos de um modelo como tensores. Armazene os tensores do modelo em um arquivo com a extensão
.safetensors. Para obter mais informações, consulte Safetensors. Para obter informações sobre como converter pesos do modelo para o formato Safetensor, consulte Converter pesos em safetensors . nota
Atualmente, o Amazon Bedrock suporta apenas pesos de modelo com FP32 FP16, e BF16 precisão. O Amazon Bedrock rejeitará os pesos dos modelos se você os fornecer com qualquer outra precisão. Internamente, o Amazon Bedrock converterá FP32 modelos em precisão. BF16
O Amazon Bedrock não é compatível com a importação de modelos quantizados.
config.json — Para exemplos, veja e. LlamaConfigMistralConfig
nota
Amazon Bedrock substitui llama3
rope_scalingvalor com os seguintes valores:-
original_max_position_embeddings=8192 -
high_freq_factor=4 -
low_freq_factor=1 -
factor=8
-
-
tokenizer_config.json Para obter um exemplo, consulte. LlamaTokenizer
tokenizer.json
tokenizer.model
Tokenizers compatíveis
O recurso Importar modelo personalizado do Amazon Bedrock permite os tokenizadores a seguir. É possível usar esses tokenizadores com qualquer modelo.
T5Tokenizer
T5 TokenizerFast
LlamaTokenizer
LlamaTokenizerFast
CodeLlamaTokenizer
CodeLlamaTokenizerFast
GPT2Tokenizador
GPT2TokenizerFast
GPTNeoXTokenizer
GPTNeoXTokenizerRápido
PreTrainedTokenizer
PreTrainedTokenizerFast
