Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Importación de un modelo personalizado a Amazon Bedrock
Puede crear un modelo personalizado en Amazon Bedrock mediante la función de importación de modelos personalizados de Amazon Bedrock para importar modelos de base que haya personalizado en otros entornos, como Amazon SageMaker AI. Por ejemplo, es posible que tenga un modelo que haya creado en Amazon SageMaker AI que tenga pesos de modelo patentados. Ahora puede importar ese modelo a Amazon Bedrock y, a continuación, aprovechar las características de Amazon Bedrock para realizar llamadas de inferencia al modelo.
Puede utilizar un modelo importando con rendimiento bajo demanda. Utilice las InvokeModelWithResponseStreamoperaciones InvokeModelo para realizar llamadas de inferencia al modelo. Para obtener más información, consulte Envíe un único mensaje con InvokeModel.
La importación de modelos personalizados de Amazon Bedrock se admite en las siguientes regiones (para obtener más información sobre las regiones compatibles con Amazon Bedrock, consulte los puntos de destino y las cuotas de Amazon Bedrock):
-
Este de EE. UU. (Norte de Virginia)
-
Oeste de EE. UU. (Oregón)
nota
Asegúrese de que la importación y el uso de los modelos en Amazon Bedrock cumplan con los términos o licencias aplicables a los modelos.
No puede usar Importación de modelos personalizados con las siguientes características de Amazon Bedrock.
Inferencia por lotes
AWS CloudFormation
Importación de modelos personalizados permite crear un modelo personalizado que admite los siguientes patrones.
-
Modelo de entrenamiento previo ajustado o continuo: puede personalizar los pesos del modelo con datos propios, pero conservando la configuración del modelo base.
-
Adaptación: puede personalizar el modelo para adaptarlo a su dominio para casos de uso en los que el modelo no se generalice bien. La adaptación del dominio modifica un modelo para generalizarlo para un dominio de destino y abordar las discrepancias entre dominios, por ejemplo, un sector financiero que quiere crear un modelo que generalice bien los precios. Otro ejemplo es la adaptación del idioma. Por ejemplo, puede personalizar un modelo para que genere respuestas en portugués o tamil. En la mayoría de los casos, esto implica cambios en el vocabulario del modelo que está utilizando.
-
Entrenamiento previo desde cero: además de personalizar los pesos y el vocabulario del modelo, también puede cambiar los parámetros de configuración del modelo, como el número de puntos de atención, las capas ocultas o la longitud del contexto.
Temas
Arquitectura compatible
El modelo que se va a importar debe tener una de las siguientes arquitecturas.
-
Mistral: una arquitectura basada en transformador solo para decodificador con Sliding Window Attention (SWA) y opciones para Grouped Query Attention (GQA). Para obtener más información, consulte Mistral
en la documentación de Hugging Face. nota
La importación de modelos personalizados de Amazon Bedrock no es compatible Mistral Nemo
en este momento. -
Mixtral: un modelo de transformador solo para decodificador con modelos de mezcla de expertos (MoE) dispersos. Para obtener más información, consulte Mixtral
en la documentación de Hugging Face. -
Flan — Una versión mejorada de la arquitectura T5, un modelo de transformador basado en codificador-decodificador. Para obtener más información, consulte Flan T5
en la documentación de Hugging Face. -
Llama 2, Llama3, Llama3.1, Llama3.2, y Llama 3.3— Una versión mejorada de Llama con Grouped Query Attention (GQA). Para obtener más información, consulte Llama 2
, Llama 3 , Llama 3.1 , Llama 3.2 , y Llama 3.3 en el Hugging Face .
nota
El tamaño de los pesos del modelo importado debe ser inferior a 100 GB para los modelos multimodales y a 200 GB para los modelos de texto.
Amazon Bedrock admite la versión de transformador 4.45.2. Asegúrese de utilizar la versión 4.45.2 del transformador al afinar el modelo.
Importación de fuente
Para importar un modelo a Amazon Bedrock, debe crear un trabajo de importación de modelos en la consola o la API de Amazon Bedrock. En el trabajo, debe especificar el URI de Amazon S3 para el origen de los archivos del modelo. Como alternativa, si creó el modelo en Amazon SageMaker AI, puede especificar el modelo de SageMaker IA. Durante el entrenamiento del modelo, el trabajo de importación detecta automáticamente la arquitectura del modelo.
Si importa desde un bucket de Amazon S3, debe proporcionar los archivos del modelo en el Hugging Face formato de pesos. Puede crear los archivos con la biblioteca de transformadores de Hugging Face. Para crear archivos de modelo para un Llama modelo, consulte convert_llama_weights_to_hf.py
Para importar el modelo desde Amazon S3, necesitará como mínimo los siguientes archivos que crea la biblioteca de transformadores de Hugging Face.
-
.safetensor: son los pesos del modelo en formato Safetensor. Safetensors es un formato creado por Hugging Face que almacena los pesos de un modelo como tensores. Debe almacenar los tensores del modelo en un archivo con la extensión
.safetensors. Para obtener más información, consulte Safetensors. Para obtener más información sobre cómo convertir los pesos de los modelos al formato Safetensor, consulte Convert weights to safetensors . nota
Actualmente, Amazon Bedrock solo admite los pesos de los modelos con FP32 BF16 precisión y precisión. FP16 Amazon Bedrock rechazará los pesos de los modelos de cualquier otra precisión. Internamente, Amazon Bedrock convertirá FP32 los modelos en modelos de BF16 precisión.
Amazon Bedrock no admite la importación de modelos cuantificados.
config.json: para ver ejemplos, consulte y. LlamaConfigMistralConfig
nota
Amazon Bedrock anula llama3
rope_scalingvalor con los siguientes valores:-
original_max_position_embeddings=8192 -
high_freq_factor=4 -
low_freq_factor=1 -
factor=8
-
-
tokenizer_config.json Para ver un ejemplo, consulte. LlamaTokenizer
tokenizer.json
tokenizer.model
Tokenizadores compatibles
Importación de modelos personalizados de Amazon Bedrock admite los siguientes tokenizadores. Puede utilizar estos tokenizadores con cualquier modelo.
T5Tokenizer
T5 TokenizerFast
LlamaTokenizer
LlamaTokenizerFast
CodeLlamaTokenizer
CodeLlamaTokenizerFast
GPT2Tokenizador
GPT2TokenizerFast
GPTNeoXTokenizer
GPTNeoXTokenizerRápido
PreTrainedTokenizer
PreTrainedTokenizerFast
