Importar un modelo personalizado a Amazon Bedrock - Amazon Bedrock
Arquitecturas compatiblesImportación de fuenteImportación de un modelo

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Importar un modelo personalizado a Amazon Bedrock

La importación de modelos personalizados se encuentra en versión preliminar para Amazon Bedrock y está sujeta a cambios.

Puede crear un modelo personalizado en Amazon Bedrock mediante la función de importación de modelos personalizados para importar modelos de base que haya personalizado en otros entornos, como Amazon SageMaker. Por ejemplo, es posible que tengas un modelo que hayas creado en Amazon SageMaker que tenga pesos de modelo patentados. Ahora puede importar ese modelo a Amazon Bedrock y, a continuación, aprovechar las funciones de Amazon Bedrock para realizar llamadas de inferencia al modelo.

Puede utilizar un modelo que importe con un rendimiento bajo demanda. Utilice las InvokeModelWithResponseStreamoperaciones InvokeModelo para realizar llamadas de inferencia al modelo. Para obtener más información, consulte Envíe un único mensaje con las InvokeModel API operaciones.

nota

En la versión preliminar, la importación de modelos personalizados solo está disponible en las AWS regiones EE.UU. Este (Norte de Virginia) y EE.UU. Oeste (Oregón). No puedes usar Custom Model Import con las siguientes funciones de Amazon Bedrock.

  • Agentes de Amazon Bedrock

  • Bases de conocimiento de Amazon Bedrock

  • Barandillas Amazon Bedrock

  • Inferencia por lotes

  • AWS CloudFormation

Para poder utilizar la importación de modelos personalizados, primero debe solicitar un aumento de la Imported models per account cuota. Para obtener más información, consulte Solicitud de un aumento de cuota.

Con la importación de modelos personalizados, puede crear un modelo personalizado que admita los siguientes patrones.

  • Modelo de entrenamiento previo ajustado o continuo: puede personalizar los pesos del modelo utilizando datos propios, pero conservando la configuración del modelo base.

  • Adaptación Puede personalizar el modelo para adaptarlo a su dominio para casos de uso en los que el modelo no se generalice bien. La adaptación del dominio modifica un modelo para generalizarlo para un dominio de destino y abordar las discrepancias entre dominios, por ejemplo, un sector financiero que quiere crear un modelo que generalice bien los precios. Otro ejemplo es la adaptación lingüística. Por ejemplo, puede personalizar un modelo para generar respuestas en portugués o tamil. En la mayoría de los casos, esto implica cambios en el vocabulario del modelo que está utilizando.

  • Capacitado previamente desde cero: además de personalizar los pesos y el vocabulario del modelo, también puede cambiar los parámetros de configuración del modelo, como el número de puntos de atención, las capas ocultas o la longitud del contexto.

Arquitecturas compatibles

El modelo que importe debe estar en una de las siguientes arquitecturas.

  • Mistral— Una arquitectura basada en Transformer, basada únicamente en decodificadores, con una ventana deslizante Attention (SWA) y opciones para Grouped Query Attention (). GQA Para obtener más información, consulte Mistral en la documentación de Hugging Face.

  • Flan — Una versión mejorada de la arquitectura T5, un modelo de transformador basado en codificador-decodificador. Para obtener más información, consulte Flan T5en la documentación de Hugging Face.

  • Llama 2 y Llama3— Una versión mejorada de Llama con Grouped Query Attention (GQA). Para obtener más información, consulte Llama 2 y Llama 3en la documentación de Hugging Face.

Importación de fuente

Para importar un modelo a Amazon Bedrock, debe crear un trabajo de importación de modelos en la consola de Amazon Bedrock. En el trabajo, debe especificar Amazon S3 URI como fuente de los archivos del modelo. Como alternativa, si has creado el modelo en Amazon SageMaker, puedes SageMaker especificarlo. Durante el entrenamiento del modelo, el trabajo de importación detecta automáticamente la arquitectura del modelo.

Si importa desde un bucket de Amazon S3, debe proporcionar los archivos del modelo en el Hugging Face formato de pesos. Puede crear los archivos mediante la biblioteca de transformadores Hugging Face. Para crear archivos de modelo para un Llama modelo, consulte convert_llama_weights_to_hf.py. Para crear los archivos de un Mistral AI modelo, consulte convert_mistral_weights_to_hf.py.

Para importar el modelo de Amazon S3, necesitará como mínimo los siguientes archivos que crea la biblioteca de transformadores Hugging Face.

  • .safetensor: el modelo pesa en formato Safetensor. Safetensors es un formato creado por Hugging Face que almacena los pesos de un modelo como tensores. Debe almacenar los tensores de su modelo en un archivo con la extensión. .safetensors Para obtener más información, consulte Safetensors. Para obtener información sobre cómo convertir los pesos de los modelos al formato Safetensor, consulte Convertir pesos en sensores seguros.

    nota

    • Actualmente, Amazon Bedrock solo admite los pesos de los modelos con FP32 BF16 precisión y precisión. FP16 Amazon Bedrock rechazará las pesas de los modelos si las suministra con cualquier otra precisión. Internamente, Amazon Bedrock convertirá FP32 los modelos en modelos de BF16 precisión.

    • Amazon Bedrock no admite la importación de modelos cuantificados.

  • config.json: para ver ejemplos, consulte y. LlamaConfigMistralConfig

  • tokenizer_config.json: para ver un ejemplo, consulte. LlamaTokenizer

  • tokenizer.json

  • tokenizer.model

Importación de un modelo

El siguiente procedimiento muestra cómo crear un modelo personalizado importando un modelo que ya ha personalizado. El trabajo de importación del modelo puede tardar varios minutos. Durante el trabajo de importación, Amazon Bedrock valida que el modelo utilice una arquitectura de modelo compatible.

Para enviar un trabajo de importación de modelos, lleve a cabo los siguientes pasos.

  1. Solicite un aumento de cuota para la Imported models per account cuota. Para obtener más información, consulte Solicitud de un aumento de cuota.

  2. Si va a importar los archivos del modelo desde Amazon S3, convierta el modelo en Hugging Face formato.

    1. Si su modelo es un Mistral AI modelo, utilice convert_mistral_weights_to_hf.py.

    2. Si su modelo es un Llama modelo, consulte convert_llama_weights_to_hf.py.

    3. Cargue los archivos del modelo en un bucket de Amazon S3 de su AWS cuenta. Para obtener más información, consulte Cargar un objeto a su bucket.

  3. Inicie sesión en el AWS Management Console uso de un IAMrol con los permisos de Amazon Bedrock y abra la consola de Amazon Bedrock en. https://console.aws.amazon.com/bedrock/

  4. En el panel de navegación izquierdo, selecciona Modelos importados en la sección Modelos básicos.

  5. Seleccione la pestaña Modelos.

  6. Elija Import model (Importar modelo).

  7. En la pestaña Importado, elija Importar modelo para abrir la página Importar modelo.

  8. En la sección Detalles del modelo, haga lo siguiente:

    1. En Nombre del modelo, introduzca un nombre para el modelo.

    2. (Opcional) Para asociar etiquetas al modelo, expanda la sección Etiquetas y seleccione Añadir nueva etiqueta.

  9. En la sección Importar nombre del trabajo, haga lo siguiente:

    1. En Nombre del trabajo, introduzca un nombre para el trabajo de importación del modelo.

    2. (Opcional) Para asociar etiquetas al modelo personalizado, expanda la sección Etiquetas y seleccione Añadir nueva etiqueta.

  10. En la configuración de importación de modelos, seleccione las opciones de importación que desee utilizar.

    • Si va a importar los archivos del modelo desde un bucket de Amazon S3, elija un bucket de Amazon S3 e introduzca la ubicación de Amazon S3 en la ubicación de S3. Si lo desea, puede elegir Browse S3 para elegir la ubicación del archivo.

    • Si vas a importar tu modelo de Amazon SageMaker, elige el SageMaker modelo de Amazon y, a continuación, elige el SageMaker modelo que quieres importar en SageMaker los modelos.

  11. En la sección Acceso al servicio, realice una de las siguientes acciones:

    • Crear y usar un nuevo rol de servicio: introduzca un nombre para el rol de servicio.

    • Usar un rol de servicio existente: seleccione un rol de servicio en la lista desplegable. Para ver los permisos que necesita tu función de servicio actual, selecciona Ver detalles del permiso.

      Para obtener más información sobre cómo configurar un rol de servicio con los permisos adecuados, consulteCrear un rol de servicio para la importación de modelos.

  12. Seleccione Importar.

  13. En la página de modelos personalizados, seleccione Importados.

  14. En la sección Trabajos, compruebe el estado del trabajo de importación. El nombre del modelo que ha elegido identifica el trabajo de importación del modelo. El trabajo está completo si el valor de Estado del modelo es Completo.

  15. Obtenga el identificador de modelo de su modelo de la siguiente manera.

    1. En la página de modelos importados, selecciona la pestaña Modelos.

    2. Copia ARN el del modelo que quieres usar de la ARNcolumna.

  16. Utilice su modelo para las llamadas de inferencia. Para obtener más información, consulte Envíe un único mensaje con las InvokeModel API operaciones. Puede utilizar el modelo con un rendimiento bajo demanda.

    También puedes usar tu modelo en el patio de juegos de texto de Amazon Bedrock.