Déploiement de modèles dans l' SageMaker IA

Une fois que vous avez formé et approuvé un modèle pour la production, utilisez l' SageMaker IA pour déployer votre modèle sur un terminal afin d'en tirer des conclusions en temps réel. SageMaker L'IA propose plusieurs options d'inférence afin que vous puissiez choisir celle qui convient le mieux à votre charge de travail. Vous configurez également votre point de terminaison en choisissant le type d’instance et le nombre d’instances dont vous avez besoin pour obtenir des performances optimales. Pour plus d'informations sur le déploiement de modèles, consultez Déploiement de modèles pour l'inférence.

Après avoir déployé vos modèles en production, vous pouvez explorer des moyens d'optimiser encore les performances des modèles tout en maintenant la disponibilité de vos modèles actuels. Par exemple, vous pouvez configurer un test parallèle pour essayer un autre modèle ou un autre modèle d'infrastructure de service avant de vous engager dans la modification. SageMaker L'IA déploie le nouveau modèle, le nouveau conteneur ou la nouvelle instance en mode fantôme et y achemine une copie des demandes d'inférence en temps réel sur le même point de terminaison. Vous pouvez journaliser les réponses de la variante shadow à des fins de comparaison. Pour plus de détails sur les essais miroirs, consultez Essais miroirs. Si vous décidez d'aller de l'avant et de modifier votre modèle, les barrières de protection de déploiement vous aident à contrôler le passage du modèle actuel à un nouveau modèle. Vous pouvez sélectionner des méthodes telles que le blue/green test canarien du processus de transfert du trafic afin de maintenir un contrôle granulaire pendant la mise à jour. Pour obtenir des informations sur les barrières de protection de déploiement, consultez Barrières de protection de déploiement pour la mise à jour des modèles en production.