Evaluation des modèles d'apprentissage-machine

Vous devez toujours évaluer un modèle pour déterminer s'il contribuera à prédire correctement la cible dans le cadre de nouvelles données à venir. Comme les instances futures ont des valeurs cibles inconnues, vous devez vérifier la métrique de précision du modèle d'apprentissage-machine sur des données dont vous connaissez déjà la réponse cible, puis utiliser cette évaluation comme indicateur de la précision prédictive des données futures.

Pour évaluer correctement un modèle, vous disposez d'un échantillon des données qui ont été étiquetées avec la cible (vérité du terrain) à partir de la source de données de formation. L'évaluation de la précision prédictive d'un modèle d'apprentissage-machine avec les mêmes données qui ont été utilisées pour la formation n'est pas utile. En effet, elle récompense les modèles qui peuvent « mémoriser » les données de formation, par opposition à une généralisation à partir de celles-ci. Une fois que vous avez terminé la formation du modèle d'apprentissage-machine, vous envoyez à ce modèle les observations mises de côté dont vous connaissez les valeurs cibles. Vous comparez alors les prédictions renvoyées par le modèle d'apprentissage-machine aux valeurs cibles connues. Enfin, vous calculez une métrique récapitulative indiquant la qualité de correspondance entre les valeurs prévues et les valeurs réelles.

Dans Amazon ML, vous évaluez un modèle d'apprentissage-machine encréation d'une évaluation. Pour créer une évaluation pour un modèle d'apprentissage-machine, vous avez besoin d'un modèle d'apprentissage-machine à évaluer et de données étiquetées qui n'ont pas été utilisées pour la formation. Tout d'abord, créez une source de données pour l'évaluation en créant une source de données Amazon ML avec les données mises de côté. Les données utilisées dans l'évaluation doivent avoir le même schéma que les données utilisées dans la formation et inclure des valeurs réelles pour la variable cible.

Si toutes vos données figurent dans un seul fichier ou répertoire, vous pouvez utiliser la console Amazon ML pour fractionner ces données. Le chemin par défaut dans l'assistant de création de modèle d'apprentissage-machine fractionne la source de données d'entrée et utilise les premiers 70 % comme source de données de formation et les autres 30 % comme source de données d'évaluation. Vous pouvez également personnaliser le rapport de fractionnement en utilisant l'option Personnalisé dans l'assistant de création de modèle d'apprentissage-machine. Vous pouvez alors choisir de sélectionner un échantillon aléatoire de 70 % pour la formation et d'utiliser les 30 % restants pour l'évaluation. Pour continuer à spécifier des rapports de fractionnement personnalisés, utilisez la chaîne de réorganisation des données dans l'API de création d'une source de données. Lorsque vous disposez d'une source d'évaluation et d'un modèle d'apprentissage-machine, vous pouvez créer une évaluation et passer en revue les résultats de cette évaluation.

Prévention d'un surajustement

Lors de la création et de la formation d'un modèle d'apprentissage-machine, l'objectif est de sélectionner le modèle qui réalise les meilleures prédictions, ce qui revient à sélectionner le modèle doté des meilleurs paramètres (paramètres ou hyper-paramètres de modèle d'apprentissage-machine). Dans Amazon Machine Learning, vous pouvez définir quatre hyper-paramètres : le nombre de passes, la régularisation, la taille du modèle et le type de réorganisation. Toutefois, si vous sélectionnez les paramètres de modèle qui produisent les « meilleures » performances prédictives sur les données d'évaluation, vous pouvez surajuster votre modèle. Un surajustement se produit lorsqu'un modèle a mémorisé les tendances qui apparaissent dans les sources de données de formation et d'évaluation, mais n'a pas réussi à généraliser ces tendances dans les données. Il se produit souvent lorsque les données de formation incluent toutes les données utilisées dans l'évaluation. Un modèle surajusté présente de bons résultats pendant les évaluations, mais ne permet pas des prédictions précises sur des données inconnues.

Pour éviter de sélectionner un modèle surajusté comme meilleur modèle, vous pouvez réserver des données supplémentaires pour valider les performances du modèle d'apprentissage-machine. Par exemple, vous pouvez séparer vos données en en dédiant 60 % à la formation, 20 % à l'évaluation et encore 20 % à la validation. Après avoir sélectionné les paramètres de modèle qui fonctionnent bien pour les données d'évaluation, vous effectuez une seconde évaluation avec les données de validation pour voir l'efficacité du modèle d'apprentissage-machine sur les données de validation. Si le modèle répond à vos attentes sur les données de validation, cela signifie que le modèle ne surajuste pas les données.

L'utilisation d'un troisième ensemble de données pour la validation vous aide à sélectionner les paramètres de modèle d'apprentissage-machine appropriés pour empêcher tout surajustement. Toutefois, mettre de côté des données du processus de formation pour effectuer l'évaluation et la validation réduit la quantité de données disponibles pour la formation. Ceci peut s'avérer particulièrement problématique avec de petits ensembles de données, car il est toujours préférable d'utiliser autant de données que possible pour la formation. Pour résoudre ce problème, vous pouvez effectuer une validation croisée. Pour plus d'informations sur la validation croisée, consultez Validation croisée.