Paramètres de formation - Amazon Machine Learning

Nous ne mettons plus à jour le service Amazon Machine Learning et n'acceptons plus de nouveaux utilisateurs pour ce service. Cette documentation est disponible pour les utilisateurs existants, mais nous ne la mettons plus à jour. Pour plus d'informations, veuillez consulter la rubriqueQu'est-ce qu'Amazon Machine Learning.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Paramètres de formation

L'algorithme d'apprentissage Amazon ML accepte des paramètres appelés hyperparamètres ou paramètres de formation, qui vous permettent de contrôler la qualité du modèle obtenu. En fonction des hyper-paramètres, Amazon ML sélectionne automatiquement les paramètres ou fournit des valeurs par défaut statiques pour les hyper-paramètres. Bien que le paramétrage par défaut des hyper-paramètres produise généralement des modèles utiles, vous pouvez améliorer les performances prédictives de vos modèles en changeant les valeurs des hyper-paramètres. Les sections suivantes décrivent les hyper-courants :les paramètres associés aux algorithmes d'apprentissage pour les modèles linéaires, comme ceux créés par Amazon ML.

Taux d'apprentissage

Le taux d'apprentissage est une valeur constante utilisée dans l'algorithme SGD (Stochastic Gradient Descent). Le taux d'apprentissage affecte la vitesse à laquelle l'algorithme atteint (converge vers) les poids optimaux. L'algorithme SGD effectue des mises à jour des poids du modèle linéaire pour chaque exemple de données qu'il examine. La taille de ces mises à jour est contrôlée par le taux d'apprentissage. Un taux d'apprentissage trop élevé peut empêcher les poids de s'approcher de la solution optimale. Avec une valeur trop faible, l'algorithme nécessite de nombreux passages pour s'approcher des poids optimaux.

Dans Amazon ML, le taux d'apprentissage est sélectionné automatiquement en fonction de vos données.

Taille du modèle

Si vous disposez de nombreuses entités en entrée, un modèle de grande taille peut être généré en raison du nombre de tendances possibles dans les données. Les modèles de grande taille présentent des implications pratiques. Par exemple, plus de RAM est nécessaire pour conserver le modèle lors de sa formation et lors de la génération des prédictions. Dans Amazon ML, vous pouvez réduire la taille du modèle en utilisant la régularisation L1 ou en limitant spécifiquement la taille du modèle en définissant la taille maximale. Notez que si vous réduisez trop la taille du modèle, cela peut éventuellement réduire sa puissance prédictive.

Pour obtenir des informations sur la taille de modèle par défaut, consultez Paramètres de formation : Types et valeurs par défaut. Pour plus d'informations sur la régularisation, consultez Régularisation.

Nombre de passages

L'algorithme SGD effectue des passages séquentiels sur les données de formation. Le paramètre Number of passes contrôle le nombre de passages que l'algorithme effectue sur les données de formation. Avec davantage de passages, le modèle correspond mieux aux données (si le taux d'apprentissage n'est pas trop élevé), mais cet avantage diminue quand le nombre de passages augmente encore. Pour des jeux de données plus petits, vous pouvez augmenter significativement le nombre de passages, ce qui permet à l'algorithme d'apprentissage de correspondre effectivement plus étroitement aux données. Pour des jeux de données de très grande taille, un seul passage peut éventuellement suffire.

Pour obtenir des informations sur le nombre de passages par défaut, consultez Paramètres de formation : Types et valeurs par défaut.

Réorganisation des données

Dans Amazon ML, vous devez réorganiser vos données car l'algorithme SGD est influencé par l'ordre des lignes dans les données de formation. La réorganisation de vos données de formation permet d'améliorer les modèles d'apprentissage-machine. En effet, elle aide l'algorithme SGD à éviter des solutions qui sont optimales pour le premier type de données qu'il voit, mais pas pour la plage complète des données. La réorganisation change complètement l'ordre de vos données de manière à ce que l'algorithme SGD ne rencontre pas un seul type de données pour un trop grand nombre d'observations consécutives. S'il voit un seul type de données pour de nombreuses mises à jour de poids successives, l'algorithme peut ne pas être en mesure de corriger les poids du modèle pour un nouveau type de données parce que la mise à jour peut être trop importante. De plus, lorsque les données ne sont pas présentées de façon aléatoire, il est difficile pour l'algorithme de trouver rapidement la solution optimale pour tous les types de données ; dans certains cas, l'algorithme ne trouve jamais la solution optimale. La réorganisation des données de formation aide l'algorithme à converger plus tôt sur la solution optimale.

Par exemple, supposons que vous souhaitez former un modèle d'apprentissage-machine pour prédire un type de produit et que vos données de formation incluent les types de produit film, jouet et jeu vidéo. Si vous triez les données en fonction de la colonne de type de produit avant de charger les données vers Amazon S3, l'algorithme voit les données dans l'ordre alphabétique par type de produit. L'algorithme voit tout d'abord toutes vos données relatives aux films, et votre modèle d'apprentissage-machine commence à apprendre des tendances propres aux films. Ensuite, lorsque votre modèle aborde des données sur des jouets, chaque mise à jour que l'algorithme effectue correspond au modèle du type de produit jouet, même si ces mises à jour dégradent les tendances correspondant aux films. Ce basculement soudain du type film au type jouet peut produire un modèle qui n'apprend pas à prédire avec précision les types de produit.

Pour obtenir des informations sur le type de réorganisation par défaut, consultez Paramètres de formation : Types et valeurs par défaut.

Régularisation

La régularisation aide à empêcher les modèles linéaire de surajuster des exemples de données de formation (c'est-à-dire, de mémoriser des tendances au lieu de les généraliser) en pénalisant les valeurs pondérales extrêmes. La régularisation L1 a pour effet de réduire le nombre d'entités utilisées dans le modèle en mettant à zéro les poids d'entités qui auraient autrement de faibles poids. Par conséquent, la régularisation L1 produit des modèles dispersés et réduit la quantité de bruit dans le modèle. La régularisation L2 produit des valeurs pondérales globales plus petites, ce qui stabilise les poids lorsqu'il y a une forte corrélation entre les entités en entrée. Vous contrôlez le degré de régularisation L1 ou L2 appliqué à l'aide des paramètres Regularization type et Regularization amount. Une très grande valeur de régularisation pourrait entraîner la mise à zéro des poids de toutes les entités, ce qui empêcherait un modèle d'apprendre des tendances.

Pour obtenir des informations sur les valeurs de régularisation par défaut, consultez Paramètres de formation : Types et valeurs par défaut.