Tout d'abord, je ne pense pas qu'il y ait beaucoup de questions de la forme "Est-ce une bonne pratique de toujours X en machine learning" où la réponse va être définitive. Toujours? Toujours toujours? À travers des modèles paramétriques, non paramétriques, bayésiens, de Monte Carlo, des sciences sociales, purement mathématiques et des millions de modèles d'entités? Ce serait bien, non!

Mais concrètement, voici quelques façons dont: cela dépend.

Parfois, quand la normalisation est bonne:

1) Plusieurs algorithmes, en particulier les SVM qui me viennent à l'esprit, peuvent parfois converger beaucoup plus rapidement sur des données normalisées (même si pourquoi, précisément, je ne m'en souviens pas).

2) Lorsque votre modèle est sensible à la magnitude et que les unités de deux entités différentes sont différentes et arbitraires. C'est comme le cas que vous suggérez, dans lequel quelque chose a plus d'influence qu'il ne le devrait.

Mais bien sûr, tous les algorithmes ne sont pas sensibles à la magnitude comme vous le suggérez. Les coefficients de régression linéaire seront identiques si vous mettez ou non vos données à l'échelle, car elles examinent les relations proportionnelles entre elles.

Parfois, la normalisation est mauvais:

1) Lorsque vous voulez interpréter vos coefficients, et qu'ils ne se normalisent pas bien. La régression sur quelque chose comme les dollars vous donne un résultat significatif. La régression sur la proportion de dollars maximum dans l'échantillon pourrait ne pas l'être.

2) Quand, en fait, les unités de vos entités sont significatives et que la distance fait une différence! Revenons aux SVM - si vous essayez de trouver un classificateur à marge maximale, les unités qui entrent dans ce «max» comptent. La mise à l'échelle des fonctionnalités pour les algorithmes de clustering peut considérablement modifier le résultat. Imaginez quatre groupes autour de l'origine, chacun dans un quadrant différent, tous bien mis à l'échelle. Maintenant, imaginez que l'axe y soit étiré à dix fois la longueur de l'axe x. au lieu de quatre petits groupes de quadrants, vous allez obtenir la longue baguette écrasée de données coupée en quatre morceaux sur sa longueur! (Et, la partie importante est que vous préférerez peut-être l'un ou l'autre!)

Dans le résumé insatisfaisant, je suis sûr, la réponse la plus générale est que vous devez vous demander sérieusement ce qui a du sens avec les données, et modèle que vous utilisez.

Eh bien, je crois qu'un point de vue plus géométrique aidera à mieux décider si la normalisation aide ou non. Imaginez que votre problème d'intérêt ne comporte que deux caractéristiques et qu'elles varient différemment. Puis géométriquement, les points de données sont répartis autour et forment un ellipsoïde. Cependant, si les caractéristiques sont normalisées, elles seront plus concentrées et, espérons-le, formeront un cercle unitaire et rendront la covariance diagonale ou au moins proche de la diagonale. C'est l'idée derrière des méthodes telles que la normalisation par lots des représentations intermédiaires des données dans les réseaux de neurones. En utilisant BN, la vitesse de convergence augmente étonnamment (peut-être 5 à 10 fois) car le gradient peut facilement aider les gradients à faire ce qu'ils sont censés faire afin de réduire l'erreur.

Dans le cas non normalisé, gradient- les algorithmes d'optimisation basés sur la base auront beaucoup de mal à déplacer les vecteurs de poids vers une bonne solution. Cependant, la surface de coût pour le cas normalisé est moins allongée et les méthodes d'optimisation basées sur le gradient feront beaucoup mieux et divergeront moins.

C'est certainement le cas des modèles linéaires et en particulier de ceux dont la fonction de coût est une mesure de la divergence de la sortie du modèle et de la cible (par exemple, régression linéaire avec fonction de coût MSE), mais peut ne pas être nécessairement la cas dans les non-linéaires. La normalisation ne nuit pas aux modèles non linéaires; ne pas le faire pour les modèles linéaires sera douloureux.

L'image ci-dessous pourrait être [à peu près] considérée comme l'exemple d'une surface d'erreur allongée dans laquelle les méthodes basées sur le gradient pourraient avoir du mal à aider les vecteurs de poids aller vers les optima locaux.

Permettez-moi de vous raconter comment j'ai appris l'importance de la normalisation.

J'essayais de classer une donnée de chiffres manuscrits (c'est une tâche simple de classer des caractéristiques extraites d'images d'écritures manuscrites digits) avec Neural Networks comme devoir pour un cours d'apprentissage automatique.
Comme tout le monde, j'ai commencé avec une bibliothèque / un outil de réseau neuronal, je l'ai alimenté avec les données et j'ai commencé à jouer avec les paramètres. J'ai essayé de changer le nombre de couches, le nombre de neurones et diverses fonctions d'activation. Aucun d'entre eux n'a donné les résultats attendus (précision autour de 0,9).

Le coupable? Le (s) facteur (s) de mise à l'échelle de la fonction d'activation = $ \ frac {s} {1 + e ^ {- s.x}} $ - 1. Si le paramètre s n'est pas défini, la fonction d'activation activera chaque entrée ou annulera chaque entrée à chaque itération. Ce qui a évidemment conduit à des valeurs inattendues pour les paramètres du modèle. Ce que je veux dire, c'est qu'il n'est pas facile de définir des s lorsque l'entrée x varie sur de grandes valeurs.

Comme certaines des autres réponses l'ont déjà souligné, le "bon la pratique "de normaliser ou non les données dépend des données, du modèle et de l'application. En normalisant, vous jetez en fait des informations sur les données telles que les valeurs absolues maximum et minimum. Donc, il n'y a pas de règle empirique.

Comme d'autres l'ont dit, la normalisation n'est pas toujours applicable; par exemple. d'un point de vue pratique.

Pour pouvoir mettre à l'échelle ou normaliser des entités dans une plage commune comme [0,1] , vous devez connaître le min / max (ou mean / stdev selon la méthode de mise à l'échelle que vous appliquez) de chaque fonctionnalité. IOW: vous devez avoir toutes les données pour toutes les fonctionnalités avant de commencer la formation.

De nombreux problèmes d'apprentissage pratiques ne vous fournissent pas tous les données a-priori, donc vous ne pouvez tout simplement pas normaliser. Ces problèmes nécessitent une approche d'apprentissage en ligne.

Cependant, notez que certains algorithmes en ligne (par opposition à l'apprentissage par lots) qui apprennent d'un exemple à la fois, prennent en charge une approximation de la mise à l'échelle /normalisation. Ils apprennent les échelles et les compensent, de manière itérative. vowpal wabbit par exemple normalise de manière itérative la mise à l'échelle par défaut (à moins que vous ne désactiviez explicitement la mise à l'échelle automatique en forçant un certain algorithme d'optimisation comme le --sgd naïf)

La mise à l'échelle / la normalisation modifie légèrement votre modèle. La plupart du temps, cela correspond à l'application d'une fonction affine. Donc vous avez $ Z = A_X + B_XXC_X $ où $ X $ est votre "entrée / données d'origine" (une ligne pour chaque exemple d'entraînement, une colonne pour chaque fonctionnalité). Alors $ A_X, B_X, C_X $ sont des matrices qui sont généralement des fonctions de $ X $ . La matrice $ Z $ est ce que vous insérez dans votre algorithme ML.

Maintenant, supposons que vous vouliez prédire un nouvel échantillon. Mais vous n'avez que $ X_ {new} $ et non $ Z_ {new} $ . Vous devriez appliquer la fonction $ Z_ {new} = A_X + B_XX_ {new} C_X $ . Autrement dit, utilisez le même $ A_X, B_X, C_X $ de l'ensemble de données d'entraînement, plutôt que de les ré-estimer. Cela donne à ces matrices la même forme que les autres paramètres de votre modèle.

Bien qu'elles soient souvent équivalentes en termes de valeurs prédites que vous obtenez à partir de l'ensemble de données d'entraînement, il ne s'agit certainement pas de nouvelles données pour les prédictions. Un exemple simple, prédire pour $ 1 $ nouvelle observation, la normalisation (soustraire la moyenne, diviser par sd) renverra toujours zéro.

Pour les modèles d'apprentissage automatique qui incluent des coefficients (par exemple, régression, régression logistique, etc.), la principale raison de normaliser est la stabilité numérique.Mathématiquement, si l'une de vos colonnes de prédicteur est multipliée par 10 ^ 6, le coefficient de régression correspondant sera multiplié par 10 ^ {- 6} et les résultats seront les mêmes.

Sur le plan informatique, vos prédicteurs sont souvent transformés par l'algorithme d'apprentissage (par exemple, la matrice X des prédicteurs dans une régression devient X'X) et certaines de ces transformations peuvent entraîner une perte de précision numérique si X est très grand ou très petit.Si vos prédicteurs sont sur une échelle de 100, cela n'aura pas d'importance.Si vous modélisez des grains de sable, des unités astronomiques ou des nombres de requêtes de recherche, c'est peut-être le cas.

J'essayais de résoudre un problème de régression de crête en utilisant la descente de gradient. Maintenant, sans normalisation, j'ai défini une taille d'étape appropriée et j'ai exécuté le code. Afin de m'assurer que mon codage était sans erreur, j'ai également codé le même objectif dans CVX. Maintenant, CVX n'a ​​pris que quelques itérations pour converger vers une certaine valeur optimale, mais j'ai exécuté mon code pour la meilleure taille de pas que j'ai pu trouver par itérations de 10k et j'étais proche de la valeur optimale de CVX mais toujours pas exacte.

Après avoir normalisé l'ensemble de données et l'avoir alimenté dans mon code et CVX, j'ai été surpris de voir que maintenant la convergence ne prenait que 100 itérations et la valeur optimale vers laquelle la descente de gradient convergeait était exactement égale à celle de CVX.
De plus, la quantité de «variance expliquée» par modèle après normalisation était plus importante que celle d'origine. Donc, juste à partir de cette expérience naïve, j'ai réalisé qu'en ce qui concerne le problème de régression, j'irais pour la normalisation des données. BTW ici, la normalisation implique la soustraction par la moyenne et la division par l'écart type.

Pour me soutenir sur la régression, veuillez consulter cette question pertinente et en discuter:
Lorsque vous effectuez une régression multiple, quand devez-vous centrez vos variables prédictives & quand devriez-vous les standardiser?