TLDR; quand on ne sait rien du coût réel de l'erreur pour l'utilisateur du modèle, MSE est une meilleure option par défaut par rapport à MAE car, à mon avis, il est plus facile à manipuler analytiquement et est plus susceptible de correspondre au coût réel de l'erreur.

C'est une excellente question. J'aime que vous commenciez avec le désir de faire correspondre votre fonction de perte aux coûts réels. C'est ainsi que c'est censé être fait idéalement à mon avis. Cependant, il n'est pas pratique de dériver la fonction de coût à partir des coûts réels chaque fois que vous créez un modèle, c'est pourquoi nous avons tendance à utiliser l'une des fonctions de perte disponibles dans le logiciel. Les moindres carrés sont l'une des fonctions les plus populaires principalement en raison de la commodité mathématique. Il est plus facile de le gérer analytiquement. De plus, dans certains cas, les moindres carrés produisent des prévisions ponctuelles non biaisées, c'est-à-dire $ E [y] - \ hat y = 0 $ , ce qui est souvent considéré comme souhaitable pour des raisons sentimentales.

Cela dit, je dois affirmer qu'il n'est pas évident pour moi que la perte de valeur absolue soit plus réaliste. Considérez les surdoses de médicaments - elles sont beaucoup plus coûteuses que les sous-doses dans certaines situations: ne pas être assez élevé vs mourir. Dans votre exemple de pièces, considérez ceci: que se passe-t-il si vous sous-estimez le coût des pièces à \ $ ​​1 et concluez un accord à terme pour livrer un million de pièces un mois plus tard à \ $ ​​1,1 sachant que vous aurez 1 million de dollars dans un mois. Vous allez faire 10% de profit!

Puis vient le jour et les pièces coûtent en fait 1,2 $ pièce. Ainsi, vous n'allez pas seulement subir une perte de \ $ 100K, mais vous manquerez également de fonds pour livrer 1 million de pièces. Ainsi, vous êtes obligé de faire défaut et de faire faillite, ce qui coûte très cher. D'un autre côté, si vous surestimiez le coût des pièces, vous renonceriez à certains bénéfices, mais vous ne vous retrouveriez pas dans une situation désastreuse d'insolvabilité ou de crise de liquidité.

Il s'agit d'une situation très courante dans les entreprises où les pertes sont asymétriques et hautement non linéaires avec des coûts en augmentation rapide dans un sens de l'erreur de prévision mais pas dans l'autre. Par conséquent, je dirais que la perte absolue, qui est symétrique et a des pertes linéaires sur l'erreur de prévision, n'est pas réaliste dans la plupart des situations commerciales. De plus, bien que symétrique, la perte au carré est au moins non linéaire.

Pourtant, les différences entre les fonctions de perte absolue et quadratique ne s'arrêtent pas là. Par exemple, on peut montrer que la prévision ponctuelle optimale en perte absolue est la médiane tandis que pour la perte au carré, elle est moyenne.

Je pense que la fonction de perte suivante est plus adaptée à la prévision commerciale dans de nombreux cas où une erreur de sur-prévision $ e = y- \ hat y $ peut devenir très coûteuse très rapidement: $$ \ mathcal L (e, \ hat y) = | \ ln \ left (1+ \ frac e {\ hat y} \ right) | $$ span> Ici, si vous prévoyez une quantité non négative $ y $ , alors une sur-prévision est potentiellement dévastatrice. Imaginez que votre banque prévoie le volume des dépôts et que le volume réel des dépôts s'est avéré bien inférieur à ce que vous espériez. Cela peut avoir de graves conséquences. Ce type de fonction de perte asymétrique conduira à une prévision ponctuelle optimale biaisée , ie $ E [y] - \ hat y \ ne 0 $ , mais c'est exactement ce que vous voulez: vous voulez vous tromper du côté de la sous-prévision dans ce type de problème commercial.

Je pense que la raison est plus sociologique que statistique.

Version courte: nous procédons de cette façon parce que nous l'avons toujours fait.

Version plus longue: Historiquement, nous ne pouvions pas faire beaucoup de choses que nous tenons maintenant pour acquises. Beaucoup de choses demandent beaucoup d'informatique et Ronald Fisher est né avant Alan Turing.

Ainsi, les gens ont fait beaucoup de régression OLS. Et les gens lisent ces régressions dans toutes sortes de domaines de fond et les cours de statistiques dans ces domaines enseignés ANOVA / régression et pas des méthodes plus modernes.

De plus, les éditeurs de revues ont appris ces méthodes et pas d'autres, et beaucoup rejetteront les articles avec des méthodes modernes parce que, par exemple, "ils ne seront pas compris".

De nombreux praticiens rejettent également les méthodes modernes; J'étais une sorte de geek d'analyse de données dans un hôpital. Les médecins venaient me demander mon avis et, si ce n'était pas "faire une régression OLS" ou "faire une régression logistique", ils rejetteraient mon avis.

J'ai obtenu mon doctorat en psychométrie et beaucoup de mes professeurs dans d'autres branches de la psychologie ne connaissaient aucune méthode moderne (l'un disait: "il suffit de rapporter la valeur p, c'est ce qui compte").

Les 5 premières réponses ne permettent pas de faire la distinction entre estimation loss et prediction loss, ce qui est crucial pour répondre à la question.A priori, il n'y a aucune raison que les deux coïncident.Je discuterai des deux types de perte dans le contexte de la prédiction ponctuelle utilisant la régression linéaire.La discussion peut être étendue à des modèles autres que la régression linéaire et à des tâches autres que la prédiction de points, mais l’essence reste la même.

Configuration

Supposons que vous soyez confronté à un problème de prédiction où le modèle $$ y = X \ beta + \ varepsilon $$ avec $ \ varepsilon \ sim D (0, \ sigma) $ , $ D $ étant une distribution de probabilité avec l'emplacement $ 0 $ et l'échelle $ \ sigma $ . Votre objectif est de prédire $ y_0 $ donné $ x_0 $ , et votre prédiction de points sera $ \ hat y_0 $ , une fonction de $ x_0 $ , l'échantillon de données, le modèle et la pénalité (le négatif de récompense) fonction définie sur l'erreur de prédiction. La fonction de pénalité à laquelle vous faites face est $ L_P (y- \ hat y) $ . Il a un minimum à zéro (la valeur $ L_P (0) $ peut être mis à zéro sans perte de généralité) et ne diminue pas des deux côtés de zéro; il s'agit d'une caractérisation typique d'une fonction sensible prediction loss. Vous pouvez choisir librement une fonction estimation loss $ L_E (\ cdot) $ et une fonction de prédiction de points $ y_hat_0 $ span >. Quels sont vos choix optimaux pour chacun? Cela dépendra de la distribution des erreurs $ D $ et de la fonction de perte de prédiction $ L_P (\ cdot) $ .

Perte d'estimation

La perte d'estimation spécifie la manière dont les estimations des paramètres d'un modèle sont obtenues à partir d'échantillons de données. Dans notre exemple de régression linéaire, il s'agit de l'estimation de $ \ beta $ et $ \ sigma $ . Vous pouvez les estimer en minimisant la somme des carrés des résidus (OLS) entre le réel $ y $ et les valeurs ajustées correspondantes, somme des résidus absolus (régression quantile à la médiane ) ou une autre fonction. Le choix de la perte d'estimation peut être déterminé par la distribution des erreurs du modèle. L'estimateur le plus précis au sens technique * sera obtenu par la perte d'estimation qui fait de l'estimateur de paramètre l'estimateur du maximum de vraisemblance (ML). Si les erreurs de modèle sont distribuées normalement ( $ D $ est normal), ce sera OLS; s'ils sont distribués selon une distribution de Laplace ( $ D $ est Laplace), ce sera une régression quantile à la moyenne; etc.
* Pour simplifier, étant donné un estimateur ML, vous pouvez vous attendre à des estimations de paramètres plus précises de votre modèle que celles fournies par d'autres estimateurs.

Perte de prévision

La perte de prédiction spécifie comment les erreurs de prédiction sont pénalisées. Vous ne le choisissez pas, il est donné. (Habituellement, c'est le client qui le spécifie. Si le client n'est pas capable de le faire mathématiquement, l'analyste doit s'efforcer de le faire en écoutant attentivement les arguments du client.) Si l'erreur de prédiction entraîne la perte du client (par exemple, une perte financière ) pour croître quadratiquement et symétriquement autour de zéro, vous êtes confronté à une perte de prédiction carrée. Si la perte du client croît linéairement et symétriquement autour de zéro, vous êtes confronté à une perte de prédiction absolue. Il existe de nombreuses autres possibilités pour les types de pertes de prédiction auxquels vous pourriez être confronté.

Prédiction

Compte tenu des estimations des paramètres du modèle et des valeurs des régresseurs du point d'intérêt, $ x_0 $ , vous devez choisir la prédiction ponctuelle $ \ hat y_0 $ basé sur la perte de prédiction. Pour la perte carrée, vous choisirez la moyenne estimée de $ y_0 $ , car la vraie moyenne minimise la perte carrée en moyenne (où la moyenne est prise sur des échantillons aléatoires de $ y_0 $ sous réserve de $ x = x_0 $ ). Pour la perte absolue, vous choisirez la médiane estimée. Pour d'autres fonctions de perte, vous choisirez d'autres fonctionnalités de la distribution de $ y_0 $ que vous avez modélisée.

Retour à votre question

Pourquoi les gens choisissent fréquemment l'erreur carrée plutôt que l'erreur absolue, ou par conséquent la perte carrée plutôt que la perte absolue, comme estimation loss? Parce que les erreurs normales ( $ D $ étant normal) sont courantes dans les applications, sans doute plus que les erreurs de Laplace ( $ D $ étant Laplace). Ils rendent également les estimateurs de régression traitables analytiquement. Cependant, ils ne sont pas beaucoup plus faciles à calculer. La complexité de calcul de l'OLS (correspondant à l'estimation ML sous des erreurs normales) par rapport à la régression quantile à la médiane (correspondant à l'estimation ML sous les erreurs de Laplace) ne sont pas très différentes. Il y a donc quelques arguments valables pour le choix de l'OLS sur la régression quantile à la médiane, ou l'erreur carrée sur l'erreur absolue.

Pourquoi les gens choisissent l'erreur carrée, ou la perte carrée correspondante, comme prediction loss?Peut-être par simplicité.Comme certaines des réponses précédentes l'ont peut-être mentionné, vous devez choisir une base de référence pour une exposition de manuels;vous ne pouvez pas discuter de tous les cas possibles en détail.Cependant, le cas pour préférer la perte quadratique à la perte absolue comme perte de prédiction est moins convaincant que dans le cas de la perte d'estimation.La perte de prédiction réelle est susceptible d'être asymétrique (comme indiqué dans certaines réponses précédentes) et pas plus susceptible de croître de manière quadratique que linéaire avec l'erreur de prédiction.Bien sûr, en pratique, vous devez suivre les spécifications du client concernant la perte de prédiction.Pendant ce temps, dans les exemples occasionnels et les discussions où il n'y a pas de client concret, je ne vois pas d'argument solide pour préférer l'erreur carrée à l'erreur absolue.

Je pense qu'il vaut la peine de prendre du recul et de considérer ce qu'impliquent les deux pertes.

En la regardant d'un point de vue probabiliste, la fonction de perte est équivalente à la fonction de vraisemblance logarithmique supposée et devrait donc correspondre à la façon dont nous pensons que nos mesures sont distribuées autour de leurs «vraies» valeurs inconnues.

Comme vous le dites, dans le cas de l'OLS, cela équivaut à supposer une vraisemblance gaussienne, où en tant que fonction de perte d'erreur absolue équivaut à une vraisemblance laplacienne.Les vraisemblances gaussiennes sont beaucoup plus souvent une bonne correspondance avec la vie réelle en raison du théorème de limite central.

Nos prédictions sont en général améliorées en rendant notre modèle supposé (et implicitement génératif) aussi proche que possible de la réalité.Dans de nombreux cas (la plupart?), Cela améliorera la précision prédictive par n'importe quelle métrique sensible (y compris par exemple l'erreur absolue moyenne).C'est beaucoup plus souvent le cas en supposant qu'une probabilité gaussienne y parviendra.

Si les erreurs sont indépendantes et suivent la distribution normale (de toute variance mais cohérente), alors la somme des erreurs quadratiques correspond à leur probabilité / vraisemblance conjointe.

$ \ Pi e ^ {- x_i ^ 2} = e ^ {- \ Sigma x_i ^ 2} $

Dans ces conditions, minimiser la somme des erreurs carrées revient à maximiser la vraisemblance.

Si une prédiction minimisant les coûts est nécessaire (lorsque la métrique de coût est différente de MSE), l'approche générale / précise consisterait à minimiser explicitement le coût attendu sur toute la distribution des modèles pondérés par leurs probabilités (ou probabilités si vous avez connaissance préalable). Ceci dissocie complètement le problème de la minimisation du coût attendu du problème de l'estimation en présence de bruit.

Supposons que vous mesuriez une quantité constante en présence de bruit gaussien. Même si votre métrique de coût pour les résultats futurs est MAE, vous préférez prédire avec la moyenne (minimisant MSE passé) que la médiane (minimisant MAE passé), si en effet vous savez que la quantité est constante et que le bruit de mesure est gaussien.

Exemple

Considérez la répartition suivante des coups produits par une arme à feu fixée mécaniquement. Vous placez un cercle d'une taille donnée quelque part sur la cible. Si le prochain coup atterrit entièrement à l'intérieur de votre cercle, vous gagnez, sinon vous perdez. La fonction de coût est de la forme $ f_C (x, y) = sign ((x-x_C) ^ 2 + (y-y_C) ^ 2-R ^ 2) $ span>.

Si vous minimisez $ \ sum_i f_C (x_i, y_i) $ , vous placeriez le cercle en position bleue, contenant entièrement le nombre maximum de plans passés. Mais si vous saviez que le pistolet est fixé en place et que l'erreur est gaussienne, vous placeriez le cercle en position verte, centré sur la moyenne / centroïde des données (minimisant MSE), car vous optimisez le gain futur attendu, pas le passé moyen gain.

Supposons que l'on lance un dé (numéroté de 1 à 6) et souhaite calculer son écart moyen par rapport à la valeur moyenne de 3,5. Deux rouleaux différeraient de 0,5, deux de 1,5 et deux de 2,5, pour un écart moyen de 1,5. Si l'on prend la moyenne des carrés des valeurs, on aurait un écart de 0,25, un de 2,25, et un de 6,25, pour une moyenne de 2,916 (35/12).

Supposons maintenant qu'au lieu de lancer un dé, on en lance deux. L'écart moyen serait de 1,94 (35/18) et le carré moyen de l'écart serait de 5,833 (70/12).

Si, au lieu de lancer deux dés, on voulait estimer l'écart attendu en fonction de ce qu'il était avec un dé, doubler l'écart moyen linéaire d'un seul dé (c'est-à-dire 1,5) donnerait une valeur de 3, ce qui est beaucoup plus grand que l'écart moyen linéaire réel de 1,94. D'un autre côté, doubler le carré moyen de l'écart lors de l'utilisation d'un seul dé (2,916) donnerait précisément le carré moyen de l'écart lors de l'utilisation de deux dés.

En général, la racine carrée de la moyenne des carrés est un nombre plus utile que la moyenne des carrés elle-même, mais si l'on veut calculer la racine carrée de la moyenne d'un tas de carrés, c'est plus facile à garder les valeurs à ajouter sous forme de carrés, plutôt que de prendre les racines carrées chaque fois que les rapportent et de les mettre au carré avant de pouvoir être ajoutées ou moyennées.

À mon avis, cela revient à dire que l'erreur quadratique garantit une solution unique, plus facile à travailler et donc beaucoup plus d'intuition. Par seulement deux hypothèses principales (et la linéarité du terme d'erreur), une fonction de perte quadratique garantit que le coefficient estimé est l'unique minimisé. Les écarts les moins absolus n'ont pas cette propriété. Il existe toujours un potentiel pour un nombre infini de solutions. En supposant que $ \ existe \ theta_o \ in \ Theta $ tel que $ E (y | x) = m (x, \ theta_o) $ et $ E ((m (x, \ theta) -m (x, \ theta_o) ^ 2) >0 $ pour tout $ \ theta \ neq \ theta_o $ , alors $ \ theta_o $ est le minimiseur unique pour les moindres non linéaires carrés.

Preuve: Soit $ y = m (x, \ theta_o) + u $ et $ E (u | x ) = 0 $ . Alors $$ E _ {\ theta_o} ((ym (x, \ theta)) ^ 2) = E _ {\ theta_o} ((ym (x, \ theta_o) + m (x , \ theta_0) -m (x, \ theta)) ^ 2) $$

$$ = E _ {\ theta_o} (u ^ 2) + E _ {\ theta_o} ((m (x, \ theta_o) -m (x, \ theta)) ^ 2) + 2E _ {\ theta_o} (u (m (x, \ theta_o) -m (x, \ theta))). $$

Selon la loi des attentes itérées, le troisième terme est nul. Par conséquent

$$ E _ {\ theta_o} ((ym (x, \ theta)) ^ 2) = u ^ 2 + E _ {\ theta_o} ((m (x, \ thêta_o) -m (x, \ thêta)) ^ 2) $$ est minimisé de manière unique à $ \ theta_o $ .

Une autre propriété intéressante est la loi totale de la variance

$$ Var (Y) = Var_X (E_Y (Y | X)) + E_X (Var_Y (Y | X)), $$

qui peut être lu comme la variance de la variable dépendante est la variance de la valeur ajustée plus la variance du résidu.

Sur une note plus technique, les formules asymptotiques sont beaucoup plus faciles pour une fonction de perte quadratique.Surtout, les formules ne dépendent pas de la densité de probabilité du terme d'erreur.Malheureusement, ce n'est pas vrai pour les écarts les moins absolus.Par conséquent, la plupart des praticiens finissent par devoir assumer l'indépendance du terme d'erreur (la formule a la densité conditionnelle du terme d'erreur à 0 conditionnée sur $ x $ , ce qui est impossible àestimation ( $ f_ {u | x} (0) $ )) pour estimer $ f_u (0) $ span>.

Et le point le moins rigoureux est que les gens ont plus de facilité à comprendre ce qu'est une valeur moyenne ou attendue, et la perte quadratique se résout pour l'espérance conditionnelle.Les écarts les moins absolus semelles pour la médiane, qui est juste plus difficile à interpréter.Une autre raison pour laquelle les régressions quantiles ne sont pas très populaires.