J'ai lu ce livre fantastique Les éléments de l'apprentissage statistique et j'ai une question sur l'équation du lasso pour le problème du Lasso sous sa forme lagrangienne :
$ \ hat {\ beta} _ {lasso} = argmin \ {\ frac {1} {2} \ sum_ {i = 1} ^ {N} (y_i - \ beta_0 - \ sum_ {j = 1}^ {p} x_ {ij} \ beta_ {j}) ^ 2 + \ lambda \ sum_ {j = 1} ^ {p} | \ beta_j |\} $
Je ne sais pas pourquoi $ \ frac {1} {2} $ est nécessaire pour le lasso, mais ce n'est pas le cas pour la crête.
$ \ hat {\ beta} _ {ridge} = argmin \ {\ sum_ {i = 1} ^ {N} (y_i - \ beta_0 - \ sum_ {j = 1} ^ {p} x_ {ij}\ beta_ {j}) ^ 2 + \ lambda \ sum_ {j = 1} ^ {p} \ beta_j ^ 2 \} $
Références
- Friedman, J., Hastie, T., & Tibshirani, R. (2001).Les éléments de l'apprentissage statistique (Vol. 1, pp. 241-249).New York: série Springer en statistiques.