L'argument est simple: lorsque vous construisez un modèle, vous voulez que ce modèle soit efficace sur des données NOUVELLES, NON VUES, n'est-ce pas? Sinon, vous n'avez pas besoin d'un modèle.

Ensuite, votre métrique d'évaluation, disons précision et rappel, doit donner une idée du comportement de votre modèle sur des données invisibles.

Maintenant, si vous évaluez sur les mêmes données que vous avez utilisées pour l'entraînement, votre précision et votre rappel seront biaisés (presque certainement, plus élevés qu'ils ne le devraient), car votre modèle a déjà vu les données.

Supposons que vous soyez un enseignant qui passe un examen pour certains élèves. Si vous voulez évaluer leurs compétences, leur donnerez-vous des exercices qu'ils ont déjà vus, et qu'ils ont encore sur leur bureau, ou de nouveaux exercices, inspirés par ce qu'ils ont appris, mais différents d'eux?

C'est pourquoi vous devez toujours conserver un ensemble de tests totalement invisible pour l'évaluation. (Vous pouvez également utiliser la validation croisée, mais c'est une autre histoire).

@jpl a fourni une bonne explication des idées ici. Si ce que vous voulez n'est qu'une référence, j'utiliserais un manuel solide et basique. Quelques livres bien considérés qui couvrent l'idée de validation croisée et pourquoi c'est important pourraient être:

• Harrell, F. (2010). Stratégies de modélisation de régression: avec des applications aux modèles linéaires, à la régression logistique et à l'analyse de survie . Springer.

• Hastie, T., Tibshirani, R., & Friedman, J. (2011). Les éléments de l'apprentissage statistique: exploration de données, inférence et prédiction . Springer.

  et / ou

• James, G., Witten, T., Hastie, T., & Tibshirani, R. (2013). Une introduction à l'apprentissage statistique: avec des applications en R . Springer.

Si vous validez sur l'ensemble de l'entraînement, votre modèle idéal est celui qui ne fait que mémoriser les données. Rien ne peut le battre.

Vous dites que "de manière réaliste, ce n'est pas un modèle qui mémorise simplement les données". Mais pourquoi préférez-vous d'autres modèles? C'est le point de ma réduction à l'absurdité de valider sur toutes les données: la principale raison pour laquelle vous n'aimez pas le modèle qui mémorise tout ce qu'il a vu est qu'il ne se généralise pas du tout. Que doit-il faire étant donné une entrée qu'il n'a pas vue? Vous voulez donc un modèle qui fonctionne en général plutôt qu'un modèle qui fonctionne uniquement sur ce qu'il a vu. La façon dont vous encodez ce désir de bien travailler sur des données invisibles est de définir les données de validation pour être exactement ces données invisibles.

Cependant, si vous savez que vos exemples d'entraînement représentent complètement la vraie distribution, alors allez à l'avance et validez leur utilisation!

De plus, contrairement aux affirmations de votre dernier paragraphe, la citation que vous avez citée n'est pas "manifestement fausse" et cette "stratégie d'évaluation particulière" est-ce que a à voir "avec des modèles surajustés". Le surajustement signifie l'adaptation (le bruit des) exemples de formation fournis plutôt que les relations statistiques des données générales. En validant à l'aide de données vues, vous préférerez les modèles qui correspondent au bruit plutôt que ceux qui fonctionnent bien avec des données invisibles.

Voici mon explication simple.

Lorsque nous modélisons la réalité, nous voulons que nos modèles puissent non seulement expliquer les faits existants, mais aussi prédire les nouveaux faits. Ainsi, le test hors échantillon consiste à émuler cet objectif. Nous estimons (entraînons) le modèle sur certaines données (ensemble d'apprentissage), puis essayons de prédire en dehors de l'ensemble d'apprentissage et comparons les prédictions avec l'échantillon retenu.

Évidemment, il ne s'agit que d'un exercice de prédiction, pas la vraie prédiction, parce que l'échantillon retenu était en fait déjà observé. Le vrai test de prédiction n'a lieu que lorsque vous utilisez le modèle sur les données, ce qui n'a pas encore été observé. Par exemple, vous avez développé un programme d'apprentissage automatique pour la publicité. Ce n'est que lorsque vous commencez à l'utiliser dans la pratique et que vous observez ses performances, vous saurez avec certitude si cela fonctionne ou non.

Cependant, malgré la limitation de l'approche entraînement / retenue, cela reste informatif. Si votre modèle ne fonctionne que dans l'échantillon, ce n'est probablement pas du tout un bon modèle. Donc, ce type de test aide à éliminer les mauvais modèles.

Autre chose à retenir: disons que vous avez effectué la validation des échantillons d'entraînement / de blocage du modèle. Cependant, lorsque vous souhaitez utiliser le modèle, vous estimerez probablement le modèle sur l'ensemble de l'ensemble de données. Dans ce cas, dans quelle mesure les résultats de la validation hors échantillon du modèle qui a été estimé sur l’échantillon d’apprentissage sont applicables?

D'autres ont répondu à vos paragraphes précédents, alors permettez-moi de répondre à votre dernier. La validité de votre argument dépend de l'interprétation du mot «évaluation». S'il est utilisé dans le sens d'une exécution finale sur des données invisibles pour donner une idée de la façon dont le modèle choisi devrait fonctionner à l'avenir, votre point est correct.

Si "évaluation" est utilisé plus dans le sens de ce que j'appellerais un ensemble "de test" - c'est-à-dire, pour évaluer les résultats de l'entraînement de plusieurs modèles afin d'en choisir un - puis évaluer sur les données d'entraînement conduira à un surajustement.

Toutes les autres réponses (en particulier concernant le sur-ajustement) sont très bonnes, mais j'ajouterais juste une chose. La nature même des algorithmes d'apprentissage est que leur formation garantit qu'ils apprennent «quelque chose» de commun sur les données auxquelles ils sont exposés. Cependant, ce dont nous ne pouvons pas être sûrs, ce sont exactement les caractéristiques des données d'entraînement qu'ils finissent par apprendre. Par exemple, avec la reconnaissance d'image, il est très difficile de savoir si un réseau de neurones entraîné a appris à quoi ressemble un visage ou quelque chose d'autre qui est inhérent aux images. Un ANN pourrait avoir simplement mémorisé à quoi ressemblent les chemises, les épaules ou les cheveux, par exemple.

Cela dit, l'utilisation d'un ensemble distinct de données de test (invisible pour l'entraînement) est un moyen d'augmenter la confiance que vous avoir un modèle sur lequel on peut compter pour fonctionner comme prévu avec des données réelles / invisibles. L'augmentation du nombre d'échantillons et de la variabilité des fonctionnalités est également utile. Ce que l'on entend par variabilité des caractéristiques, c'est que vous voulez vous entraîner avec des données qui ont autant de variations qui comptent toujours sur chaque échantillon que possible.

Par exemple, avec les données de visage à nouveau, vous souhaitez afficher chaque visage sur autant d'arrière-plans différents que possible, et avec autant de variations de vêtements, d'éclairage, de couleur de cheveux, d'angles de caméra, etc. que possible. Cela permettra de garantir que lorsque l'ANN dit «visage», c'est vraiment un visage, et non un mur blanc en arrière-plan qui a déclenché la réponse.

Hastie et al ont un bon exemple dans le contexte de la validation croisée qui, je pense, s'applique également ici. Envisagez la prédiction avec un nombre extrêmement élevé de prédicteurs sur des données où les prédicteurs et les résultats sont tous distribués indépendamment. Par souci d'argumentation, supposons que tout soit Bernoulli avec p = 0,5.

Si vous avez suffisamment de variables, vous aurez quelques prédicteurs qui vous permettront de prédire parfaitement les résultats. Mais, avec de nouvelles données, il est impossible d'obtenir une précision parfaite.

Ce n'est pas exactement la même chose que votre cas, mais cela montre un exemple où votre méthode peut vraiment vous induire en erreur .