La version originale de cette réponse manquait le point (c'est alors que la réponse a obtenu quelques votes négatifs). La réponse a été corrigée en octobre 2015.

C'est un sujet quelque peu controversé.

On prétend souvent que LOOCV a une variance plus élevée que $ k $ -fold CV, et qu'il en est ainsi parce que les ensembles d'apprentissage dans LOOCV se chevauchent davantage. Cela rend les estimations des plis différents plus dépendants que dans le CV multiplié par $ k $, le raisonnement va et augmente donc la variance globale. Voir par exemple une citation de The Elements of Statistical Learning par Hastie et al. (Section 7.10.1):

Quelle valeur devrions-nous choisir pour $ K $? Avec $ K = N $, l'estimateur de validation croisée est approximativement sans biais pour l'erreur de prédiction vraie (attendue), mais peut avoir une variance élevée parce que les «ensembles d'apprentissage» $ N $ sont si similaires les uns aux autres.

Voir aussi une citation similaire dans la réponse de @BrashEquilibrium (+1). Les réponses acceptées et les plus votées dans Variance et biais dans la validation croisée: pourquoi le CV sans un seul élément a-t-il une variance plus élevée? donnent le même raisonnement.

TOUTEFOIS, notez que Hastie et al. ne donnez aucune citation, et bien que ce raisonnement semble plausible, j'aimerais voir des preuves directes que tel est effectivement le cas. Une référence qui est parfois citée est Kohavi 1995 mais je ne la trouve pas très convaincante dans cette affirmation particulière.

EN SAVOIR PLUS, voici deux simulations qui montrent que LOOCV a la même variance ou même un peu plus faible que le CV 10 fois:

• https://stats.stackexchange.com/a/357572.
• Est-ce que $ K $ -fold CV avec $ K = N $ (LOO) fournit les estimations de variables LE PLUS ou MOINS, et quel est le rôle de la "stabilité"?.
• Voir également l'article lié dans https://stats.stackexchange.com/a/252031. Il dit que c'est une "idée fausse" que LOOCV a une variance élevée.

De Une introduction à l'apprentissage statistique

Lorsque nous effectuons LOOCV, nous faisons en fait la moyenne des sorties de $ n $ modèles ajustés, chacun étant entraîné sur un ensemble d'observations presque identique; par conséquent, ces sorties sont fortement corrélées (positivement) les unes avec les autres. En revanche, lorsque nous exécutons $ k $ -fold CV avec $ k<n $ , nous calculons la moyenne des résultats des modèles ajustés de $ k $ qui sont un peu moins corrélés les uns aux autres, car le chevauchement entre les ensembles d'apprentissage dans chaque modèle est plus petit. Étant donné que la moyenne de nombreuses quantités hautement corrélées a une variance plus élevée que la moyenne de nombreuses quantités qui ne sont pas aussi fortement corrélées, l'estimation de l'erreur de test résultant de LOOCV a tendance à avoir une variance plus élevée que l'estimation de l'erreur de test résultant de $ k $ -fold CV.

Pour résumer, il y a un compromis biais-variance associé au choix de $ k $ en $ k $ -fold validation croisée. En règle générale, compte tenu de ces considérations, on effectue une $ k $ -fold validation croisée avec $ k = 5 $ ou $ k = 10 $ , car il a été démontré empiriquement que ces valeurs donnent des estimations de taux d'erreur de test qui ne souffrent ni d'un biais excessivement élevé ni d'une variance très élevée.

• Dans les cas simples, je pense que la réponse est: la grande moyenne (sur tous les cas de test et tous les replis) a la même variance pour $ k $ -fold et la validation LOO.

• Simple signifie ici: les modèles sont stables, donc chacun des modèles de substitution $ k $ ou $ n $ donne la même prédicion pour le même échantillon (expérience de pensée: tester des modèles de substitution avec un grand ensemble de tests indépendants).

• Si les modèles ne sont pas stables, la situation devient plus complexe: chacun des modèles de substitution a ses propres performances , vous avez donc une variance supplémentaire. Dans ce cas, tous les paris sont ouverts, que LOO ou $ k $ -fold ait plus de variance supplémentaire *. Mais vous pouvez itérer le CV multiplié par $ k $ et prendre la moyenne générale sur tous les cas de test et tous les modèles de substitution $ i \ times k $ peuvent atténuer cette variance supplémentaire. Une telle possibilité n'existe pas pour LOO: les modèles de substitution $ n $ sont tous des modèles de substitution possibles.

• La grande variance est généralement due à deux facteurs :

  • petite taille de l'échantillon (si vous n'étiez pas dans une situation de petite taille d'échantillon, vous ne vous inquiéteriez pas de la variance ;-)).
  • Type de mesure d'erreur à variance élevée. Toutes les erreurs de classification de type proportion de cas de test sont sujettes à une variance élevée. Il s'agit d'une propriété de base de l'estimation des fractions en comptant les observations. Les erreurs de type régression comme MSE ont un comportement beaucoup plus bénin à cet égard.

Pour les erreurs de classification, il existe un certain nombre d'articles qui examinent les propriétés de différents schémas de validation de rééchantillonnage dans lesquels vous voyez également des variances, par exemple:

• Kohavi, R .: A Study of Cross-Validation and Bootstrap for Precuracy Estimation and Model Selection, Mellish, CS ( ed.) Artificial Intelligence Proceedings 14 $ ^ th $ International Joint Conference, 20-25 août 1995, Montréal, Québec, Canada, Morgan Kaufmann, États-Unis, 1137 - 1145 (1995).
• Nous avons observé un comportement très similaire pour les données spectroscopiques vibrationnelles:
  Beleites, C .; Baumgartner, R .; Bowman, C.; Somorjai, R .; Steiner, G .; Salzer, R. & Sowa, M. G.: Réduction de la variance dans l'estimation de l'erreur de classification à l'aide d'ensembles de données clairsemés, Chemom Intell Lab Syst, 79, 91-100 (2005).

(Je suppose que des articles similaires peuvent également exister pour des erreurs de régression, mais je ne suis pas au courant)

* on peut s'attendre à ce que LOO ont moins de variance parce que les modèles de substitution sont entraînés avec plus de cas, mais au moins pour certains types de modèles de classification, LOO ne se comporte pas très bien.

Il n'y a pas de plis dans LOOCV comme la validation croisée k-Fold (en fait, ils peuvent être nommés sous forme de plis mais sans signification). dans LOOCV, il laisse une instance de l'ensemble de données pour les données de test et utilise toutes les autres instances pour l'entraînement. Ainsi, à chaque itération, il laissera une instance de l'ensemble de données à tester.Ainsi, dans une itération particulière d'évaluation, il n'y a qu'une seule instance dans les données de test et le reste se trouve dans les données d'entraînement.C'est pourquoi vous avez vu tous les ensembles de données d'entraînement égaux à tous le temps.

Dans la validation croisée K-fold en utilisant la Stratification (une méthode avancée utilisée pour équilibrer l'ensemble de données en veillant à ce que chaque classe représente approximativement dans une proportion égale dans tous les échantillons) nous pouvons réduire la variance des estimations.

comme LOOCV n'utilise qu'une seule instance pour les tests, il ne peut pas appliquer la stratification. Ainsi, LOOCV a une variance plus élevée dans les estimations d'erreur que la validation croisée k fois.

C'est comme passer un test avec une seule question - c'est beaucoup plus aléatoire.

Il s'agit d'une explication intuitive de l'écart type d'une instance par rapport à celui d'une moyenne - le score sur un lot d'instances a moins de variance.

Voici quelques plus de détails.