J'ai beaucoup aimé le problème des chars allemands.Il montre comment des données généralement considérées comme non pertinentes deviennent des informations précieuses entre les mains d'un statisticien.De plus, j'ai aimé la loi des petits nombres et la erreur sur le taux de base.

R vs Sally Clark est un cas célèbre d'une femme condamnée pour meurtre parce que le tribunal n'était pas au courant des statistiques et des principes de base de probabilité.

Mais si je dois dire ce qui m'a le plus impressionné, lorsque j'ai commencé à étudier les statistiques, c'est la régression vers la moyenne, qui a également donné le nom à la régression statistique (même si c'estune chose complètement différente).Le lauréat du prix Nobel (d’économie, même s’il est psychologue), Daniel Kahneman, a raconté une anecdote fascinante sur la façon dont il avait réalisé comment la régression vers la moyenne pouvait conduire les gens à de fausses croyances.

Edit: Une autre histoire très instable qui m'est venue à l'esprit, et qui concerne plutôt l'importance des données manquantes, est celle d'Abraham Wald et des trous de balles des avions de guerre.

Pour illustrer là où l'intuition ordinaire échoue , le paradoxe de Monty Hall est un excellent point de départ.

Si l'échantillonnage fait partie de votre cours, il est difficile de battre Dewey bat Truman

Un autre exemple intéressant de la façon dont les jeux de hasard peuvent mal tourner est l'exemple du casino de Monte Carlo.

Lors d'une partie de roulette au Casino de Monte Carlo le 18 août 1913, la balle est tombée en noir 26 fois de suite.C'était un événement extrêmement rare: la probabilité qu'une séquence de rouge ou de noir se produise 26 fois de suite est d'environ 1 sur 66,6 millions, en supposant que le mécanisme est sans biais.À ce moment-là, Gamblers a perdu des millions de francs en pariant contre les noirs, raisonnant à tort que la séquence provoquait un déséquilibre dans le caractère aléatoire de la roue, et qu'elle devait être suivie d'une longue traînée de rouge.

L'erreur du joueur et la la ruine du joueur donnent une bonne explication à cet exemple.

Je trouve le paradoxe positif false remarquable car il est tellement contre-intuitif. Un bon exemple:

Le dépistage Cancer de la population générale n'augmente pas l'espérance de vie, même si clairement des vies sont sauvées car certains cancers sont détectés précocement et peuvent être mieux traités. En conséquence, le groupe de travail américain sur les services de prévention a cessé de recommander le dépistage systématique des femmes âgées de 40 à 49 ans en 2009.

C'est un bon matériel pédagogique car il s'agit d'un exemple concret non trivial qui concerne presque tout le monde à un moment donné de leur vie. Il y a un article du National Cancer Institute ici.

Le raisonnement va ainsi:

• Le nombre d'incidents de cancer est petit, de sorte que le "nombre nécessaire pour traiter" (lire: écran) est grand.
• Les tests sont assez fiables. Mais le faible taux d'incidence conduit à un grand nombre de faux positifs absolus avec la conséquence d'un grand nombre de biopsies inutiles (> 90% sont des faux positifs).
• Les incidents de cancer appartiennent à l'un des sous-ensembles suivants:
  1. Des cancers agressifs qui tueront le patient quoi qu'il arrive.
  2. Cancers lents qui ne tueront pas le patient avant qu'il ne meure d'autres causes. Les détecter s'appelle surdiagnostic. D'après le document USPSTF: "Même avec une estimation prudente de 1 cas de cancer du sein sur 8 faisant l'objet d'un surdiagnostic, pour chaque femme qui évite de mourir au sein cancer grâce au dépistage, 2 à 3 femmes seront traitées inutilement. "
  3. Cancers qui seront traitables même lorsqu'ils sont détectés tardivement, sans dépistage.
  4. Cancers qui sont suffisamment agressifs pour tuer le patient lorsqu'ils sont détectés tardivement, mais qui sont toujours traitables lorsqu'ils sont détectés tôt.

Seule la classe 4 bénéficie du dépistage, au détriment d'un grand nombre de visites à l'hôpital inutiles, de biopsies inutiles et de nombreuses nuits blanches.Tous ces risques sont petits mais mesurables pour la santé qui s'accumulent sur le grand nombre nécessaire à traiter, l'emportant sur le bénéfice très réel pour le petit nombre du sous-ensemble 4.

Loi de Benford:

Décrit ici. Les chiffres n'apparaissent pas avec une fréquence uniforme devant les nombres, mais suivent plutôt un modèle spécifique: le chiffre 1 est le plus susceptible d'être le premier chiffre, avec 30% de chance, suivi de 2 (17,6% de chance), et ainsi de suite le. L'image suivante (tirée de Wikipédia) montre la fréquence de chaque chiffre au début de chaque nombre, dans certains ensembles de données naturels:

Il y a certaines conditions dans lesquelles la loi s'applique (par exemple, les données doivent s'étendre sur plusieurs échelles, donc des choses comme la taille des personnes ne sont pas éligibles), mais c'est assez générique.

La application la plus surprenante est peut-être la détection de fraude. Ceci est basé sur l'hypothèse que les gens qui essaient de fabriquer des chiffres ont tendance à distribuer les chiffres uniformément, violant ainsi la loi de Benford.

Je me souviens qu'une fois, j'expliquais cela à une classe, et pendant la pause, l'un des étudiants a proposé une feuille de calcul comptable de son entreprise, dans laquelle il avait essayé de valider mes affirmations. Cela a fonctionné :)

Loi de Zipf

Décrit ici: la fréquence d'un mot dans un corpus est inversement proportionnelle à son rang. Ce qui est surprenant, c'est que cette relation vaut pour tout corpus, même pour les langues anciennes qui n'ont pas encore été traduites. Une vidéo intéressante expliquant pourquoi ce modèle peut tenir est ici. L'image suivante montre le rang (horizontal) par rapport à la fréquence (verticale) dans une échelle log-log pour les 10 premiers millions de mots dans 30 Wikipédias ( source). Notez que la loi prédirait une ligne droite:

Ces deux lois sont puissantes et contre-intuitives, et dans le sens où elles améliorent la compréhension du monde via les statistiques, elles pourraient être qualifiées de "victoires statistiques".

Mon exemple préféré, pour illustrer comment des statistiques erronées peuvent avoir des conséquences à long terme lorsqu'elles sont utilisées pour diriger la politique gouvernementale, est l'acte de vandalisme ferroviaire à grande échelle connu sous le nom de Beeching Axe. Il résulte de l’embauche d’un expert de l’industrie pétrochimique ( Richard Beeching) pour déterminer quelles parties du Royaume-Uni ont été engagées par un ministre des transports étroitement lié à l’industrie de la construction routière ( Ernest Marples). le réseau ferroviaire subissait des pertes et devrait donc être élagué.

Environ 4 000 milles de route ont été fermés en conséquence directe, avec un effet positif direct sur la demande de routes (et, inévitablement, une grande partie de la congestion actuelle). D'autres fermetures se sont poursuivies dans les années 80, notamment sur la route Woodhead, importante et relativement récemment modernisée, à travers les Pennines, et ne se sont interrompues que dans le cas de la ligne Settle & Carlisle, qui était autrefois la section nord du Midland. Ligne principale du chemin de fer.

Il est peut-être intéressant de noter que Marples a par la suite fui le pays pour échapper aux poursuites pour fraude fiscale. Des soupçons de conflits d'intérêts ont également été portés à l'époque, car il avait vendu sa participation de 80% dans son ancien bâtiment routier de Marples Ridgeway (comme légalement requis par sa nomination ministérielle) à sa femme, ce qui lui a facilité la tâche. pour les réacquérir ultérieurement.

Une bonne source sur le sujet est "J'ai essayé de diriger un chemin de fer" de Gérard Fiennes.

Les erreurs statistiques impliquées ici étaient en grande partie dues à une vision trop étroite du problème. Les gares des lignes secondaires ont été visitées pour examiner leurs recettes et faire des enquêtes sur le trafic - mais le trafic saisonnier qui utilisait la ligne et dont les billets étaient vendus ailleurs dans le pays a été ignoré. Dans de nombreux cas, les coûts ont été gonflés par des pratiques de travail obsolètes qui auraient pu être rationalisées, mais cette option n'a pas été envisagée au moment de choisir les lignes qui seraient entièrement fermées. Cela a également conduit certaines lignes dont les pertes n'étaient que légères, et qui ont indirectement profité aux chemins de fer dans leur ensemble grâce à «l'effet réseau» de pouvoir atteindre des destinations sans changement de mode, à être inscrites sur la liste de fermeture.

Ces erreurs ont été répétées dans le dernier rapport Serpell qui proposait un programme de fermeture encore plus drastique, mais qui a été heureusement rejeté.

Aujourd'hui, la demande de trafic ferroviaire augmente fortement en Grande-Bretagne, et les lignes sont nouvellement construites et rouvertes pour répondre à la demande. Certaines lignes fermées par les efforts de Beeching et Marples seraient très bénéfiques si elles existaient encore aujourd'hui.

Nice QA!voici mes deux centimes: il s'agit principalement de savoir comment la corrélation peut être très suspecte et de quelques moyens traditionnels de la résoudre:

https://www.tylervigen.com/spurious-correlations

https://en.wikipedia.org/wiki/Anscombe%27s_quartet

https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient

Pour élaborer un peu, le canon de corrélation vs causalité dans les statistiques modernes est certainement Judea Perl.Le livre (Web) de Nielsen fournit une bonne critique:

http://www.michaelnielsen.org/ddi/if-correlation-doesnt-imply-causation-then-what-does/

Je ne sais pas si cela compte comme "l'intuition échoue", mais plutôt une "analyse naïve donne une réponse contre-intuitive et trompeuse".

Un de mes professeurs de statistiques a présenté une étude concernant le lien entre le tabagisme et le FEV chez les jeunes étudiants.

Le VEMS peut être considéré comme une mesure du volume pulmonaire. Lorsque le professeur a présenté les données pour la première fois, il a demandé ce que nous pensions être la relation. Nous pensions tous que le tabagisme serait lié à une baisse du VEMS. Cependant, en regardant les données, ce n'était pas vrai! En fait, les fumeurs avaient un VEMS plus gros que les non-fumeurs. Ce cours était-il enseigné par un négationniste du tabagisme?

Ensuite, il a réanalysé les données, mais cette fois en ajustant l'âge. Une fois cela fait, nous avons vu ce que nous nous attendions à voir: un impact négatif du tabagisme sur le VEMS. Cela était dû au fait que les fumeurs étaient beaucoup plus susceptibles d'être des étudiants plus âgés que des étudiants plus jeunes. Bien que le tabagisme ait eu un impact négatif sur leur FEV, ce n'était pas tellement qu'il a complètement éliminé l'augmentation du FEV de grandir.

Un lien vers une présentation des données dans R est disponible ici.

L'incapacité de montrer l'association entre la température de lancement et l'effet de la température de lancement sur les joints toriques de la navette spatiale, conduisant à la panne catastrophique du Columbia peu après le lancement. Un aperçu du problème est ici.

Depuis un an et demi, Bloomberg News a effectué des estimations périodiques de la production de Tesla 3 à l'aide de plusieurs sources de données.Ils viennent de terminer ce travail mais je pense que l'histoire est intéressante.