Suite à la réponse de @ MichaelLew (+1), j'ai changé mon point de vue pour le contraire; maintenant je pense que les valeurs de $ p $ ne devraient PAS être corrigées. J'ai retravaillé ma réponse.

Pour rendre la discussion plus vivante, je ferai référence à la célèbre bande dessinée XKCD où les couleurs à 20 $ de jelly beans sont testées indépendamment pour être lié à l'acné, et les bonbons à la gelée verts rapportent $ p<0,05 $; pour plus de précision, supposons que c'était $ p = 0,02 $:

L'approche de Fisher consiste à considérer $ p $ -value comme quantifier la force de l'évidence, ou plutôt comme mesure de surprise ("surprise") - j'aime cette expression et la trouve intuitivement claire et en même temps assez précise. Nous prétendons que la valeur nulle est vraie et quantifions à quel point nous devrions être surpris d'observer de tels résultats. Cela donne une valeur $ p $. Dans l ' approche "hybride" de Fisher-Neyman-Pearson, si nous sommes plus surpris que certains seuils de surprise choisis ($ p< \ alpha $), nous appelons également les résultats "significatifs"; cela permet de contrôler le taux d'erreur de type I.

Surtout, le seuil doit représenter nos croyances et attentes antérieures. Par exemple, "les réclamations extraordinaires nécessitent des preuves extraordinaires": nous aurions besoin d'être très surpris de croire à la preuve, par exemple. clairvoyance, et voudrait donc fixer un seuil très bas.

Dans l'exemple des jelly beans, chaque $ p $ -value reflète le caractère surprenant de chaque corrélation individuelle. La correction de Bonferroni remplace $ \ alpha $ par $ \ alpha / k $ pour contrôler le taux d'erreur global de type I. Dans la première version de cette réponse, j'ai fait valoir que nous devrions également être moins surpris (et considérer que nous avons moins de preuves) en obtenant $ p = 0,02 $ pour les bonbons à la gelée verte si nous savons que nous avons exécuté des tests à 20 $, d'où Fisher's Les valeurs $ p $ devraient également être remplacées par $ kp $.

Maintenant, je pense que c'est faux, et les valeurs $ p $ ne devraient pas être ajustées.

Tout d'abord, soulignons que pour que l'approche hybride soit cohérente, il est impossible d'ajuster à la fois les valeurs $ p $ et le seuil $ \ alpha $. Seul l'un ou l'autre peut être ajusté. Voici deux arguments expliquant pourquoi il devrait être $ \ alpha $.

1. Considérez exactement le même paramètre de jelly beans, mais maintenant nous a priori nous attendons ce vert les bonbons à la gelée sont susceptibles d'être liés à l'acné (par exemple, quelqu'un a suggéré une théorie avec cette prédiction). Alors nous serions heureux de voir $ p = 0,02 $ et ne ferions aucun ajustement à quoi que ce soit. Mais rien dans l'expérience n'a changé! Si $ p $ -value est une mesure de la surprise (de chaque expérience individuelle), alors $ p = 0,02 $ devrait rester le même. Ce qui change, c'est notre $ \ alpha $, et ce n'est que naturel, car comme je l'ai expliqué ci-dessus, le seuil toujours reflète d'une manière ou d'une autre nos hypothèses et nos attentes.

2. $ P $ -value a une interprétation claire: c'est une probabilité d'obtenir les résultats observés (voire moins favorables) sous l'hypothèse nulle. S'il n'y a pas de lien entre les bonbons verts et l'acné, alors cette probabilité est de $ p = 0,02 $. Le remplacer par $ kp = 20 \ cdot 0,02 = 0,4 $ ruine cette interprétation; ce n'est plus une probabilité de quoi que ce soit. De plus, imaginez que ce ne sont pas les couleurs à 20 $ qui ont été testées, mais 100 $. Alors $ kp = 2 $, qui est plus grand que 1 $, et ne peut évidemment pas être une probabilité. Alors que réduire $ \ alpha $ de 100 $ a toujours du sens.

Pour le mettre en évidence, la «preuve» que les bonbons à la gelée verts sont liés à l'acné est mesurée comme $ p = 0,02 $ et c'est tout; ce qui change en fonction des circonstances (dans ce cas, du nombre de tests effectués), c'est la manière dont nous traitons ces preuves.

Je dois souligner que "la façon dont nous traitons les preuves" est quelque chose qui n'est pas du tout corrigé dans le cadre de Fisher non plus (voir cette célèbre citation). Quand je dis que les valeurs $ p $ devraient mieux ne pas être ajustées, cela ne signifie pas que Sir Ronald Fisher regarderait $ p = 0,02 $ pour les bonbons verts et considérerait cela comme un résultat convaincant. Je suis sûr qu'il s'en méfierait encore.

Métaphore de conclusion: le processus de cueillette des cerises ne modifie pas les cerises! Cela modifie la façon dont nous traitons ces cerises.

La réponse d'Amoeba est bonne, mais ce n'est pas la réponse que je donnerais, comme il le note.

La réponse est, bien sûr, cela dépend. Cela dépend si vous voulez que la valeur P soit conditionnée par les résultats réels de la comparaison particulière ou qu'elle soit conditionnée en plus par le nombre de comparaisons que vous avez effectuées. Dans le premier cas, vous n'avez pas besoin d'ajuster la valeur P pour la multiplicité. Dans ce dernier cas, vous devriez le faire.

Pourquoi voudriez-vous conditionner le nombre de comparaisons? Pour permettre à un processus de décision basé sur un algorithme de fournir une garantie concernant le taux à long terme d'erreurs faussement positives.

Pourquoi ne voudriez-vous pas conditionner sur le nombre de comparaisons? Pour permettre à la valeur P de représenter la preuve dans les résultats expérimentaux particuliers d'intérêt sans être modifiée par la présence d'autres comparaisons impliquant d'autres données.

Le taux d'erreur à long terme est une propriété de la méthode, et la preuve est une propriété de l'ensemble particulier de données considéré. Un ajustement fréquentiste de la valeur P pour la multiplicité considère les propriétés de la méthode comme plus importantes que la signification probante de la valeur P. Je suis d'avis que la performance de la méthode qui a donné les données en question est un élément d'information utile à avoir pour déduire de la preuve, mais elle devrait être conservée comme une information distincte plutôt que d'être intégrée dans la preuve par «correction» de la valeur P. L'intégrer dans la preuve revient à modifier la preuve d'une manière qui enlève la responsabilité de l'inférence à l'analyste.