Pour les besoins de cette réponse, je vais supposer que l'exclusion de ces quelques participants était pleinement justifiée, mais je suis d'accord avec Patrick que c'est une préoccupation.

Il n'y a pas de différence significative entre p ~ 0,05 ou p = 0,06. La seule différence ici est que la convention est de traiter le premier comme équivalent à «vrai» et le second comme équivalent à «faux». Cette convention est terrible et injustifiable. Le débat entre vous et votre professeur revient à savoir comment former une règle empirique pour gérer l'arbitraire de la limite p = 0,05. Dans un monde plus sain, nous ne mettrions pas autant de stock dans de minuscules fluctuations d'un échantillon statistique.

Ou pour le dire de manière plus colorée:

... sûrement, Dieu aime le .06 presque autant que le .05. Peut-il y avoir un doute sur le fait que Dieu considère la force des preuves pour ou contre le nul en tant que fonction assez continue de la grandeur de p? »

-Rosnow, R.L. & Rosenthal, R. (1989). Procédures statistiques et justification des connaissances en science psychologique. américain Psychologue, 44 ans, 1276-1284.

Alors allez-y et signalez que p = 0,06. Le nombre lui-même est très bien, c'est la façon dont il est ensuite décrit et interprété qui est important. Gardez à l'esprit que «significatif» et «non significatif» sont des termes trompeurs. Vous devrez aller au-delà pour décrire vos résultats avec précision.

De plus, je vous recommande de lire les réponses à Quelle est la signification des valeurs p et des valeurs t dans les tests statistiques?

Il y a énormément de problèmes soulevés dans votre question, je vais donc essayer de répondre à chacun des problèmes que vous soulevez. Pour définir clairement certaines de ces questions, il est important de noter au départ qu'une valeur p est une mesure continue de preuves par rapport à l'hypothèse nulle (en faveur de l'alternative énoncée), mais lorsque nous comparez-le à un niveau de signification stipulé pour donner une conclusion de "signification statistique", nous dichotomisons cette mesure continue de preuve en une mesure binaire .

Cela n'a aucun sens de dire aux gens que le résultat n'est pas significatif dans un échantillon de 71, mais il est significatif dans un échantillon de 77.

Vous devez décider lequel de ces deux est réellement l'échantillon approprié - c'est-à-dire est-il approprié de supprimer six points de données de vos données. Pour des raisons expliquées à plusieurs reprises sur ce site (par exemple, ici et ici), il n'est pas judicieux de supprimer les «valeurs aberrantes» qui ne sont pas dues à un enregistrement incorrect des observations. Donc, à moins que vous n'ayez des raisons de croire que c'est le cas, il est probablement approprié d'utiliser les 77 points de données, auquel cas cela n'a aucun sens de dire quoi que ce soit à propos du sous-échantillon de 71 données triés sur le volet. points.

Notez ici que le problème n'a rien à voir avec la question de la signification statistique. Il est parfaitement logique que le résultat de différents tests d'hypothèse (par exemple, le même test sur différentes données) puisse différer, et il n'y a donc aucune raison de considérer comme problématique qu'il y ait des preuves statistiquement significatives pour l'hypothèse alternative dans un cas, mais pas dans l'autre. C'est une conséquence naturelle d'avoir un résultat binaire obtenu en traçant une ligne de "signification" dans une mesure continue de preuves.

Il est important de relier les résultats aux résultats de la littérature lors de l'interprétation d'une tendance. Bien que nous trouvions ici une tendance faible, cette tendance s'aligne avec de nombreuses études de la littérature qui trouvent des corrélations significatives entre ces deux variables.

Si c'est quelque chose que vous voulez faire, alors l'exercice approprié est de faire une méta-analyse pour prendre en compte toutes les données de la littérature. Le simple fait qu'il existe d'autres publications contenant d'autres données / preuves ne justifie pas le traitement des données de cet article différemment de ce que vous feriez autrement. Faites votre analyse des données sur les données de votre propre article. Si vous craignez que votre propre résultat soit une aberration de la littérature, notez cette autre preuve. Vous pouvez alors soit faire une méta-analyse appropriée où toutes les données (les vôtres et les autres publications) sont prises en compte, soit au moins alerter votre lecteur sur l'étendue des données disponibles.

Voici ce que mon superviseur a répondu: je dirais l’inverse: si ce n’est plus significatif dans l’échantillon de 71, c’est trop faible pour être signalé. S'il y a un signal fort, nous le verrons également dans le plus petit échantillon. Ne dois-je pas signaler ce résultat "non significatif"?

Choisir de ne pas rapporter les données parce que les résultats statistiques diffèrent des autres publications est une pratique terrible, horrible, statistiquement en faillite. Il existe une tonne de littérature en théorie statistique mettant en garde contre le problème du biais de publication qui survient lorsque les chercheurs laissent le résultat de leurs tests statistiques influencer leur choix de rapporter / publier leurs données. En effet, le biais de publication dû aux décisions de publication prises sur la base des valeurs p est le fléau de la littérature scientifique. C'est probablement l'un des plus gros problèmes de la pratique scientifique et académique.

Indépendamment de la "faiblesse" des preuves de l'hypothèse alternative, les données que vous avez collectées contiennent des informations qui devraient être rapportées / publiées.Il ajoute 77 points de données à la littérature, quelle que soit la valeur.Vous devez déclarer vos données et indiquer la valeur p pour votre test.Si cela ne constitue pas une preuve statistiquement significative de l'effet à l'étude, qu'il en soit ainsi.

En général, la modification des données qui sont entrées dans un test invalide l'utilisation du test d'hypothèse pour trouver des effets significatifs. Si vous commencez à éditer les données et à relancer le test pour voir les changements, vous pouvez obtenir presque tous les résultats que vous souhaitez. Imaginez ce qui se passerait si vous supprimiez 6 participants et cela rendait votre découverte plus significative. Je vous recommande vivement de lire ceci: http://www.stat.columbia.edu/~gelman/research/unpublished/p_hacking.pdf car il contient une excellente discussion sur les problèmes qui peuvent survenir lors de l'analyse les décisions sont prises après avoir vu les données et le fait que cela invalide l'interprétation habituelle des p-values.

Ma question dans ce cas est donc la suivante: quelle est la motivation derrière la suppression de ces participants? Était-ce uniquement basé sur la métrique des résultats (c'est-à-dire que ces 6 participants ont eu l'effet le plus fort)? Ou y avait-il une raison intrinsèque à ces participants (échec dans l'exécution des tâches, ne répondant pas aux conditions d'entrée, etc.)?

Afin d'utiliser les valeurs p pour discuter de l'importance, ces décisions doivent avoir été prises avant d'exécuter votre test statistique et non après. Je rapporterais donc les résultats aux 77 participants comme vous l'avez fait à l'origine et ignorerais les commentaires de vos supérieurs.

Je veux juste répéter ici: il n'est pas vrai qu'un échantillon plus petit doit montrer le même effet si vous prenez les décisions d'inclusion / exclusion en fonction de la visualisation des données.

Non, ne faites pas confiance à la valeur p.

1 Cela ne signifie pas si vous avez un effet ou non.

• Le principal problème doit être de savoir si l'effet (l'effet taille ) que vous mesurez est pertinent ou non. Vous dites que vous avez mesuré $ \ rho = 0.21 $ et que cela est important dans votre domaine. Ensuite, vous devez le signaler.

  La valeur p doit davantage être considérée comme un indicateur de la précision de votre expérience. Si votre expérience n'est pas précise, soit en raison d'un bruit important, soit en raison de la petite taille de l'échantillon, alors même en l'absence d'effet, il peut être probable d'observer un effet dans le bruit (la valeur p indique la probabilité).

  Dans votre cas, la corrélation, la valeur p est souvent calculée sur la base d'une statistique $$ t = \ rho \ sqrt {\ frac {n-2} {1 - \ rho ^ 2}} $$ Qui est distribué en t avec $ \ nu = n-2 $ degrés de liberté lorsque certaines hypothèses a sont justes (plus à ce sujet plus tard).

  Cela signifie que la valeur p est liée à la corrélation mesurée et à la taille de l'échantillon. Voyons à quoi cela ressemble:

  

  Le graphique montre comment la signification dépend à la fois de la corrélation mesurée et de la taille de l'échantillon (les lignes sont des courbes de niveau pour les valeurs p 0,001, 0,01, 0,02, 0,05, 0,1). Notez que: pour le même effet mesuré (par exemple une corrélation de 0,21), vous pouvez avoir une signification différente en fonction de l'expérience (la taille de l'échantillon). (donc si la signification n'est "pas assez bonne", cela peut dépendre de l'expérience)

  Il serait faux de dire qu'il n'y a aucun effet (en mesurant $ \ rho = 0,21 $ ) juste parce que vous n'aviez pas de signification au-dessus d'un certain niveau arbitraire. Au lieu de cela, vous devriez conclure qu'il peut y avoir un effet, mais la signification indique que votre expérience doit être répétée / affinée (précision améliorée) pour être plus sûr.

• La corrélation n'est qu'une une façon d'exprimer qu'il y a un effet. Il est uniquement limité aux relations linéaires. Vous pouvez avoir une relation forte (non linéaire) entre vos variables mais toujours une faible corrélation (et si cela joue un rôle, cela fait que vous avez encore plus de raisons de moins vous soucier de la valeur p)

  Faites un tracé pour mieux voir ce qui se passe. En savoir plus ici: Anscombe quatuor

2 Les hypothèses sous-jacentes au calcul peuvent être erronées.

• Le calcul de la valeur p d'une corrélation est ambigu. Il existe différentes manières. Lorsque vous utilisez la statistique t mentionnée précédemment, vos hypothèses sont que les deux variables sont des variables distribuées normales indépendantes non corrélées. Mais vous pouvez plutôt avoir une autre distribution pour vos données (par exemple, des queues plus larges). Dans ce cas, une méthode bootstrap peut être meilleure.

  Exemple. Laissez vos données être deux variables de Bernoulli distribuées indépendantes identiques (avec $ p_ {succes} = 0,05 $ ). Simulons cette situation et voyons comment les valeurs p sont distribuées (ce devrait être une distribution uniforme).

  

  Ces variables distribuées de Bernoulli ne sont pas quelque chose auquel on appliquerait normalement une corrélation et un calcul de p-value. Cependant, c'est un modèle simple pour les cas où vous avez une distribution continue qui est une distribution multimodale.

  Vous pouvez faire des simulations similaires avec différentes variables. En général, les p-values ​​observées sous-estiment la vraie probabilité (disons qu’une p-value inférieure à x% se produira en réalité plus souvent que x% des cas). Ainsi, votre valeur p calculée p = 0,06, pourrait sous-estimer la vraie valeur p (si vous utilisez la distribution t et que les hypothèses ne sont pas correctes).

Philosophique

De plus, la différence entre p = 0,05 et p = 0,06 n'est pas très pertinente. Mais il est un peu difficile de dire à quelle valeur il y a une «frontière» entre oui / non significatif. Ceci est lié au paradoxe des sorites. Mon point de vue est que c'est un peu une fausse dichotomie de considérer qu'il y a une limite. Le concept de valeurs p et de signification n'est pas noir et blanc (et les limites imposées, qui ne sont pas réalistes, seront en pratique très arbitraires).

Pratique

• Analyse de puissance Normalement, vous évitez ces problèmes en calculant à l'avance le type d'échantillon dont vous avez besoin pour pouvoir mesurer avec précision dans la plage de tailles d'effet.

• Tests t bilatéraux. En plus de tester l'hypothèse nulle (mes données / expérience) correspondent-elles ou contrecarrent-elles l'hypothèse nulle, vous pouvez également envisager d'évaluer si vos données / expérience correspondent à l'hypothèse alternative. Ceci est fait avec les tests t bilatéraux. Vous pouvez avoir la situation où vos données ne sont ni (significativement) en désaccord avec l'hypothèse nulle (absence d'effet) ni avec une hypothèse alternative (un niveau minimal d'effet).

• Idéalement, vous déclarez toutes vos valeurs. Et pas seulement les plus importants. (mais peut-être voulez-vous dire par "rapporter la valeur" quelque chose comme "discuter de la valeur dans le texte")

En général, vous ne devez pas choisir de rendre compte des résultats sur la base de l'importance ou de la concordance avec vos objectifs.

Je suis d'accord avec vous qu'une valeur p de 0,06 n'est pas très différente de 0,04 (comme d'autres l'ont indiqué, une valeur p est un résumé continu de la façon dont les données observées sont " compatible "avec l'hypothèse nulle spécifique et une valeur p plus petite signifie une compatibilité plus faible). Par conséquent, ils (0,04 vs 0,06) véhiculent tous deux des preuves légères (très légères dans une étude observationnelle typique) contredisant l'hypothèse nulle et le seuil alpha n'est pas un nombre magique.

Deuxièmement, votre conseiller est sans équivoque incorrect dans l'interprétation de "... 'vous devez signaler qu'il n'y a pas de corrélation entre ces deux variables, la valeur p n'est pas significative." "C'est une erreur d'interpréter le manque de signification comme «aucune relation / corrélation». Veuillez consulter le Point # 6, au minimum. Il s'agit d'une erreur logique rudimentaire qui est généralisée car «l'absence de preuve équivaut à une preuve d'absence», ce que nous savons être faux pour diverses raisons, dont l'une est le problème de l'induction.

Il est préférable que votre conseiller lise la référence ci-dessous.

https://link.springer.com/article/10.1007/s10654-016-0149-3#Sec2

EDIT: Cette réponse suppose que, telle qu'elle est écrite, il s'agit d'un exemple d'exercice de recherche de données. Cependant, les commentaires révèlent qu'un scénario très différent se joue ici.

Voici un exemple de la grille statistique de Munchausen à l'envers. La question devient alors: combien de sujets dois-je supprimer avant que le résultat ne soit plus statistiquement significatif ? Et la réponse est (si je peux délibérément supprimer les observations à forte influence / effet de levier élevé) pas autant! C'est à ce qu'il devrait être, une étude idéale est alimentée proportionnellement à la taille de son effet. Par exemple, si je veux une puissance de 90% pour rejeter l'hypothèse nulle au niveau 0,05, je devrais être très satisfait du calcul de la taille de mon échantillon si, après avoir effectué mon essai, je rejette la valeur nulle seulement à ce niveau . N'importe quel échantillon moins et je ne parviens pas à rejeter la valeur nulle. Tout échantillon en excès et j'ai dépensé trop d'argent ou de temps sur mon étude.

La suppression des observations réduit la puissance. Ce n’est pas intéressant.

Je répondrais que les diagnostics de suppression sont utiles pour identifier les observations à fort effet de levier et à forte influence TOUTEFOIS sans une analyse pré-planifiée pour supprimer ces observations, les résultats n'ont aucun sens.

Puis-je reformuler votre question comme suit: «Dois-je signaler la valeur p lors de l’estimation de la corrélation»? Je répondrais à cette question par "non": indiquez plutôt un intervalle de confiance pour votre corrélation mesurée!

Cela indiquera clairement si vos résultats sont compatibles avec les résultats rapportés dans la littérature (vérifiez simplement si ces résultats entrent dans votre intervalle de confiance). En revanche, si votre p-valeur de l'hypothèse $ H_0: \, r = 0 $ est de 0,06 et celle des autres études est inférieure à 0,05, cela ne veut pas dire que votre résultat contredit les autres études.

Concernant la remarque de votre superviseur: la corrélation dans votre cas est si petite (0,21) que vous avez besoin d'un échantillon de grande taille pour obtenir un intervalle de confiance ne comprenant pas zéro. Vous pouvez toujours rendre la plus petite corrélation "statistiquement significative" simplement en augmentant la taille de l'échantillon, plus la corrélation est petite, plus la taille de l'échantillon doit cependant être grande pour la rendre "significative". C'est pourquoi je ne rapporterais pas la valeur p, mais la valeur mesurée avec un intervalle de confiance. Il me semble que vos résultats sont en accord avec les autres études, s'ils font également état d'une corrélation positive simplement faible.

Remerciements: je ne suis pas le premier à faire cette recommandation ;-)

Je suis partiellement d'accord avec votre conseiller.Parfois, même des résultats statistiquement significatifs peuvent ne pas être du tout significatifs à signaler.

Vous devez vous demander si la taille de la corrélation d'échantillon est suffisamment grande pour faire une déclaration significative.En tant que cas extrême, disons que la vraie corrélation est en fait de 0,01.Si vous avez suffisamment de participants, vous pouvez toujours obtenir une très petite valeur p (car elle est différente de zéro!).Cependant, selon le contexte, une corrélation de 0,01 pourrait ne rien signifier.Dans votre cas, la vraie corrélation peut être non nulle mais elle est encore trop petite pour être détectée par 71 échantillons.Je pense qu'un meilleur sujet de discussion avec le conseiller est de savoir si la taille de l'effet est suffisamment grande pour indiquer si le test est statistiquement significatif.