Question:
Un sondage à choix multiples doit-il contenir une réponse neutre?
Reinstate Monica - Goodbye SE
2011-01-26 19:24:23 UTC
view on stackexchange narkive permalink

Je souhaite mener un sondage sur la qualité d'un produit contenant plusieurs questions avec cinq réponses possibles:

  1. Très mauvaise
  2. Mauvaise
  3. OK / Pas d'avis
  4. Bien
  5. Très bien

Un collègue m'a conseillé d'abandonner l'option 3 (OK / Pas d'avis) pour forcer les gens à choisir.

Laquelle produira les données les plus fiables / utiles? Y a-t-il une option préférée ou dépend-elle d'autres facteurs (si oui, quoi)?

Je comprends que Gallup a généralement cinq options, c'est pourquoi j'en choisis cinq.

Ce n'est pas une opinion professionnelle, donc je la mets dans un commentaire. En tant que répondant aux questionnaires, je m'interroge toujours sur la validité des résultats basés sur des questions où aucune réponse ne correspond à mon opinion. Si vous me forcez à répondre arbitrairement, vous obtiendrez des résultats arbitraires. Si de nombreux répondants ont le même problème avec une question, la réponse * collective * sera également arbitraire. (Cela peut conduire à une prise de décision horrible si vous n'avez aucun moyen indépendant de vérifier que ces résultats n'ont pas de sens.)
En l'état, je ne pense pas que ce soit une question de statistiques. Si la question a été modifiée pour savoir comment évaluer la fiabilité entre les deux options distinctes, ce sera plus dans le domaine du site. Toute déclaration traitant l'un ou l'autre comme correct sera basée sur des connaissances spécifiques au domaine.
Je pense que OK est très différent de Aucune opinion dans la plupart des situations. Si vous souhaitez inclure "pas d'opinion", mettez-le en 6ème option (ou supprimez la partie OK)
Six réponses:
caracal
2011-01-26 22:03:55 UTC
view on stackexchange narkive permalink

Les points neutres peuvent signifier différentes choses pour de nombreuses personnes. La façon dont vous avez qualifié vous-même le choix du milieu reflète cette incertitude. Quelques raisons de choisir le point neutre du point de vue d'un participant:

  • Je me fiche de vraiment réfléchir à ma réponse à cette question (je veux juste être payé et partir)
  • Je n'ai pas d'opinion tranchée sur cette question
  • Je ne comprends pas la question, mais je ne veux pas la poser (je veux juste être payé et partir)
  • en ce qui concerne l'aspect donné, le produit est vraiment de qualité moyenne, c'est-à-dire qu'il n'excède ni ne répond à mes attentes
  • en ce qui concerne l'aspect donné, le produit a des caractéristiques de haute qualité , et quelques fonctionnalités de faible qualité

Sans autre précision, les personnes qui choisissent la catégorie moyenne peuvent ainsi représenter un ensemble très hétérogène d'attitudes / cognitions. Avec un bon étiquetage, une partie de cette confusion peut être évitée.

Vous pouvez également présenter une catégorie distincte «sans réponse». Cependant, les participants interprètent souvent une telle catégorie comme un signal pour ne fournir une réponse que s'ils se sentent très confiants dans leur choix. En d'autres termes, les participants ont alors tendance à choisir «pas de réponse» car ils se sentent mal informés pour faire un choix qui répond aux normes de qualité des concepteurs de questionnaires.

À mon humble avis, il n'y a pas de bonne réponse ta question. Vous devez être très prudent en étiquetant certains ou tous les choix présentés, faire beaucoup de pré-tests avec des entretiens gratuits supplémentaires avec les participants sur la façon dont ils percevaient les options. Si vous êtes vraiment pragmatique, choisissez simplement un jeu d'étiquettes standard pour lequel vous pouvez citer un article que tout le monde cite toujours et en finir avec lui.

Chris Beeley
2011-01-27 22:04:35 UTC
view on stackexchange narkive permalink

Je pense que tout ce truc "forcer les gens à choisir" n'est qu'un hareng rouge complet. Les gens me le disent tout le temps. Pour moi, cela ressemble à "forcer les gens à déclarer la capitale de l'Ouzbékistan". Ils ne savent pas, et les forcer ne les fera pas mieux connaître.

Avec ce mini-coup de gueule terminé, ma seule contribution sensée est de dire que vous devriez toujours piloter des enquêtes chaque fois que vous le pouvez. Pilotez les deux versions, voyez qui utilise la catégorie «ne sait pas» dans celle où elle est incluse et regardez la distribution des réponses. Et parlez aux personnes qui l'ont rempli. «Etiez-vous sûr de votre réponse? "Qu'est-ce qui vous a fait dire" je ne sais pas "ici" - ce genre de chose.

kgarten
2011-01-27 01:16:51 UTC
view on stackexchange narkive permalink

J'essaie d'éviter les questions avec plus de deux réponses, car il est impossible de les comparer entre les utilisateurs. (bon vs très bon peut être très subjectif) .Je reformule la plupart des questions en type binaire (en donnant la possibilité d'être indifférent): "Utiliseriez-vous le produit tous les jours?"

Oui Non Indifférent

"Recommanderiez-vous le produit à vos amis?"

etc.

J'ai trouvé que les résultats obtenus avec cette méthode étaient bien plus cohérents avec le sentiment que j'ai eu entretiens ultérieurs et tests de performance. Cependant, jusqu'à présent, mon travail se concentre sur les questionnaires d'interaction homme-machine. Le mieux est de toute façon de mener des entretiens avec des personnes réelles, à mesure que vous en apprenez davantage. Bien sûr, ils prennent également beaucoup de temps :(

De nombreuses personnes auront à la fois de bons et de mauvais sentiments sur un produit;Je pense que l'un des plus gros problèmes que rencontrent les utilisateurs pour répondre aux enquêtes de satisfaction est qu'ils ne savent pas vraiment comment équilibrer les bons et les mauvais sentiments lorsqu'ils expriment une opinion.Une question comme «Y a-t-il des petits désagréments que vous aimeriez voir corrigés» et «Si de tels désagréments étaient corrigés, recommanderiez-vous le produit à vos amis» pourrait aider à séparer les bons et les mauvais sentiments.
supercat
2014-12-23 00:14:19 UTC
view on stackexchange narkive permalink

Je suggérerais que lorsque vous essayez de juger ce que les gens aiment ou n'aiment pas quelque chose, il existe quelques échelles de mesure pertinentes:

  1. Quelle est la force des sentiments positifs pour le produit.
  2. Quelle est la force des sentiments négatifs pour le produit?
  3. Dans quelle mesure les choses susceptibles de provoquer des sentiments positifs ou négatifs ont-elles été explorées?

Comme c'est possible pour de forts sentiments négatifs générés par des problèmes faciles à résoudre (et dans certains cas, le fait qu'un problème devrait être facilement résolu peut augmenter l'ampleur des sentiments négatifs), une entreprise devrait vouloir savoir s'il y a beaucoup de gens qui ont à la fois de forts sentiments positifs et de forts sentiments négatifs, car répondre aux plaintes de ces personnes pourrait générer une bonne volonté massive à un prix relativement bas.

De plus, une entreprise peut bénéficier de savoir s'il y a beaucoup de gens qui découvrent des choses ils n'aiment pas un produit avant de s'y plonger profondément, et ne vont donc jamais au-delà de t plaintes de tuyau. De plus, si un produit est conçu pour être utile à la fois à un niveau "peu profond" et à un niveau "profond", et que seulement 10% des utilisateurs vont en profondeur mais que 90% de ces personnes ont des problèmes, cela représenterait une image très différente de ce que on pourrait simplement savoir que 9% des utilisateurs ont des problèmes.

Un problème courant avec de nombreuses enquêtes qui tentent de restreindre les options des utilisateurs est qu'ils ne proposent souvent pas de choix qui reflètent ce que les utilisateurs veulent dire. Poser des questions sur les sentiments positifs et négatifs séparément aidera les utilisateurs qui pensent qu'un produit a une certaine valeur, mais qui ont également des problèmes majeurs avec lui; De plus, demander dans quelle mesure les utilisateurs ont bien exploré un produit aidera à distinguer ceux qui n'ont pas trouvé de problèmes parce qu'il n'y en a vraiment pas, de ceux qui n'ont pas trouvé de problèmes parce qu'ils n'ont pas beaucoup utilisé le produit.

John
2011-01-27 00:49:01 UTC
view on stackexchange narkive permalink

Si vous souhaitez détecter des opinions manifestes, choisissez une option neutre. Si vous souhaitez détecter un éventuel biais positif ou négatif, laissez-le de côté. Comme l'a dit caracal, étiquetez les choses aussi clairement que possible par rapport à ce que vous souhaitez que les options reflètent.

J'ai vu des études où seule la forme de réponse a été modifiée. Lorsqu'il n'y avait que deux options, j'aime / n'aime pas, deux stimuli ont été jugés très fortement appréciés dans des proportions à peu près égales. Lorsque les sujets ont reçu par la suite une échelle de notation infinie avec ni aimer ni aversion au milieu, les différences de notation entre les deux stimuli étaient vastes (75% de l'échelle contre 4%). Cela suggère qu'avec une échelle limitée et aucune option neutre, vous pouvez détecter de très petits biais comme de grands effets, vous devez donc être prudent dans l'interprétation de ces échelles et les utiliser judicieusement.

KrishKalyan
2011-01-26 21:32:22 UTC
view on stackexchange narkive permalink

Le fait que vous forcez le répondant à une réponse positive ou négative, dans cette situation, n'est pas correct; le répondant peut être indécis et c'est une possibilité; c'est plus lorsqu'il s'agit d'un nouveau produit. Si vous développez un instrument pour mesurer la qualité, il est préférable que vous utilisiez 5 options que vous avez données.

dites-vous que quatre options sont meilleures pour un ** nouveau produit **. Pouvez-vous préciser - pourquoi dites-vous cela?
Le nouveau produit en est à sa phase initiale et il se peut donc que le temps ne soit pas suffisant pour se faire une opinion; quatre options ne sont pas bonnes pour ce cas.


Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 2.0 sous laquelle il est distribué.
Loading...