Question:
Ces représentations équivalentes du même modèle bayésien hiérarchique?
David LeBauer
2010-10-06 01:18:07 UTC
view on stackexchange narkive permalink

Si $ X $ est une variable catégorielle et que je m'intéresse aux distributions postérieures de $ \ beta_1 $, où $ \ beta_1 $ est un vecteur de coefficients, un pour chaque niveau de X, ces modèles sont-ils équivalents?

Modèle 1: $$ Y \ sim (\ beta_0 + \ beta_1X_1, \ sigma ^ 2) $$$$ \ beta_1 \ sim N (0, \ tau) $$

Modèle 2: $$ Y \ sim (\ beta_1X_1, \ sigma ^ 2) $$$$ \ beta_1 \ sim N (\ beta_0, \ tau) $$

Dans les deux modèles, $ \ beta_0 $ a un a priori informé, $ \ tau $ a un a priori faible: $$ \ beta_0 \ sim \ text {Gamma} (6,3) $$$$ \ tau \ sim \ text {Gamma} (0,1,0.1) $$

Si ceux-ci ne sont pas équivalents, pourquoi pas?

Je demande parce que même si je pensais que ce serait la même chose, mais une fois implémenté dans JAGS, la chaîne MCMC pour $ \ beta_0 $ de le premier modèle a une autocorrélation beaucoup plus élevée que le second.


J'ai (à l'origine) mis mon code R ici SO.test.tgz, mais il n'est plus disponible. Je m'excuse ...

Quatre réponses:
M. Tibbits
2010-10-06 01:37:30 UTC
view on stackexchange narkive permalink

Réponse mise à jour : vous n'avez toujours pas de spécification complète pour le modèle n ° 2. Cependant, je peux deviner ce que vous voulez dire - corrigez-moi si je me trompe. Le problème est que les instructions $ Y = \ beta_1 X $ & $ Y = \ beta_0 + \ beta_1 X $ ne sont pas probabilistes.

[ A part: dans un sens mathématique, vous définissez un ensemble d'équations linéaires. Si vous n'avez qu'un seul point de données, vous pouvez résoudre $ Y = \ beta_1 X $ pour la seule valeur de $ \ beta_1 $ qui satisfait cette équation. Si vous avez plus d'une valeur de $ Y $ et $ X_1 $, cela représente un système surcontraint - sans solution. Often 2 $ qui est supposé connu - (ou peut-être voulez-vous aussi l'estimer). Cela place votre modèle d'effets aléatoires dans le contexte d'un modèle d'effets mixtes linéaires standard.

Si nous supposons alors que $ Y $ est distribué comme je l'ai indiqué, alors:

Réponse: Non, ils ne sont pas égaux. Dans le premier modèle, $ \ beta_0 $ est essentiellement une intersection (Imaginez multiplier $ \ beta_0 $ par $ X_0 $ où $ X_0 $ est toujours égal à 1). Dans le deuxième modèle, $ \ beta_0 $ représente un décalage aléatoire par rapport à $ \ beta_1 $. Notez que ce modèle (# 2) n'aurait pas de sens pour quelqu'un qui ne fait pas de Bayes ... Ce serait identique à exécuter une régression linéaire où vous avez deux prédicteurs parfaitement multi-colinéaires, mais puisque vous fait des hypothèses de distribution dans un modèle bayésien, vous pouvez l’estimer. Cela dit, je ne suis pas sûr que vous devriez .

Remarque: Vous pouvez exécuter le premier modèle sans l'hypothèse de distribution supplémentaire (que j'ai incluse plus haut pour le modèle n ° 2). Cependant, je n'ai jamais vu ce genre de spécification. Je pense que ce serait identique à déclarer que $ (Y - \ beta_1 X_1) \ sim Gamma (6,3) $. En d'autres termes, un terme d'erreur qui est distribué comme une variable aléatoire gamma. Mon intuition est que vous voulez plutôt un modèle d'interception aléatoire (avec des erreurs normalement distribuées). Si tel est le cas, utilisez le modèle n ° 1, n'utilisez pas le modèle n ° 2. Oui, $ \ beta_0 $ et $ \ beta_1 $ afficheront une autocorrélation jusqu'à ce que vous normalisiez les niveaux de votre variable catégorielle - assurez-vous que la somme de tous les individus est égale à zéro (ce que vous pouvez faire en soustrayant la moyenne de $ X_1 $ de chaque observation unique de $ X_1 $).

Merci pour la note. J'ai mis à jour ma question pour inclure les priors sur beta_0 et tau; J'avais omis ceux-ci pour simplifier
suncoolsu
2010-10-06 02:56:23 UTC
view on stackexchange narkive permalink

La seule similitude entre les deux modèles est le type général de modèles auxquels ils appartiennent, sinon ils ne sont pas similaires en général comme le souligne M. Tibbits.

Ces deux modèles appartiennent à la classe des modèles à pente variable (cf. Gelman et Hill 2006 pour un traitement détaillé)

La réponse au «pourquoi pas» est multiple et l’une d’entre elles est signalée par M. Tibbits. Quelques autres sont:

  • Dans le modèle 2, la pente sur une moyenne est de 6/3, alors qu'elle est de 0 pour le modèle 1. (Cette description peut être améliorée si nous avions des données mais elles sont "presque" exactes compte tenu de la description limitée)

  • Vous vous attendez à ce que les données du modèle 1 soient distribuées au hasard le long d'une ligne approximativement horizontale où, comme dans le modèle 2 vous vous attendez à ce que les données soient distribuées au hasard le long d'une ligne de pente d'env. bêta_0 et interception zéro .

Ces réponses peuvent être mieux différenciées si vous assimilez les données en fonction de votre paramètre hiérarchique et regardez les résultats de la analyse.

Merci,

S.

Désolé, M. Tibbits a mis à jour la réponse plus tard, mais mes commentaires sont toujours valables pour la question de David.
Wayne
2013-06-19 19:31:35 UTC
view on stackexchange narkive permalink

Vous avez déjà de bonnes réponses et vous en avez accepté une, mais je ne suis pas sûr que quiconque l'ait dit assez clairement pour que même moi puissions avoir une idée. À la base, vos deux modèles sont:

[1] $ Y = \ beta_0 + \ beta_1X_1 + \ epsilon $

[2] $ Y = (\ beta_0 + \ beta_1 ) X_1 + \ epsilon $ = $ \ beta_0X_1 + \ beta_1X_1 + \ epsilon $

Oui, les $ \ beta $ (et $ \ epsilon $) ont des distributions dans votre exemple, mais dans mon esprit cela ne fait qu'étaler la valeur et ne change pas la forme des formules. Dans cette optique, ils sont évidemment différents: votre deuxième modèle corrige essentiellement l'intersection $ \ beta_0 = 0 $ puis complique un peu la pente $ \ beta_1 $.

glassy
2010-10-13 16:46:33 UTC
view on stackexchange narkive permalink

Si $ x_1 = 0 $, alors $ Y $ ~ $ (\ beta_0, \ sigma ^ 2) $ dans le modèle 1 et $ Y $ ~ $ (0, \ sigma ^ 2) $ dans le modèle 2.

Si $ x_1 = 1 $, alors $ Y $ ~ $ (\ beta_0 + \ beta_1, \ sigma ^ 2) $ dans le modèle 1 et $ Y $ ~ $ (\ beta_1, \ sigma ^ 2) $ dans modèle 2.

Regardez par exemple à la première ligne: $ \ beta_0 $ est-il une variable aléatoire ou est-ce une constante nulle?



Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 2.0 sous laquelle il est distribué.
Loading...