Fonction de variance

En statistique , la fonction de variance est une fonction lisse qui représente la variance d'une quantité aléatoire en fonction de sa moyenne . La fonction de variance est une mesure de l'hétéroscédasticité et joue un rôle important dans de nombreux contextes de modélisation statistique. C'est un ingrédient principal du cadre du modèle linéaire généralisé et un outil utilisé dans la régression non paramétrique , la régression semi-paramétrique et l'analyse de données fonctionnelles . Dans la modélisation paramétrique, les fonctions de variance prennent une forme paramétrique et décrivent explicitement la relation entre la variance et la moyenne d'une quantité aléatoire. Dans un contexte non paramétrique, la fonction de variance est supposée être une fonction lisse .

Intuition

Dans un modèle de régression, l'objectif est d'établir s'il existe ou non une relation entre une variable de réponse et un ensemble de variables prédictives. De plus, si une relation existe, l'objectif est alors de pouvoir décrire cette relation du mieux possible. L'une des principales hypothèses de la régression linéaire est la variance constante ou (homoscédasticité), ce qui signifie que différentes variables de réponse ont la même variance dans leurs erreurs, à chaque niveau de prédiction. Cette hypothèse fonctionne bien lorsque la variable de réponse et la variable prédictive sont conjointement normales . Comme nous le verrons plus tard, la fonction de variance dans le cadre normal est constante ; cependant, nous devons trouver un moyen de quantifier l'hétéroscédasticité (variance non constante) en l'absence de normalité conjointe.

Lorsqu'il est probable que la réponse suive une distribution qui appartient à la famille exponentielle, un modèle linéaire généralisé peut être plus approprié à utiliser et, de plus, lorsque nous ne souhaitons pas imposer un modèle paramétrique à nos données, une approche de régression non paramétrique peut être utile. L'importance de pouvoir modéliser la variance en fonction de la moyenne réside dans l'amélioration de l'inférence (dans un cadre paramétrique) et de l'estimation de la fonction de régression en général, pour n'importe quel cadre.

Les fonctions de variance jouent un rôle très important dans l'estimation et l'inférence des paramètres. En général, l'estimation du maximum de vraisemblance nécessite la définition d'une fonction de vraisemblance. Cette exigence implique alors que l'on doit d'abord spécifier la distribution des variables de réponse observées. Cependant, pour définir une quasi-vraisemblance, il suffit de spécifier une relation entre la moyenne et la variance des observations pour pouvoir ensuite utiliser la fonction de quasi-vraisemblance pour l'estimation. de la quasi-vraisemblance est particulièrement utile en cas de surdispersion . La surdispersion se produit lorsque la variabilité des données est supérieure à celle à laquelle on devrait s'attendre selon la distribution supposée des données.

En résumé, pour garantir une inférence efficace des paramètres de régression et de la fonction de régression, l'hétéroscédasticité doit être prise en compte. Les fonctions de variance quantifient la relation entre la variance et la moyenne des données observées et jouent donc un rôle important dans l'estimation et l'inférence de la régression.

Types

La fonction de variance et ses applications sont utilisées dans de nombreux domaines de l'analyse statistique. Elle est notamment utilisée dans le cadre des modèles linéaires généralisés et de la régression non paramétrique .

Modèle linéaire généralisé

Lorsqu'un membre de la famille exponentielle a été spécifié, la fonction de variance peut être facilement dérivée. La forme générale de la fonction de variance est présentée dans le contexte de la famille exponentielle, ainsi que des formes spécifiques pour les lois normale, Bernoulli, Poisson et Gamma. De plus, nous décrivons les applications et l'utilisation des fonctions de variance dans l'estimation de vraisemblance maximale et l'estimation de quasi-vraisemblance.

Dérivation

Le modèle linéaire généralisé (GLM) est une généralisation de l'analyse de régression ordinaire qui s'étend à tout membre de la famille exponentielle . Il est particulièrement utile lorsque la variable de réponse est catégorielle, binaire ou soumise à une contrainte (par exemple, seules les réponses positives ont un sens). Un résumé rapide des composants d'un GLM est résumé sur cette page, mais pour plus de détails et d'informations, consultez la page sur les modèles linéaires généralisés .

Un GLM se compose de trois ingrédients principaux :

1. Composante aléatoire : une distribution de y de la famille exponentielle,

{\displaystyle E[y\mid X]=\mu <semantics> <mrow> <mstyle> <mi>E</mi> <mo>[</mo> <mi>y</mi> <mo>∣</mo> <mi>X</mi> <mo>]</mo> <mo>=</mo> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle E[y\mid X]=\mu }</annotation> </semantics> </math></span><img src=

2. Prédicteur linéaire :

{\displaystyle \eta =XB=\sum _{j=1}^{p}X_{ij}^{T}B_{j <semantics> <mrow> <mstyle> <mi>η</mi> <mo>=</mo> <mi>X</mi> <mi>B</mi> <mo>=</mo> <munderover> <mo>∑</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>p</mi> </mrow> </munderover> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>T</mi> </mrow> </msubsup> <msub> <mi>B</mi> <mrow> <mi>j</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle \eta =XB=\sum _{j=1}^{p}X_{ij}^{T}B_{j}}</annotation> </semantics> </math></span><img src=

3. Fonction de lien :

{\displaystyle \eta =g(\mu ),\mu =g^{-1}(\eta ) <semantics> <mrow> <mstyle> <mi>η</mi> <mo>=</mo> <mi>g</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> <mo>,</mo> <mi>μ</mi> <mo>=</mo> <msup> <mi>g</mi> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mi>η</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \eta =g(\mu ),\mu =g^{-1}(\eta )}</annotation> </semantics> </math></span><img src=

Il est d’abord important de déduire quelques propriétés clés de la famille exponentielle.

Toute variable aléatoire de la famille exponentielle possède une fonction de densité de probabilité de la forme, ${\displaystyle { extit {y <semantics> <mrow> <mstyle> <mrow> <mrow> <mtext>y</mtext> </mrow> </mrow> </mstyle> </mrow> <annotation>{\displaystyle { extit {y}}}</annotation> </semantics> </math><img src=$

{\displaystyle f(y, heta ,\phi )=\exp \left({\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) ight) <semantics> <mrow> <mstyle> <mi>f</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>θ</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> <mo>=</mo> <mi>exp</mi> <mo>⁡</mo> <mrow> <mo>(</mo> <mrow> <mrow> <mfrac> <mrow> <mi>y</mi> <mi>θ</mi> <mo>−</mo> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>−</mo> <mi>c</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> </mrow> <mo>)</mo> </mrow> </mstyle> </mrow> <annotation>{\displaystyle f(y, heta ,\phi )=\exp \left({\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) ight)}</annotation> </semantics> </math></span><img src=

avec log-vraisemblance,

{\displaystyle \ell ( heta ,y,\phi )=\log(f(y, heta ,\phi ))={\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) <semantics> <mrow> <mstyle> <mi>ℓ</mi> <mo>(</mo> <mi>θ</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> <mo>=</mo> <mi>log</mi> <mo>⁡</mo> <mo>(</mo> <mi>f</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>θ</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mi>θ</mi> <mo>−</mo> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>−</mo> <mi>c</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \ell ( heta ,y,\phi )=\log(f(y, heta ,\phi ))={\frac {y heta -b( heta )}{\phi }}-c(y,\phi )}</annotation> </semantics> </math></span><img src=

Ici, est le paramètre canonique et le paramètre d'intérêt, et est un paramètre de nuisance qui joue un rôle dans la variance. Nous utilisons les identités de Bartlett pour dériver une expression générale de la fonction de variance . Les premier et deuxième résultats de Bartlett garantissent que dans des conditions appropriées (voir la règle intégrale de Leibniz ), pour une fonction de densité dépendant de , ${\displaystyle heta <semantics> <mrow> <mstyle> <mi>θ</mi> </mstyle> </mrow> <annotation>{\displaystyle heta }</annotation> </semantics> </math><img src=$ ${\displaystyle \phi <semantics> <mrow> <mstyle> <mi>ϕ</mi> </mstyle> </mrow> <annotation>{\displaystyle \phi }</annotation> </semantics> </math><img src=$ ${\displaystyle heta ,f_{ heta }() <semantics> <mrow> <mstyle> <mi>θ</mi> <mo>,</mo> <msub> <mi>f</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>(</mo> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle heta ,f_{ heta }()}</annotation> </semantics> </math><img src=$

{\displaystyle \operatorname {E} _{ heta }\left[{\frac {\partial }{\partial heta }}\log(f_{ heta }(y)) ight]=0 <semantics> <mrow> <mstyle> <msub> <mi>E</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mrow> <mo>[</mo> <mrow> <mrow> <mfrac> <mi>∂</mi> <mrow> <mi>∂</mi> <mi>θ</mi> </mrow> </mfrac> </mrow> <mi>log</mi> <mo>⁡</mo> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mo>=</mo> <mn>0</mn> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {E} _{ heta }\left[{\frac {\partial }{\partial heta }}\log(f_{ heta }(y)) ight]=0}</annotation> </semantics> </math></span><img src=

{\displaystyle \operatorname {Var} _{ heta }\left[{\frac {\partial }{\partial heta }}\log(f_{ heta }(y)) ight]+\operatorname {E} _{ heta }\left[{\frac {\partial ^{2}}{\partial heta ^{2}}}\log(f_{ heta }(y)) ight]=0 <semantics> <mrow> <mstyle> <msub> <mi>Var</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mrow> <mo>[</mo> <mrow> <mrow> <mfrac> <mi>∂</mi> <mrow> <mi>∂</mi> <mi>θ</mi> </mrow> </mfrac> </mrow> <mi>log</mi> <mo>⁡</mo> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mrow> <mo>[</mo> <mrow> <mrow> <mfrac> <msup> <mi>∂</mi> <mrow> <mn>2</mn> </mrow> </msup> <mrow> <mi>∂</mi> <msup> <mi>θ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> <mi>log</mi> <mo>⁡</mo> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mo>=</mo> <mn>0</mn> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Var} _{ heta }\left[{\frac {\partial }{\partial heta }}\log(f_{ heta }(y)) ight]+\operatorname {E} _{ heta }\left[{\frac {\partial ^{2}}{\partial heta ^{2}}}\log(f_{ heta }(y)) ight]=0}</annotation> </semantics> </math></span><img src=

Ces identités conduisent à des calculs simples de la valeur attendue et de la variance de toute variable aléatoire de la famille exponentielle . ${\displaystyle { extit {y <semantics> <mrow> <mstyle> <mrow> <mrow> <mtext>y</mtext> </mrow> </mrow> </mstyle> </mrow> <annotation>{\displaystyle { extit {y}}}</annotation> </semantics> </math><img src=$ ${\displaystyle E_{ heta }[y],Var_{ heta }[y] <semantics> <mrow> <mstyle> <msub> <mi>E</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>[</mo> <mi>y</mi> <mo>]</mo> <mo>,</mo> <mi>V</mi> <mi>a</mi> <msub> <mi>r</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>[</mo> <mi>y</mi> <mo>]</mo> </mstyle> </mrow> <annotation>{\displaystyle E_{ heta }[y],Var_{ heta }[y]}</annotation> </semantics> </math><img src=$

Valeur attendue de Y : En prenant la première dérivée par rapport à du logarithme de la densité sous la forme de famille exponentielle décrite ci-dessus, nous avons ${\displaystyle heta <semantics> <mrow> <mstyle> <mi>θ</mi> </mstyle> </mrow> <annotation>{\displaystyle heta }</annotation> </semantics> </math><img src=$

{\displaystyle {\frac {\partial }{\partial heta }}\log(f(y, heta ,\phi ))={\frac {\partial }{\partial heta }}\left[{\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) ight]={\frac {y-b'( heta )}{\phi <semantics> <mrow> <mstyle> <mrow> <mfrac> <mi>∂</mi> <mrow> <mi>∂</mi> <mi>θ</mi> </mrow> </mfrac> </mrow> <mi>log</mi> <mo>⁡</mo> <mo>(</mo> <mi>f</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>θ</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mi>∂</mi> <mrow> <mi>∂</mi> <mi>θ</mi> </mrow> </mfrac> </mrow> <mrow> <mo>[</mo> <mrow> <mrow> <mfrac> <mrow> <mi>y</mi> <mi>θ</mi> <mo>−</mo> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>−</mo> <mi>c</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle {\frac {\partial }{\partial heta }}\log(f(y, heta ,\phi ))={\frac {\partial }{\partial heta }}\left[{\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) ight]={\frac {y-b'( heta )}{\phi }}}</annotation> </semantics> </math></span><img src=

Ensuite, prendre la valeur attendue et la définir égale à zéro conduit à,

{\displaystyle \operatorname {E} _{ heta }\left[{\frac {y-b'( heta )}{\phi }} ight]={\frac {\operatorname {E} _{ heta }[y]-b'( heta )}{\phi }}=0 <semantics> <mrow> <mstyle> <msub> <mi>E</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mrow> <mo>[</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>]</mo> </mrow> <mo>=</mo> <mrow> <mfrac> <mrow> <msub> <mi>E</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mo>[</mo> <mi>y</mi> <mo>]</mo> <mo>−</mo> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>=</mo> <mn>0</mn> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {E} _{ heta }\left[{\frac {y-b'( heta )}{\phi }} ight]={\frac {\operatorname {E} _{ heta }[y]-b'( heta )}{\phi }}=0}</annotation> </semantics> </math></span><img src=

{\displaystyle \operatorname {E} _{ heta }[y]=b'( heta ) <semantics> <mrow> <mstyle> <msub> <mi>E</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mo>[</mo> <mi>y</mi> <mo>]</mo> <mo>=</mo> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {E} _{ heta }[y]=b'( heta )}</annotation> </semantics> </math></span><img src=

Variance de Y : Pour calculer la variance, nous utilisons la deuxième identité de Bartlett,

{\displaystyle \operatorname {Var} _{ heta }\left[{\frac {\partial }{\partial heta }}\left({\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) ight) ight]+\operatorname {E} _{ heta }\left[{\frac {\partial ^{2}}{\partial heta ^{2}}}\left({\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) ight) ight]=0 <semantics> <mrow> <mstyle> <msub> <mi>Var</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mrow> <mo>[</mo> <mrow> <mrow> <mfrac> <mi>∂</mi> <mrow> <mi>∂</mi> <mi>θ</mi> </mrow> </mfrac> </mrow> <mrow> <mo>(</mo> <mrow> <mrow> <mfrac> <mrow> <mi>y</mi> <mi>θ</mi> <mo>−</mo> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>−</mo> <mi>c</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> </mrow> <mo>)</mo> </mrow> </mrow> <mo>]</mo> </mrow> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mrow> <mo>[</mo> <mrow> <mrow> <mfrac> <msup> <mi>∂</mi> <mrow> <mn>2</mn> </mrow> </msup> <mrow> <mi>∂</mi> <msup> <mi>θ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> <mrow> <mo>(</mo> <mrow> <mrow> <mfrac> <mrow> <mi>y</mi> <mi>θ</mi> <mo>−</mo> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>−</mo> <mi>c</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> </mrow> <mo>)</mo> </mrow> </mrow> <mo>]</mo> </mrow> <mo>=</mo> <mn>0</mn> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Var} _{ heta }\left[{\frac {\partial }{\partial heta }}\left({\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) ight) ight]+\operatorname {E} _{ heta }\left[{\frac {\partial ^{2}}{\partial heta ^{2}}}\left({\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) ight) ight]=0}</annotation> </semantics> </math></span><img src=

{\displaystyle \operatorname {Var} _{ heta }\left[{\frac {y-b'( heta )}{\phi }} ight]+\operatorname {E} _{ heta }\left[{\frac {-b''( heta )}{\phi }} ight]=0 <semantics> <mrow> <mstyle> <msub> <mi>Var</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mrow> <mo>[</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>]</mo> </mrow> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mrow> <mo>[</mo> <mrow> <mfrac> <mrow> <mo>−</mo> <msup> <mi>b</mi> <mo>″</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>]</mo> </mrow> <mo>=</mo> <mn>0</mn> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Var} _{ heta }\left[{\frac {y-b'( heta )}{\phi }} ight]+\operatorname {E} _{ heta }\left[{\frac {-b''( heta )}{\phi }} ight]=0}</annotation> </semantics> </math></span><img src=

{\displaystyle \operatorname {Var} _{ heta }\left[y ight]=b''( heta )\phi <semantics> <mrow> <mstyle> <msub> <mi>Var</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mrow> <mo>[</mo> <mi>y</mi> <mo>]</mo> </mrow> <mo>=</mo> <msup> <mi>b</mi> <mo>″</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mi>ϕ</mi> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Var} _{ heta }\left[y ight]=b''( heta )\phi }</annotation> </semantics> </math></span><img src=

Nous avons maintenant une relation entre et , à savoir ${\displaystyle \mu <semantics> <mrow> <mstyle> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle \mu }</annotation> </semantics> </math><img src=$ ${\displaystyle heta <semantics> <mrow> <mstyle> <mi>θ</mi> </mstyle> </mrow> <annotation>{\displaystyle heta }</annotation> </semantics> </math><img src=$

{\displaystyle \mu =b'( heta ) <semantics> <mrow> <mstyle> <mi>μ</mi> <mo>=</mo> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \mu =b'( heta )}</annotation> </semantics> </math></span><img src=

{\displaystyle heta =b'^{-1}(\mu ) <semantics> <mrow> <mstyle> <mi>θ</mi> <mo>=</mo> <msup> <mi>b</mi> <mrow> <mo>′</mo> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </mrow> </msup> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle heta =b'^{-1}(\mu )}</annotation> </semantics> </math></span><img src=

{\displaystyle \mu <semantics> <mrow> <mstyle> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle \mu }</annotation> </semantics> </math></span><img src=

{\displaystyle V( heta )=b''( heta )={ ext{the part of the variance that depends on }} heta <semantics> <mrow> <mstyle> <mi>V</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <msup> <mi>b</mi> <mo>″</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mrow> <mtext>the part of the variance that depends on </mtext> </mrow> <mi>θ</mi> </mstyle> </mrow> <annotation>{\displaystyle V( heta )=b''( heta )={ ext{the part of the variance that depends on }} heta }</annotation> </semantics> </math></span><img src=

{\displaystyle \operatorname {V} (\mu )=b''(b'^{-1}(\mu )).\, <semantics> <mrow> <mstyle> <mi>V</mi> <mo>⁡</mo> <mo>(</mo> <mi>μ</mi> <mo>)</mo> <mo>=</mo> <msup> <mi>b</mi> <mo>″</mo> </msup> <mo>(</mo> <msup> <mi>b</mi> <mrow> <mo>′</mo> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </mrow> </msup> <mo>(</mo> <mi>μ</mi> <mo>)</mo> <mo>)</mo> <mo>.</mo> <mspace></mspace> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {V} (\mu )=b''(b'^{-1}(\mu )).\,}</annotation> </semantics> </math></span><img src=

Notez que comme , alors est inversible. Nous dérivons la fonction de variance pour quelques distributions courantes. $0,b''( heta )>0 {Var}_{θ} [y] > 0, b^{″} (θ) > 0$ 0,b''( heta )>0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/cffcd8970188beb3d0b3ed58fb36a4d863766cdd"> ${\displaystyle b': heta ightarrow \mu <semantics> <mrow> <mstyle> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>:</mo> <mi>θ</mi> <mo>→</mo> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle b': heta ightarrow \mu }</annotation> </semantics> </math><img src=$

Exemple – normal

La distribution normale est un cas particulier où la fonction de variance est une constante. Mettons alors la fonction de densité de y sous la forme de la famille exponentielle décrite ci-dessus : ${\displaystyle y\sim N(\mu ,\sigma ^{2}) <semantics> <mrow> <mstyle> <mi>y</mi> <mo>∼</mo> <mi>N</mi> <mo>(</mo> <mi>μ</mi> <mo>,</mo> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle y\sim N(\mu ,\sigma ^{2})}</annotation> </semantics> </math><img src=$

{\displaystyle f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}} ight) <semantics> <mrow> <mstyle> <mi>f</mi> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>=</mo> <mi>exp</mi> <mo>⁡</mo> <mrow> <mo>(</mo> <mrow> <mrow> <mfrac> <mrow> <mi>y</mi> <mi>μ</mi> <mo>−</mo> <mrow> <mfrac> <msup> <mi>μ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mn>2</mn> </mfrac> </mrow> </mrow> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mfrac> </mrow> <mo>−</mo> <mrow> <mfrac> <msup> <mi>y</mi> <mrow> <mn>2</mn> </mrow> </msup> <mrow> <mn>2</mn> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> <mo>−</mo> <mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> </mrow> <mi>ln</mi> <mo>⁡</mo> <mrow> <mn>2</mn> <mi>π</mi> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mrow> <mo>)</mo> </mrow> </mstyle> </mrow> <annotation>{\displaystyle f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}} ight)}</annotation> </semantics> </math></span><img src=

où

{\displaystyle heta =\mu , <semantics> <mrow> <mstyle> <mi>θ</mi> <mo>=</mo> <mi>μ</mi> <mo>,</mo> </mstyle> </mrow> <annotation>{\displaystyle heta =\mu ,}</annotation> </semantics> </math></span><img src=

{\displaystyle b( heta )={\frac {\mu ^{2}}{2}}, <semantics> <mrow> <mstyle> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <msup> <mi>μ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mn>2</mn> </mfrac> </mrow> <mo>,</mo> </mstyle> </mrow> <annotation>{\displaystyle b( heta )={\frac {\mu ^{2}}{2}},}</annotation> </semantics> </math></span><img src=

{\displaystyle \phi =\sigma ^{2}, <semantics> <mrow> <mstyle> <mi>ϕ</mi> <mo>=</mo> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mo>,</mo> </mstyle> </mrow> <annotation>{\displaystyle \phi =\sigma ^{2},}</annotation> </semantics> </math></span><img src=

{\displaystyle c(y,\phi )=-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2 <semantics> <mrow> <mstyle> <mi>c</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> <mo>=</mo> <mo>−</mo> <mrow> <mfrac> <msup> <mi>y</mi> <mrow> <mn>2</mn> </mrow> </msup> <mrow> <mn>2</mn> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> <mo>−</mo> <mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> </mrow> <mi>ln</mi> <mo>⁡</mo> <mrow> <mn>2</mn> <mi>π</mi> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mstyle> </mrow> <annotation>{\displaystyle c(y,\phi )=-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}}</annotation> </semantics> </math></span><img src=

Pour calculer la fonction de variance , nous l'exprimons d'abord en fonction de . Ensuite, nous la transformons en une fonction de ${\displaystyle V(\mu ) <semantics> <mrow> <mstyle> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle V(\mu )}</annotation> </semantics> </math><img src=$ ${\displaystyle heta <semantics> <mrow> <mstyle> <mi>θ</mi> </mstyle> </mrow> <annotation>{\displaystyle heta }</annotation> </semantics> </math><img src=$ ${\displaystyle \mu <semantics> <mrow> <mstyle> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle \mu }</annotation> </semantics> </math><img src=$ ${\displaystyle V( heta ) <semantics> <mrow> <mstyle> <mi>V</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle V( heta )}</annotation> </semantics> </math><img src=$ ${\displaystyle \mu <semantics> <mrow> <mstyle> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle \mu }</annotation> </semantics> </math><img src=$

{\displaystyle heta =\mu <semantics> <mrow> <mstyle> <mi>θ</mi> <mo>=</mo> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle heta =\mu }</annotation> </semantics> </math></span><img src=

{\displaystyle b'( heta )= heta =\operatorname {E} [y]=\mu <semantics> <mrow> <mstyle> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mi>θ</mi> <mo>=</mo> <mi>E</mi> <mo>⁡</mo> <mo>[</mo> <mi>y</mi> <mo>]</mo> <mo>=</mo> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle b'( heta )= heta =\operatorname {E} [y]=\mu }</annotation> </semantics> </math></span><img src=

{\displaystyle V( heta )=b''( heta )=1 <semantics> <mrow> <mstyle> <mi>V</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <msup> <mi>b</mi> <mo>″</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mn>1</mn> </mstyle> </mrow> <annotation>{\displaystyle V( heta )=b''( heta )=1}</annotation> </semantics> </math></span><img src=

Par conséquent, la fonction de variance est constante.

Exemple – Bernoulli

Soit , alors nous exprimons la densité de la distribution de Bernoulli sous forme de famille exponentielle, ${\displaystyle y\sim { ext{Bernoulli}}(p) <semantics> <mrow> <mstyle> <mi>y</mi> <mo>∼</mo> <mrow> <mtext>Bernoulli</mtext> </mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle y\sim { ext{Bernoulli}}(p)}</annotation> </semantics> </math><img src=$

{\displaystyle f(y)=\exp \left(y\ln {\frac {p}{1-p}}+\ln(1-p) ight) <semantics> <mrow> <mstyle> <mi>f</mi> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>=</mo> <mi>exp</mi> <mo>⁡</mo> <mrow> <mo>(</mo> <mrow> <mi>y</mi> <mi>ln</mi> <mo>⁡</mo> <mrow> <mfrac> <mi>p</mi> <mrow> <mn>1</mn> <mo>−</mo> <mi>p</mi> </mrow> </mfrac> </mrow> <mo>+</mo> <mi>ln</mi> <mo>⁡</mo> <mo>(</mo> <mn>1</mn> <mo>−</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>)</mo> </mrow> </mstyle> </mrow> <annotation>{\displaystyle f(y)=\exp \left(y\ln {\frac {p}{1-p}}+\ln(1-p) ight)}</annotation> </semantics> </math></span><img src=

{\displaystyle heta =\ln {\frac {p}{1-p}}= <semantics> <mrow> <mstyle> <mi>θ</mi> <mo>=</mo> <mi>ln</mi> <mo>⁡</mo> <mrow> <mfrac> <mi>p</mi> <mrow> <mn>1</mn> <mo>−</mo> <mi>p</mi> </mrow> </mfrac> </mrow> <mo>=</mo> </mstyle> </mrow> <annotation>{\displaystyle heta =\ln {\frac {p}{1-p}}=}</annotation> </semantics> </math></span><img src=

{\displaystyle p={\frac {e^{ heta }}{1+e^{ heta }}}= <semantics> <mrow> <mstyle> <mi>p</mi> <mo>=</mo> <mrow> <mfrac> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> </mrow> </mfrac> </mrow> <mo>=</mo> </mstyle> </mrow> <annotation>{\displaystyle p={\frac {e^{ heta }}{1+e^{ heta }}}=}</annotation> </semantics> </math></span><img src=

{\displaystyle ( heta ) <semantics> <mrow> <mstyle> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle ( heta )}</annotation> </semantics> </math></span><img src=

{\displaystyle b( heta )=\ln(1+e^{ heta }) <semantics> <mrow> <mstyle> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mi>ln</mi> <mo>⁡</mo> <mo>(</mo> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle b( heta )=\ln(1+e^{ heta })}</annotation> </semantics> </math></span><img src=

{\displaystyle b'( heta )={\frac {e^{ heta }}{1+e^{ heta }}}= <semantics> <mrow> <mstyle> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> </mrow> </mfrac> </mrow> <mo>=</mo> </mstyle> </mrow> <annotation>{\displaystyle b'( heta )={\frac {e^{ heta }}{1+e^{ heta }}}=}</annotation> </semantics> </math></span><img src=

{\displaystyle ( heta )=p=\mu <semantics> <mrow> <mstyle> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mi>p</mi> <mo>=</mo> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle ( heta )=p=\mu }</annotation> </semantics> </math></span><img src=

{\displaystyle b''( heta )={\frac {e^{ heta }}{1+e^{ heta }}}-\left({\frac {e^{ heta }}{1+e^{ heta }}} ight)^{2 <semantics> <mrow> <mstyle> <msup> <mi>b</mi> <mo>″</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> </mrow> </mfrac> </mrow> <mo>−</mo> <msup> <mrow> <mo>(</mo> <mrow> <mfrac> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle b''( heta )={\frac {e^{ heta }}{1+e^{ heta }}}-\left({\frac {e^{ heta }}{1+e^{ heta }}} ight)^{2}}</annotation> </semantics> </math></span><img src=

Cela nous donne

{\displaystyle V(\mu )=\mu (1-\mu ) <semantics> <mrow> <mstyle> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> <mo>=</mo> <mi>μ</mi> <mo>(</mo> <mn>1</mn> <mo>−</mo> <mi>μ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle V(\mu )=\mu (1-\mu )}</annotation> </semantics> </math></span><img src=

Exemple – Poisson

Soit , alors nous exprimons la densité de la distribution de Poisson sous forme de famille exponentielle, ${\displaystyle y\sim { ext{Poisson}}(\lambda ) <semantics> <mrow> <mstyle> <mi>y</mi> <mo>∼</mo> <mrow> <mtext>Poisson</mtext> </mrow> <mo>(</mo> <mi>λ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle y\sim { ext{Poisson}}(\lambda )}</annotation> </semantics> </math><img src=$

{\displaystyle f(y)=\exp(y\ln \lambda -\ln \lambda ) <semantics> <mrow> <mstyle> <mi>f</mi> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>=</mo> <mi>exp</mi> <mo>⁡</mo> <mo>(</mo> <mi>y</mi> <mi>ln</mi> <mo>⁡</mo> <mi>λ</mi> <mo>−</mo> <mi>ln</mi> <mo>⁡</mo> <mi>λ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle f(y)=\exp(y\ln \lambda -\ln \lambda )}</annotation> </semantics> </math></span><img src=

{\displaystyle heta =\ln \lambda = <semantics> <mrow> <mstyle> <mi>θ</mi> <mo>=</mo> <mi>ln</mi> <mo>⁡</mo> <mi>λ</mi> <mo>=</mo> </mstyle> </mrow> <annotation>{\displaystyle heta =\ln \lambda =}</annotation> </semantics> </math></span><img src=

{\displaystyle \lambda =e^{ heta <semantics> <mrow> <mstyle> <mi>λ</mi> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle \lambda =e^{ heta }}</annotation> </semantics> </math></span><img src=

{\displaystyle b( heta )=e^{ heta <semantics> <mrow> <mstyle> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle b( heta )=e^{ heta }}</annotation> </semantics> </math></span><img src=

{\displaystyle b'( heta )=e^{ heta }=\lambda =\mu <semantics> <mrow> <mstyle> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> <mo>=</mo> <mi>λ</mi> <mo>=</mo> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle b'( heta )=e^{ heta }=\lambda =\mu }</annotation> </semantics> </math></span><img src=

{\displaystyle b''( heta )=e^{ heta }=\mu <semantics> <mrow> <mstyle> <msup> <mi>b</mi> <mo>″</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mi>θ</mi> </mrow> </msup> <mo>=</mo> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle b''( heta )=e^{ heta }=\mu }</annotation> </semantics> </math></span><img src=

Cela nous donne

{\displaystyle V(\mu )=\mu <semantics> <mrow> <mstyle> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> <mo>=</mo> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle V(\mu )=\mu }</annotation> </semantics> </math></span><img src=

Nous voyons ici la propriété centrale des données de Poisson, à savoir que la variance est égale à la moyenne.

Exemple – Gamma

La distribution Gamma et la fonction de densité peuvent être exprimées sous différentes paramétrisations. Nous utiliserons la forme du gamma avec paramètres ${\displaystyle (\mu , u ) <semantics> <mrow> <mstyle> <mo>(</mo> <mi>μ</mi> <mo>,</mo> <mi>ν</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle (\mu , u )}</annotation> </semantics> </math><img src=$

{\displaystyle f_{\mu , u }(y)={\frac {1}{\Gamma ( u )y}}\left({\frac { u y}{\mu }} ight)^{ u }e^{-{\frac { u y}{\mu <semantics> <mrow> <mstyle> <msub> <mi>f</mi> <mrow> <mi>μ</mi> <mo>,</mo> <mi>ν</mi> </mrow> </msub> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mn>1</mn> <mrow> <mi>Γ</mi> <mo>(</mo> <mi>ν</mi> <mo>)</mo> <mi>y</mi> </mrow> </mfrac> </mrow> <msup> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <mi>ν</mi> <mi>y</mi> </mrow> <mi>μ</mi> </mfrac> </mrow> <mo>)</mo> </mrow> <mrow> <mi>ν</mi> </mrow> </msup> <msup> <mi>e</mi> <mrow> <mo>−</mo> <mrow> <mfrac> <mrow> <mi>ν</mi> <mi>y</mi> </mrow> <mi>μ</mi> </mfrac> </mrow> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle f_{\mu , u }(y)={\frac {1}{\Gamma ( u )y}}\left({\frac { u y}{\mu }} ight)^{ u }e^{-{\frac { u y}{\mu }}}}</annotation> </semantics> </math></span><img src=

Ensuite, sous forme de famille exponentielle, nous avons

{\displaystyle f_{\mu , u }(y)=\exp \left({\frac {-{\frac {1}{\mu }}y+\ln({\frac {1}{\mu }})}{\frac {1}{ u }}}+\ln \left({\frac { u ^{ u }y^{ u -1}}{\Gamma ( u )}} ight) ight) <semantics> <mrow> <mstyle> <msub> <mi>f</mi> <mrow> <mi>μ</mi> <mo>,</mo> <mi>ν</mi> </mrow> </msub> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>=</mo> <mi>exp</mi> <mo>⁡</mo> <mrow> <mo>(</mo> <mrow> <mrow> <mfrac> <mrow> <mo>−</mo> <mrow> <mfrac> <mn>1</mn> <mi>μ</mi> </mfrac> </mrow> <mi>y</mi> <mo>+</mo> <mi>ln</mi> <mo>⁡</mo> <mo>(</mo> <mrow> <mfrac> <mn>1</mn> <mi>μ</mi> </mfrac> </mrow> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <mi>ν</mi> </mfrac> </mfrac> </mrow> <mo>+</mo> <mi>ln</mi> <mo>⁡</mo> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <msup> <mi>ν</mi> <mrow> <mi>ν</mi> </mrow> </msup> <msup> <mi>y</mi> <mrow> <mi>ν</mi> <mo>−</mo> <mn>1</mn> </mrow> </msup> </mrow> <mrow> <mi>Γ</mi> <mo>(</mo> <mi>ν</mi> <mo>)</mo> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mstyle> </mrow> <annotation>{\displaystyle f_{\mu , u }(y)=\exp \left({\frac {-{\frac {1}{\mu }}y+\ln({\frac {1}{\mu }})}{\frac {1}{ u }}}+\ln \left({\frac { u ^{ u }y^{ u -1}}{\Gamma ( u )}} ight) ight)}</annotation> </semantics> </math></span><img src=

{\displaystyle heta ={\frac {-1}{\mu }} ightarrow \mu ={\frac {-1}{ heta <semantics> <mrow> <mstyle> <mi>θ</mi> <mo>=</mo> <mrow> <mfrac> <mrow> <mo>−</mo> <mn>1</mn> </mrow> <mi>μ</mi> </mfrac> </mrow> <mo>→</mo> <mi>μ</mi> <mo>=</mo> <mrow> <mfrac> <mrow> <mo>−</mo> <mn>1</mn> </mrow> <mi>θ</mi> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle heta ={\frac {-1}{\mu }} ightarrow \mu ={\frac {-1}{ heta }}}</annotation> </semantics> </math></span><img src=

{\displaystyle \phi ={\frac {1}{ u <semantics> <mrow> <mstyle> <mi>ϕ</mi> <mo>=</mo> <mrow> <mfrac> <mn>1</mn> <mi>ν</mi> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle \phi ={\frac {1}{ u }}}</annotation> </semantics> </math></span><img src=

{\displaystyle b( heta )=-\ln(- heta ) <semantics> <mrow> <mstyle> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mo>−</mo> <mi>ln</mi> <mo>⁡</mo> <mo>(</mo> <mo>−</mo> <mi>θ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle b( heta )=-\ln(- heta )}</annotation> </semantics> </math></span><img src=

{\displaystyle b'( heta )={\frac {-1}{ heta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu <semantics> <mrow> <mstyle> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mrow> <mo>−</mo> <mn>1</mn> </mrow> <mi>θ</mi> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <mrow> <mo>−</mo> <mn>1</mn> </mrow> <mfrac> <mrow> <mo>−</mo> <mn>1</mn> </mrow> <mi>μ</mi> </mfrac> </mfrac> </mrow> <mo>=</mo> <mi>μ</mi> </mstyle> </mrow> <annotation>{\displaystyle b'( heta )={\frac {-1}{ heta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu }</annotation> </semantics> </math></span><img src=

{\displaystyle b''( heta )={\frac {1}{ heta ^{2}}}=\mu ^{2 <semantics> <mrow> <mstyle> <msup> <mi>b</mi> <mo>″</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mn>1</mn> <msup> <mi>θ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mfrac> </mrow> <mo>=</mo> <msup> <mi>μ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle b''( heta )={\frac {1}{ heta ^{2}}}=\mu ^{2}}</annotation> </semantics> </math></span><img src=

Et nous avons ${\displaystyle V(\mu )=\mu ^{2 <semantics> <mrow> <mstyle> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> <mo>=</mo> <msup> <mi>μ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle V(\mu )=\mu ^{2}}</annotation> </semantics> </math><img src=$

Application – moindres carrés pondérés

Une application très importante de la fonction de variance est son utilisation dans l'estimation et l'inférence des paramètres lorsque la variable de réponse est de la forme de famille exponentielle requise ainsi que dans certains cas où elle ne l'est pas (ce que nous aborderons dans la quasi-vraisemblance ). Les moindres carrés pondérés (WLS) sont un cas particulier des moindres carrés généralisés. Chaque terme du critère WLS comprend un poids qui détermine l'influence de chaque observation sur les estimations finales des paramètres. Comme dans les moindres carrés réguliers, l'objectif est d'estimer les paramètres inconnus dans la fonction de régression en trouvant des valeurs pour les estimations de paramètres qui minimisent la somme des écarts au carré entre les réponses observées et la partie fonctionnelle du modèle.

Bien que WLS suppose l'indépendance des observations, il ne suppose pas une variance égale et constitue donc une solution pour l'estimation des paramètres en présence d'hétéroscédasticité. Le théorème de Gauss-Markov et Aitken démontrent que le meilleur estimateur linéaire sans biais (BLUE), l'estimateur sans biais avec une variance minimale, a chaque poids égal à l'inverse de la variance de la mesure.

Dans le cadre GLM, notre objectif est d'estimer les paramètres , où . Par conséquent, nous souhaitons minimiser et si nous définissons la matrice de pondération W comme ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$ ${\displaystyle Z=g(E[y\mid X])=X\beta <semantics> <mrow> <mstyle> <mi>Z</mi> <mo>=</mo> <mi>g</mi> <mo>(</mo> <mi>E</mi> <mo>[</mo> <mi>y</mi> <mo>∣</mo> <mi>X</mi> <mo>]</mo> <mo>)</mo> <mo>=</mo> <mi>X</mi> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle Z=g(E[y\mid X])=X\beta }</annotation> </semantics> </math><img src=$ ${\displaystyle (Z-XB)^{T}W(Z-XB) <semantics> <mrow> <mstyle> <mo>(</mo> <mi>Z</mi> <mo>−</mo> <mi>X</mi> <mi>B</mi> <msup> <mo>)</mo> <mrow> <mi>T</mi> </mrow> </msup> <mi>W</mi> <mo>(</mo> <mi>Z</mi> <mo>−</mo> <mi>X</mi> <mi>B</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle (Z-XB)^{T}W(Z-XB)}</annotation> </semantics> </math><img src=$

{\displaystyle \underbrace {W} _{n imes n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}&0&\cdots &0&0\\0&{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}&0&\cdots &0\\\vdots &\vdots &\vdots &\vdots &0\\\vdots &\vdots &\vdots &\vdots &0\\0&\cdots &\cdots &0&{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}}, <semantics> <mrow> <mstyle> <munder> <mrow> <munder> <mi>W</mi> <mo>⏟</mo> </munder> </mrow> <mrow> <mi>n</mi> <mo>×</mo> <mi>n</mi> </mrow> </munder> <mo>=</mo> <mrow> <mrow> <mo>[</mo> <mtable> <mtr> <mtd> <mrow> <mfrac> <mn>1</mn> <mrow> <mi>ϕ</mi> <mi>V</mi> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>)</mo> <msup> <mi>g</mi> <mo>′</mo> </msup> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mn>1</mn> </mrow> </msub> <msup> <mo>)</mo> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mfrac> <mn>1</mn> <mrow> <mi>ϕ</mi> <mi>V</mi> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mn>2</mn> </mrow> </msub> <mo>)</mo> <msup> <mi>g</mi> <mo>′</mo> </msup> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mn>2</mn> </mrow> </msub> <msup> <mo>)</mo> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mo>⋮</mo> </mtd> <mtd> <mo>⋮</mo> </mtd> <mtd> <mo>⋮</mo> </mtd> <mtd> <mo>⋮</mo> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mo>⋮</mo> </mtd> <mtd> <mo>⋮</mo> </mtd> <mtd> <mo>⋮</mo> </mtd> <mtd> <mo>⋮</mo> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mfrac> <mn>1</mn> <mrow> <mi>ϕ</mi> <mi>V</mi> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> <msup> <mi>g</mi> <mo>′</mo> </msup> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mi>n</mi> </mrow> </msub> <msup> <mo>)</mo> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>]</mo> </mrow> </mrow> <mo>,</mo> </mstyle> </mrow> <annotation>{\displaystyle \underbrace {W} _{n imes n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}&0&\cdots &0&0\\0&{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}&0&\cdots &0\\\vdots &\vdots &\vdots &\vdots &0\\\vdots &\vdots &\vdots &\vdots &0\\0&\cdots &\cdots &0&{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}},}</annotation> </semantics> </math></span><img src=

où sont définis dans la section précédente, il permet une estimation des paramètres par moindres carrés pondérés itérativement (IRLS). Voir la section sur les moindres carrés pondérés itérativement pour plus de dérivation et d'informations. ${\displaystyle \phi ,V(\mu ),g(\mu ) <semantics> <mrow> <mstyle> <mi>ϕ</mi> <mo>,</mo> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> <mo>,</mo> <mi>g</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \phi ,V(\mu ),g(\mu )}</annotation> </semantics> </math><img src=$

Il est également important de noter que lorsque la matrice de pondération est de la forme décrite ici, la minimisation de l'expression minimise également la distance de Pearson. Voir Corrélation de distance pour plus d'informations. ${\displaystyle (Z-XB)^{T}W(Z-XB) <semantics> <mrow> <mstyle> <mo>(</mo> <mi>Z</mi> <mo>−</mo> <mi>X</mi> <mi>B</mi> <msup> <mo>)</mo> <mrow> <mi>T</mi> </mrow> </msup> <mi>W</mi> <mo>(</mo> <mi>Z</mi> <mo>−</mo> <mi>X</mi> <mi>B</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle (Z-XB)^{T}W(Z-XB)}</annotation> </semantics> </math><img src=$

La matrice W tombe directement hors des équations d'estimation pour l'estimation de . L'estimation du maximum de vraisemblance pour chaque paramètre , nécessite ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$ ${\displaystyle \beta _{r},1\leq r\leq p <semantics> <mrow> <mstyle> <msub> <mi>β</mi> <mrow> <mi>r</mi> </mrow> </msub> <mo>,</mo> <mn>1</mn> <mo>≤</mo> <mi>r</mi> <mo>≤</mo> <mi>p</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta _{r},1\leq r\leq p}</annotation> </semantics> </math><img src=$

{\displaystyle \sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0 <semantics> <mrow> <mstyle> <munderover> <mo>∑</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>n</mi> </mrow> </munderover> <mrow> <mfrac> <mrow> <mi>∂</mi> <msub> <mi>l</mi> <mrow> <mi>i</mi> </mrow> </msub> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>r</mi> </mrow> </msub> </mrow> </mfrac> </mrow> <mo>=</mo> <mn>0</mn> </mstyle> </mrow> <annotation>{\displaystyle \sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0}</annotation> </semantics> </math></span><img src=

{\displaystyle \operatorname {l} ( heta ,y,\phi )=\log(\operatorname {f} (y, heta ,\phi ))={\frac {y heta -b( heta )}{\phi }}-c(y,\phi ) <semantics> <mrow> <mstyle> <mi>l</mi> <mo>⁡</mo> <mo>(</mo> <mi>θ</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> <mo>=</mo> <mi>log</mi> <mo>⁡</mo> <mo>(</mo> <mi>f</mi> <mo>⁡</mo> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>θ</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mi>θ</mi> <mo>−</mo> <mi>b</mi> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>−</mo> <mi>c</mi> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>ϕ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {l} ( heta ,y,\phi )=\log(\operatorname {f} (y, heta ,\phi ))={\frac {y heta -b( heta )}{\phi }}-c(y,\phi )}</annotation> </semantics> </math></span><img src=

En regardant une seule observation que nous avons,

{\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial heta }}{\frac {\partial heta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>l</mi> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>r</mi> </mrow> </msub> </mrow> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>l</mi> </mrow> <mrow> <mi>∂</mi> <mi>θ</mi> </mrow> </mfrac> </mrow> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>θ</mi> </mrow> <mrow> <mi>∂</mi> <mi>μ</mi> </mrow> </mfrac> </mrow> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>μ</mi> </mrow> <mrow> <mi>∂</mi> <mi>η</mi> </mrow> </mfrac> </mrow> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>η</mi> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>r</mi> </mrow> </msub> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial heta }}{\frac {\partial heta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r}}}}</annotation> </semantics> </math></span><img src=

{\displaystyle {\frac {\partial \eta }{\partial \beta _{r}}}=x_{r <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>η</mi> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>r</mi> </mrow> </msub> </mrow> </mfrac> </mrow> <mo>=</mo> <msub> <mi>x</mi> <mrow> <mi>r</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle {\frac {\partial \eta }{\partial \beta _{r}}}=x_{r}}</annotation> </semantics> </math></span><img src=

{\displaystyle {\frac {\partial l}{\partial heta }}={\frac {y-b'( heta )}{\phi }}={\frac {y-\mu }{\phi <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>l</mi> </mrow> <mrow> <mi>∂</mi> <mi>θ</mi> </mrow> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mi>ϕ</mi> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <mi>μ</mi> </mrow> <mi>ϕ</mi> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle {\frac {\partial l}{\partial heta }}={\frac {y-b'( heta )}{\phi }}={\frac {y-\mu }{\phi }}}</annotation> </semantics> </math></span><img src=

{\displaystyle {\frac {\partial heta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu )}{\mu }}={\frac {1}{b''(b'(\mu ))}}={\frac {1}{V(\mu ) <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>θ</mi> </mrow> <mrow> <mi>∂</mi> <mi>μ</mi> </mrow> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>∂</mi> <msup> <mi>b</mi> <mrow> <mo>′</mo> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </mrow> </msup> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mrow> <mi>μ</mi> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <mn>1</mn> <mrow> <msup> <mi>b</mi> <mo>″</mo> </msup> <mo>(</mo> <msup> <mi>b</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>μ</mi> <mo>)</mo> <mo>)</mo> </mrow> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <mn>1</mn> <mrow> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle {\frac {\partial heta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu )}{\mu }}={\frac {1}{b''(b'(\mu ))}}={\frac {1}{V(\mu )}}}</annotation> </semantics> </math></span><img src=

Cela nous donne

{\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}{\frac {\partial \mu }{\partial \eta }}x_{r <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>l</mi> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>r</mi> </mrow> </msub> </mrow> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <mi>μ</mi> </mrow> <mrow> <mi>ϕ</mi> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mrow> </mfrac> </mrow> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>μ</mi> </mrow> <mrow> <mi>∂</mi> <mi>η</mi> </mrow> </mfrac> </mrow> <msub> <mi>x</mi> <mrow> <mi>r</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}{\frac {\partial \mu }{\partial \eta }}x_{r}}</annotation> </semantics> </math></span><img src=

{\displaystyle {\frac {\partial \eta }{\partial \mu }}=g'(\mu ) <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>η</mi> </mrow> <mrow> <mi>∂</mi> <mi>μ</mi> </mrow> </mfrac> </mrow> <mo>=</mo> <msup> <mi>g</mi> <mo>′</mo> </msup> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle {\frac {\partial \eta }{\partial \mu }}=g'(\mu )}</annotation> </semantics> </math></span><img src=

{\displaystyle {\frac {\partial l}{\partial \beta _{r}}}=(y-\mu )W{\frac {\partial \eta }{\partial \mu }}x_{r <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>l</mi> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>r</mi> </mrow> </msub> </mrow> </mfrac> </mrow> <mo>=</mo> <mo>(</mo> <mi>y</mi> <mo>−</mo> <mi>μ</mi> <mo>)</mo> <mi>W</mi> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>η</mi> </mrow> <mrow> <mi>∂</mi> <mi>μ</mi> </mrow> </mfrac> </mrow> <msub> <mi>x</mi> <mrow> <mi>r</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle {\frac {\partial l}{\partial \beta _{r}}}=(y-\mu )W{\frac {\partial \eta }{\partial \mu }}x_{r}}</annotation> </semantics> </math></span><img src=

La matrice hessienne est déterminée de manière similaire et peut être démontrée comme étant,

{\displaystyle H=X^{T}(y-\mu )\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}} ight]-X^{T}WX <semantics> <mrow> <mstyle> <mi>H</mi> <mo>=</mo> <msup> <mi>X</mi> <mrow> <mi>T</mi> </mrow> </msup> <mo>(</mo> <mi>y</mi> <mo>−</mo> <mi>μ</mi> <mo>)</mo> <mrow> <mo>[</mo> <mrow> <mrow> <mfrac> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>s</mi> </mrow> </msub> </mfrac> </mrow> <mi>W</mi> <mrow> <mfrac> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>r</mi> </mrow> </msub> </mfrac> </mrow> </mrow> <mo>]</mo> </mrow> <mo>−</mo> <msup> <mi>X</mi> <mrow> <mi>T</mi> </mrow> </msup> <mi>W</mi> <mi>X</mi> </mstyle> </mrow> <annotation>{\displaystyle H=X^{T}(y-\mu )\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}} ight]-X^{T}WX}</annotation> </semantics> </math></span><img src=

Remarquant que les informations de Fisher (FI),

{\displaystyle { ext{FI}}=-E[H]=X^{T}WX <semantics> <mrow> <mstyle> <mrow> <mtext>FI</mtext> </mrow> <mo>=</mo> <mo>−</mo> <mi>E</mi> <mo>[</mo> <mi>H</mi> <mo>]</mo> <mo>=</mo> <msup> <mi>X</mi> <mrow> <mi>T</mi> </mrow> </msup> <mi>W</mi> <mi>X</mi> </mstyle> </mrow> <annotation>{\displaystyle { ext{FI}}=-E[H]=X^{T}WX}</annotation> </semantics> </math></span><img src=

{\displaystyle {\hat {\beta <semantics> <mrow> <mstyle> <mrow> <mrow> <mover> <mi>β</mi> <mo>^</mo> </mover> </mrow> </mrow> </mstyle> </mrow> <annotation>{\displaystyle {\hat {\beta }}}</annotation> </semantics> </math></span><img src=

{\displaystyle {\hat {\beta }}\sim N_{p}(\beta ,(X^{T}WX)^{-1}) <semantics> <mrow> <mstyle> <mrow> <mrow> <mover> <mi>β</mi> <mo>^</mo> </mover> </mrow> </mrow> <mo>∼</mo> <msub> <mi>N</mi> <mrow> <mi>p</mi> </mrow> </msub> <mo>(</mo> <mi>β</mi> <mo>,</mo> <mo>(</mo> <msup> <mi>X</mi> <mrow> <mi>T</mi> </mrow> </msup> <mi>W</mi> <mi>X</mi> <msup> <mo>)</mo> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle {\hat {\beta }}\sim N_{p}(\beta ,(X^{T}WX)^{-1})}</annotation> </semantics> </math></span><img src=

Application – quasi-vraisemblance

Étant donné que la plupart des caractéristiques des GLM ne dépendent que des deux premiers moments de la distribution, plutôt que de la distribution entière, la quasi-vraisemblance peut être développée en spécifiant simplement une fonction de lien et une fonction de variance. Autrement dit, nous devons spécifier

la fonction de lien, ${\displaystyle E[y]=\mu =g^{-1}(\eta ) <semantics> <mrow> <mstyle> <mi>E</mi> <mo>[</mo> <mi>y</mi> <mo>]</mo> <mo>=</mo> <mi>μ</mi> <mo>=</mo> <msup> <mi>g</mi> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mi>η</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle E[y]=\mu =g^{-1}(\eta )}</annotation> </semantics> </math><img src=$
la fonction de variance, , où la ${\displaystyle V(\mu ) <semantics> <mrow> <mstyle> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle V(\mu )}</annotation> </semantics> </math><img src=$ ${\displaystyle \operatorname {Var} _{ heta }(y)=\sigma ^{2}V(\mu ) <semantics> <mrow> <mstyle> <msub> <mi>Var</mi> <mrow> <mi>θ</mi> </mrow> </msub> <mo>⁡</mo> <mo>(</mo> <mi>y</mi> <mo>)</mo> <mo>=</mo> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Var} _{ heta }(y)=\sigma ^{2}V(\mu )}</annotation> </semantics> </math><img src=$

Avec une fonction de variance et une fonction de lien spécifiées, nous pouvons développer, comme alternatives à la fonction de vraisemblance logarithmique , à la fonction de score et à l' information de Fisher , une quasi-vraisemblance , un quasi-score et la quasi-information . Cela permet une inférence complète de . ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$

Quasi-vraisemblance (QL)

Bien que l'on parle de quasi-vraisemblance , il s'agit en fait d'une quasi- log -vraisemblance. Le QL pour une observation est

{\displaystyle Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt <semantics> <mrow> <mstyle> <msub> <mi>Q</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>y</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <msubsup> <mo>∫</mo> <mrow> <msub> <mi>y</mi> <mrow> <mi>i</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>μ</mi> <mrow> <mi>i</mi> </mrow> </msub> </mrow> </msubsup> <mrow> <mfrac> <mrow> <msub> <mi>y</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>−</mo> <mi>t</mi> </mrow> <mrow> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mi>V</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mfrac> </mrow> <mspace></mspace> <mi>d</mi> <mi>t</mi> </mstyle> </mrow> <annotation>{\displaystyle Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt}</annotation> </semantics> </math></span><img src=

Et donc le QL pour toutes les n observations est

{\displaystyle Q(\mu ,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt <semantics> <mrow> <mstyle> <mi>Q</mi> <mo>(</mo> <mi>μ</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>=</mo> <munderover> <mo>∑</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>n</mi> </mrow> </munderover> <msub> <mi>Q</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>y</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <munderover> <mo>∑</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>n</mi> </mrow> </munderover> <msubsup> <mo>∫</mo> <mrow> <msub> <mi>y</mi> <mrow> <mi>i</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>μ</mi> <mrow> <mi>i</mi> </mrow> </msub> </mrow> </msubsup> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <mi>t</mi> </mrow> <mrow> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mi>V</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mfrac> </mrow> <mspace></mspace> <mi>d</mi> <mi>t</mi> </mstyle> </mrow> <annotation>{\displaystyle Q(\mu ,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}</annotation> </semantics> </math></span><img src=

À partir du QL, nous avons le quasi-score

Quasi-score (QS)

Rappelons la fonction de score , U , pour les données avec une vraisemblance logarithmique est ${\displaystyle \operatorname {l} (\mu \mid y) <semantics> <mrow> <mstyle> <mi>l</mi> <mo>⁡</mo> <mo>(</mo> <mi>μ</mi> <mo>∣</mo> <mi>y</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {l} (\mu \mid y)}</annotation> </semantics> </math><img src=$

{\displaystyle U={\frac {\partial l}{d\mu }}. <semantics> <mrow> <mstyle> <mi>U</mi> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>l</mi> </mrow> <mrow> <mi>d</mi> <mi>μ</mi> </mrow> </mfrac> </mrow> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle U={\frac {\partial l}{d\mu }}.}</annotation> </semantics> </math></span><img src=

Nous obtenons le quasi-score de manière identique,

{\displaystyle U={\frac {y-\mu }{\sigma ^{2}V(\mu ) <semantics> <mrow> <mstyle> <mi>U</mi> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <mi>μ</mi> </mrow> <mrow> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle U={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}</annotation> </semantics> </math></span><img src=

Notant que, pour une observation, le score est

{\displaystyle {\frac {\partial Q}{\partial \mu }}={\frac {y-\mu }{\sigma ^{2}V(\mu ) <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>Q</mi> </mrow> <mrow> <mi>∂</mi> <mi>μ</mi> </mrow> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <mi>μ</mi> </mrow> <mrow> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mi>V</mi> <mo>(</mo> <mi>μ</mi> <mo>)</mo> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle {\frac {\partial Q}{\partial \mu }}={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}</annotation> </semantics> </math></span><img src=

Les deux premières équations de Bartlett sont satisfaites pour le quasi-score, à savoir

{\displaystyle E[U]=0 <semantics> <mrow> <mstyle> <mi>E</mi> <mo>[</mo> <mi>U</mi> <mo>]</mo> <mo>=</mo> <mn>0</mn> </mstyle> </mrow> <annotation>{\displaystyle E[U]=0}</annotation> </semantics> </math></span><img src=

{\displaystyle \operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }} ight]=0. <semantics> <mrow> <mstyle> <mi>Cov</mi> <mo>⁡</mo> <mo>(</mo> <mi>U</mi> <mo>)</mo> <mo>+</mo> <mi>E</mi> <mrow> <mo>[</mo> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>U</mi> </mrow> <mrow> <mi>∂</mi> <mi>μ</mi> </mrow> </mfrac> </mrow> <mo>]</mo> </mrow> <mo>=</mo> <mn>0.</mn> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }} ight]=0.}</annotation> </semantics> </math></span><img src=

De plus, le quasi-score est linéaire en y .

En fin de compte, l'objectif est de trouver des informations sur les paramètres d'intérêt . Le QS et le QL sont en fait des fonctions de . Rappelons que , et , par conséquent, ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$ ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$ ${\displaystyle \mu =g^{-1}(\eta ) <semantics> <mrow> <mstyle> <mi>μ</mi> <mo>=</mo> <msup> <mi>g</mi> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mi>η</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \mu =g^{-1}(\eta )}</annotation> </semantics> </math><img src=$ ${\displaystyle \eta =X\beta <semantics> <mrow> <mstyle> <mi>η</mi> <mo>=</mo> <mi>X</mi> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \eta =X\beta }</annotation> </semantics> </math><img src=$

{\displaystyle \mu =g^{-1}(X\beta ). <semantics> <mrow> <mstyle> <mi>μ</mi> <mo>=</mo> <msup> <mi>g</mi> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mi>X</mi> <mi>β</mi> <mo>)</mo> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle \mu =g^{-1}(X\beta ).}</annotation> </semantics> </math></span><img src=

Quasi-information (QI)

La quasi-information , est similaire à l' information de Fisher ,

{\displaystyle i_{b}=-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }} ight] <semantics> <mrow> <mstyle> <msub> <mi>i</mi> <mrow> <mi>b</mi> </mrow> </msub> <mo>=</mo> <mo>−</mo> <mi>E</mi> <mo>⁡</mo> <mrow> <mo>[</mo> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>U</mi> </mrow> <mrow> <mi>∂</mi> <mi>β</mi> </mrow> </mfrac> </mrow> <mo>]</mo> </mrow> </mstyle> </mrow> <annotation>{\displaystyle i_{b}=-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }} ight]}</annotation> </semantics> </math></span><img src=

QL, QS, QI en fonction de ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$

Les QL, QS et QI fournissent tous les éléments de base pour l'inférence sur les paramètres d'intérêt et il est donc important d'exprimer les QL, QS et QI comme des fonctions de . ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$

En rappelant à nouveau que , nous dérivons les expressions pour QL, QS et QI paramétrées sous . ${\displaystyle \mu =g^{-1}(X\beta ) <semantics> <mrow> <mstyle> <mi>μ</mi> <mo>=</mo> <msup> <mi>g</mi> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mi>X</mi> <mi>β</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \mu =g^{-1}(X\beta )}</annotation> </semantics> </math><img src=$ ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$

Quasi-vraisemblance dans , ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$

{\displaystyle Q(\beta ,y)=\int _{y}^{\mu (\beta )}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt <semantics> <mrow> <mstyle> <mi>Q</mi> <mo>(</mo> <mi>β</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>=</mo> <msubsup> <mo>∫</mo> <mrow> <mi>y</mi> </mrow> <mrow> <mi>μ</mi> <mo>(</mo> <mi>β</mi> <mo>)</mo> </mrow> </msubsup> <mrow> <mfrac> <mrow> <mi>y</mi> <mo>−</mo> <mi>t</mi> </mrow> <mrow> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mi>V</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mfrac> </mrow> <mspace></mspace> <mi>d</mi> <mi>t</mi> </mstyle> </mrow> <annotation>{\displaystyle Q(\beta ,y)=\int _{y}^{\mu (\beta )}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}</annotation> </semantics> </math></span><img src=

Le QS en fonction de est donc ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$

{\displaystyle U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta ,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i}) <semantics> <mrow> <mstyle> <msub> <mi>U</mi> <mrow> <mi>j</mi> </mrow> </msub> <mo>(</mo> <msub> <mi>β</mi> <mrow> <mi>j</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mi>∂</mi> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> </mrow> <mi>Q</mi> <mo>(</mo> <mi>β</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>=</mo> <munderover> <mo>∑</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>n</mi> </mrow> </munderover> <mrow> <mfrac> <mrow> <mi>∂</mi> <msub> <mi>μ</mi> <mrow> <mi>i</mi> </mrow> </msub> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> </mrow> <mrow> <mfrac> <mrow> <msub> <mi>y</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>−</mo> <msub> <mi>μ</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>(</mo> <msub> <mi>β</mi> <mrow> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mrow> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mi>V</mi> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta ,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i})}}}</annotation> </semantics> </math></span><img src=

{\displaystyle U(\beta )={\begin{bmatrix}U_{1}(\beta )\\U_{2}(\beta )\\\vdots \\\vdots \\U_{p}(\beta )\end{bmatrix}}=D^{T}V^{-1}{\frac {(y-\mu )}{\sigma ^{2 <semantics> <mrow> <mstyle> <mi>U</mi> <mo>(</mo> <mi>β</mi> <mo>)</mo> <mo>=</mo> <mrow> <mrow> <mo>[</mo> <mtable> <mtr> <mtd> <msub> <mi>U</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>(</mo> <mi>β</mi> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <msub> <mi>U</mi> <mrow> <mn>2</mn> </mrow> </msub> <mo>(</mo> <mi>β</mi> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <mo>⋮</mo> </mtd> </mtr> <mtr> <mtd> <mo>⋮</mo> </mtd> </mtr> <mtr> <mtd> <msub> <mi>U</mi> <mrow> <mi>p</mi> </mrow> </msub> <mo>(</mo> <mi>β</mi> <mo>)</mo> </mtd> </mtr> </mtable> <mo>]</mo> </mrow> </mrow> <mo>=</mo> <msup> <mi>D</mi> <mrow> <mi>T</mi> </mrow> </msup> <msup> <mi>V</mi> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> <mrow> <mfrac> <mrow> <mo>(</mo> <mi>y</mi> <mo>−</mo> <mi>μ</mi> <mo>)</mo> </mrow> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle U(\beta )={\begin{bmatrix}U_{1}(\beta )\\U_{2}(\beta )\\\vdots \\\vdots \\U_{p}(\beta )\end{bmatrix}}=D^{T}V^{-1}{\frac {(y-\mu )}{\sigma ^{2}}}}</annotation> </semantics> </math></span><img src=

Où,

{\displaystyle \underbrace {D} _{n imes p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n imes n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots ,\ldots ,V(\mu _{n})) <semantics> <mrow> <mstyle> <munder> <mrow> <munder> <mi>D</mi> <mo>⏟</mo> </munder> </mrow> <mrow> <mi>n</mi> <mo>×</mo> <mi>p</mi> </mrow> </munder> <mo>=</mo> <mrow> <mrow> <mo>[</mo> <mtable> <mtr> <mtd> <mrow> <mfrac> <mrow> <mi>∂</mi> <msub> <mi>μ</mi> <mrow> <mn>1</mn> </mrow> </msub> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mn>1</mn> </mrow> </msub> </mrow> </mfrac> </mrow> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mrow> <mfrac> <mrow> <mi>∂</mi> <msub> <mi>μ</mi> <mrow> <mn>1</mn> </mrow> </msub> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>p</mi> </mrow> </msub> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mrow> <mi>∂</mi> <msub> <mi>μ</mi> <mrow> <mn>2</mn> </mrow> </msub> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mn>1</mn> </mrow> </msub> </mrow> </mfrac> </mrow> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mrow> <mfrac> <mrow> <mi>∂</mi> <msub> <mi>μ</mi> <mrow> <mn>2</mn> </mrow> </msub> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>p</mi> </mrow> </msub> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mo>⋮</mo> </mtd> </mtr> <mtr> <mtd> <mo>⋮</mo> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mrow> <mi>∂</mi> <msub> <mi>μ</mi> <mrow> <mi>m</mi> </mrow> </msub> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mn>1</mn> </mrow> </msub> </mrow> </mfrac> </mrow> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mo>⋯</mo> </mtd> <mtd> <mrow> <mfrac> <mrow> <mi>∂</mi> <msub> <mi>μ</mi> <mrow> <mi>m</mi> </mrow> </msub> </mrow> <mrow> <mi>∂</mi> <msub> <mi>β</mi> <mrow> <mi>p</mi> </mrow> </msub> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>]</mo> </mrow> </mrow> <munder> <mrow> <munder> <mi>V</mi> <mo>⏟</mo> </munder> </mrow> <mrow> <mi>n</mi> <mo>×</mo> <mi>n</mi> </mrow> </munder> <mo>=</mo> <mi>diag</mi> <mo>⁡</mo> <mo>(</mo> <mi>V</mi> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>)</mo> <mo>,</mo> <mi>V</mi> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mn>2</mn> </mrow> </msub> <mo>)</mo> <mo>,</mo> <mo>…</mo> <mo>,</mo> <mo>…</mo> <mo>,</mo> <mi>V</mi> <mo>(</mo> <msub> <mi>μ</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \underbrace {D} _{n imes p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n imes n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots ,\ldots ,V(\mu _{n}))}</annotation> </semantics> </math></span><img src=

La matrice de quasi-information dans est, ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$

{\displaystyle i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta ))={\frac {D^{T}V^{-1}D}{\sigma ^{2 <semantics> <mrow> <mstyle> <msub> <mi>i</mi> <mrow> <mi>b</mi> </mrow> </msub> <mo>=</mo> <mo>−</mo> <mrow> <mfrac> <mrow> <mi>∂</mi> <mi>U</mi> </mrow> <mrow> <mi>∂</mi> <mi>β</mi> </mrow> </mfrac> </mrow> <mo>=</mo> <mi>Cov</mi> <mo>⁡</mo> <mo>(</mo> <mi>U</mi> <mo>(</mo> <mi>β</mi> <mo>)</mo> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mrow> <msup> <mi>D</mi> <mrow> <mi>T</mi> </mrow> </msup> <msup> <mi>V</mi> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> <mi>D</mi> </mrow> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta ))={\frac {D^{T}V^{-1}D}{\sigma ^{2}}}}</annotation> </semantics> </math></span><img src=

L'obtention de la fonction de score et des informations permet l'estimation et l'inférence des paramètres d'une manière similaire à celle décrite dans l'Application – moindres carrés pondérés. ${\displaystyle \beta <semantics> <mrow> <mstyle> <mi>β</mi> </mstyle> </mrow> <annotation>{\displaystyle \beta }</annotation> </semantics> </math><img src=$

Analyse de régression non paramétrique

L'estimation non paramétrique de la fonction de variance et son importance ont été largement discutées dans la littérature Dans l'analyse de régression non paramétrique , l'objectif est d'exprimer la valeur attendue de votre variable de réponse ( y ) en fonction de vos prédicteurs ( X ). C'est-à-dire que nous cherchons à estimer une fonction moyenne , sans supposer une forme paramétrique. Il existe de nombreuses formes de méthodes de lissage non paramétriques pour aider à estimer la fonction . Une approche intéressante consiste également à examiner une fonction de variance non paramétrique , . Une fonction de variance non paramétrique permet d'examiner la fonction moyenne par rapport à la fonction de variance et de remarquer des modèles dans les données. ${\displaystyle g(x)=\operatorname {E} [y\mid X=x] <semantics> <mrow> <mstyle> <mi>g</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>=</mo> <mi>E</mi> <mo>⁡</mo> <mo>[</mo> <mi>y</mi> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>]</mo> </mstyle> </mrow> <annotation>{\displaystyle g(x)=\operatorname {E} [y\mid X=x]}</annotation> </semantics> </math><img src=$ ${\displaystyle g(x) <semantics> <mrow> <mstyle> <mi>g</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle g(x)}</annotation> </semantics> </math><img src=$ ${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x) <semantics> <mrow> <mstyle> <msub> <mi>g</mi> <mrow> <mi>v</mi> </mrow> </msub> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>=</mo> <mi>Var</mi> <mo>⁡</mo> <mo>(</mo> <mi>Y</mi> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)}</annotation> </semantics> </math><img src=$

{\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x] ight]^{2 <semantics> <mrow> <mstyle> <msub> <mi>g</mi> <mrow> <mi>v</mi> </mrow> </msub> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>=</mo> <mi>Var</mi> <mo>⁡</mo> <mo>(</mo> <mi>Y</mi> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>)</mo> <mo>=</mo> <mi>E</mi> <mo>⁡</mo> <mo>[</mo> <msup> <mi>y</mi> <mrow> <mn>2</mn> </mrow> </msup> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>]</mo> <mo>−</mo> <msup> <mrow> <mo>[</mo> <mrow> <mi>E</mi> <mo>⁡</mo> <mo>[</mo> <mi>y</mi> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>]</mo> </mrow> <mo>]</mo> </mrow> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x] ight]^{2}}</annotation> </semantics> </math></span><img src=

Un exemple est détaillé dans les images à droite. Le but du projet était de déterminer (entre autres) si le prédicteur, le nombre d'années dans les ligues majeures (baseball), avait ou non un effet sur la réponse, le salaire gagné par un joueur. Un nuage de points initial des données indique qu'il y a une hétéroscédasticité dans les données car la variance n'est pas constante à chaque niveau du prédicteur. Comme nous pouvons détecter visuellement la variance non constante, il est utile maintenant de tracer , et de voir si la forme est indicative d'une distribution connue. On peut estimer et en utilisant une méthode de lissage générale . Le tracé de la fonction de variance lissée non paramétrique peut donner au chercheur une idée de la relation entre la variance et la moyenne. L'image à droite indique une relation quadratique entre la moyenne et la variance. Comme nous l'avons vu ci-dessus, la fonction de variance Gamma est quadratique dans la moyenne. ${\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x] ight]^{2 <semantics> <mrow> <mstyle> <msub> <mi>g</mi> <mrow> <mi>v</mi> </mrow> </msub> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>=</mo> <mi>Var</mi> <mo>⁡</mo> <mo>(</mo> <mi>Y</mi> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>)</mo> <mo>=</mo> <mi>E</mi> <mo>⁡</mo> <mo>[</mo> <msup> <mi>y</mi> <mrow> <mn>2</mn> </mrow> </msup> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>]</mo> <mo>−</mo> <msup> <mrow> <mo>[</mo> <mrow> <mi>E</mi> <mo>⁡</mo> <mo>[</mo> <mi>y</mi> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>]</mo> </mrow> <mo>]</mo> </mrow> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x] ight]^{2}}</annotation> </semantics> </math><img src=$ ${\displaystyle \operatorname {E} [y^{2}\mid X=x] <semantics> <mrow> <mstyle> <mi>E</mi> <mo>⁡</mo> <mo>[</mo> <msup> <mi>y</mi> <mrow> <mn>2</mn> </mrow> </msup> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>]</mo> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {E} [y^{2}\mid X=x]}</annotation> </semantics> </math><img src=$ ${\displaystyle \left[\operatorname {E} [y\mid X=x] ight]^{2 <semantics> <mrow> <mstyle> <msup> <mrow> <mo>[</mo> <mrow> <mi>E</mi> <mo>⁡</mo> <mo>[</mo> <mi>y</mi> <mo>∣</mo> <mi>X</mi> <mo>=</mo> <mi>x</mi> <mo>]</mo> </mrow> <mo>]</mo> </mrow> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle \left[\operatorname {E} [y\mid X=x] ight]^{2}}</annotation> </semantics> </math><img src=$

Intuition

Types

Modèle linéaire généralisé

Dérivation

Exemple – normal

Exemple – Bernoulli

Exemple – Poisson

Exemple – Gamma

Application – moindres carrés pondérés

Application – quasi-vraisemblance

Analyse de régression non paramétrique

Remarques