Variance conditionnelle

En théorie des probabilités et en statistique , la variance conditionnelle est la variance d'une variable aléatoire étant donné la ou les valeurs d'une ou plusieurs autres variables. En économétrie notamment , la variance conditionnelle est également appelée fonction scédastique . Les variances conditionnelles sont des éléments importants des modèles autorégressifs à hétéroscédasticité conditionnelle (ARCH).

Définition

La variance conditionnelle d'une variable aléatoire Y sachant qu'une autre variable aléatoire X est

{\displaystyle \operatorname {Var} (Y\mid X)=\operatorname {E} {\Big (}{\big (}Y-\operatorname {E} (Y\mid X){\big )}^{2}\;{\Big |}\;X{\Big )}. <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mo>∣</mo><mi>X</mi><mo>)</mo><mo>=</mo><mi>E</mi><mo>⁡</mo><mrow><mrow><mo>(</mo></mrow></mrow><mrow><mrow><mo>(</mo></mrow></mrow><mi>Y</mi><mo>−</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mo>∣</mo><mi>X</mi><mo>)</mo><msup><mrow><mrow><mo>)</mo></mrow></mrow><mrow><mn>2</mn></mrow></msup><mspace></mspace><mrow><mrow><mo>|</mo></mrow></mrow><mspace></mspace><mi>X</mi><mrow><mrow><mo>)</mo></mrow></mrow><mo>.</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y\mid X)=\operatorname {E} {\Big (}{\big (}Y-\operatorname {E} (Y\mid X){\big )}^{2}\;{\Big |}\;X{\Big )}.}</annotation></semantics></math></span><img src=

La variance conditionnelle nous indique la variance restante si nous utilisons ${\displaystyle \operatorname {E} (Y\mid X) <semantics><mrow><mstyle><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mo>∣</mo><mi>X</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {E} (Y\mid X)}</annotation></semantics></math><img src=$ Y. Ici, comme d'habitude, ${\displaystyle \operatorname {E} (Y\mid X) <semantics><mrow><mstyle><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mo>∣</mo><mi>X</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {E} (Y\mid X)}</annotation></semantics></math><img src=$ Y sachant X , qui, rappelons-le, est elle-même une variable aléatoire (une fonction de X , déterminée à probabilité égale à un près). Par conséquent, ${\displaystyle \operatorname {Var} (Y\mid X) <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mo>∣</mo><mi>X</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y\mid X)}</annotation></semantics></math><img src=$ X ).

Explication, lien avec les moindres carrés

{\displaystyle f:\mathbb {R} o \mathbb {R} </span referrerpolicy=

mesurable,

{\displaystyle {\begin{aligned}\operatorname {E} [(Y-f(X))^{2}]&=\operatorname {E} [(Y-\operatorname {E} (Y|X)\,\,+\,\,\operatorname {E} (Y|X)-f(X))^{2}]\\&=\operatorname {E} [\operatorname {E} \{(Y-\operatorname {E} (Y|X)\,\,+\,\,\operatorname {E} (Y|X)-f(X))^{2}|X\}]\\&=\operatorname {E} [\operatorname {Var} (Y|X)]+\operatorname {E} [(\operatorname {E} (Y|X)-f(X))^{2}]\,.\end{aligned <semantics><mrow><mstyle><mrow><mtable><mtr><mtd><mi>E</mi><mo>⁡</mo><mo>[</mo><mo>(</mo><mi>Y</mi><mo>−</mo><mi>f</mi><mo>(</mo><mi>X</mi><mo>)</mo><msup><mo>)</mo><mrow><mn>2</mn></mrow></msup><mo>]</mo></mtd><mtd><mi></mi><mo>=</mo><mi>E</mi><mo>⁡</mo><mo>[</mo><mo>(</mo><mi>Y</mi><mo>−</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>)</mo><mspace></mspace><mspace></mspace><mo>+</mo><mspace></mspace><mspace></mspace><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>)</mo><mo>−</mo><mi>f</mi><mo>(</mo><mi>X</mi><mo>)</mo><msup><mo>)</mo><mrow><mn>2</mn></mrow></msup><mo>]</mo></mtd></mtr><mtr><mtd></mtd><mtd><mi></mi><mo>=</mo><mi>E</mi><mo>⁡</mo><mo>[</mo><mi>E</mi><mo>⁡</mo><mo>{</mo><mo>(</mo><mi>Y</mi><mo>−</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>)</mo><mspace></mspace><mspace></mspace><mo>+</mo><mspace></mspace><mspace></mspace><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>)</mo><mo>−</mo><mi>f</mi><mo>(</mo><mi>X</mi><mo>)</mo><msup><mo>)</mo><mrow><mn>2</mn></mrow></msup><mrow><mo>|</mo></mrow><mi>X</mi><mo>}</mo><mo>]</mo></mtd></mtr><mtr><mtd></mtd><mtd><mi></mi><mo>=</mo><mi>E</mi><mo>⁡</mo><mo>[</mo><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>)</mo><mo>]</mo><mo>+</mo><mi>E</mi><mo>⁡</mo><mo>[</mo><mo>(</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>)</mo><mo>−</mo><mi>f</mi><mo>(</mo><mi>X</mi><mo>)</mo><msup><mo>)</mo><mrow><mn>2</mn></mrow></msup><mo>]</mo><mspace></mspace><mo>.</mo></mtd></mtr></mtable></mrow></mstyle></mrow><annotation>{\displaystyle {\begin{aligned}\operatorname {E} [(Yf(X))^{2}]&=\operatorname {E} [(Y-\operatorname {E} (Y|X)\,\,+\,\,\operatorname {E} (Y|X)-f(X))^{2}]\\&=\operatorname {E} [\operatorname {E} \{(Y-\operatorname {E} (Y|X)\,\,+\,\,\operatorname {E} (Y|X)-f(X))^{2}|X\}]\\&=\operatorname {E} [\operatorname {Var} (Y|X)]+\operatorname {E} [(\operatorname {E} (Y|X)-f(X))^{2}]\,.\end{aligned}}}</annotation></semantics></math></span><img src=

En sélectionnant ${\displaystyle f(X)=\operatorname {E} (Y|X) <semantics><mrow><mstyle><mi>f</mi><mo>(</mo><mi>X</mi><mo>)</mo><mo>=</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle f(X)=\operatorname {E} (Y|X)}</annotation></semantics></math><img src=$ Y sachant X correspond à l'erreur irréductible de prédire Y en ne connaissant que X.

Cas particuliers, variations

Conditionnement par rapport à des variables aléatoires discrètes

Lorsque X prend une quantité dénombrable de valeurs ${\displaystyle S=\{x_{1},x_{2},\dots \ <semantics><mrow><mstyle><mi>S</mi><mo>=</mo><mo>{</mo><msub><mi>x</mi><mrow><mn>1</mn></mrow></msub><mo>,</mo><msub><mi>x</mi><mrow><mn>2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>}</mo></mstyle></mrow><annotation>{\displaystyle S=\{x_{1},x_{2},\dots \}}</annotation></semantics></math><img src=$ ${\displaystyle \operatorname {Var} (Y|X=x) <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y|X=x)}</annotation></semantics></math><img src=$ Y sachant que X=x pour tout x de S comme suit :

{\displaystyle \operatorname {Var} (Y|X=x)=\operatorname {E} ((Y-\operatorname {E} (Y\mid X=x))^{2}\mid X=x)=\operatorname {E} (Y^{2}|X=x)-\operatorname {E} (Y|X=x)^{2}, <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo><mo>=</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mo>(</mo><mi>Y</mi><mo>−</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mo>∣</mo><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo><msup><mo>)</mo><mrow><mn>2</mn></mrow></msup><mo>∣</mo><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo><mo>=</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><msup><mi>Y</mi><mrow><mn>2</mn></mrow></msup><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo><mo>−</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><msup><mo>)</mo><mrow><mn>2</mn></mrow></msup><mo>,</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y|X=x)=\operatorname {E} ((Y-\operatorname {E} (Y\mid X=x))^{2}\mid X=x)=\operatorname {E} (Y^{2}|X=x)-\operatorname {E} (Y|X=x)^{2},}</annotation></semantics></math></span><img src=

où l'on se souvient que ${\displaystyle \operatorname {E} (Z\mid X=x) <semantics><mrow><mstyle><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Z</mi><mo>∣</mo><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {E} (Z\mid X=x)}</annotation></semantics></math><img src=$ Z sachant que X=x , qui est bien définie pour ${\displaystyle x\in S <semantics><mrow><mstyle><mi>x</mi><mo>∈</mo><mi>S</mi></mstyle></mrow><annotation>{\displaystyle x\in S}</annotation></semantics></math><img src=$ ${\displaystyle \operatorname {Var} (Y|X=x) <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y|X=x)}</annotation></semantics></math><img src=$ ${\displaystyle \operatorname {Var} _{Y\mid X}(Y|x). <semantics><mrow><mstyle><msub><mi>Var</mi><mrow><mi>Y</mi><mo>∣</mo><mi>X</mi></mrow></msub><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>x</mi><mo>)</mo><mo>.</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} _{Y\mid X}(Y|x).}</annotation></semantics></math><img src=$

Notez qu'ici ${\displaystyle \operatorname {Var} (Y|X=x) <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y|X=x)}</annotation></semantics></math><img src=$ x , et en particulier, ${\displaystyle \operatorname {Var} (Y|X=x) <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y|X=x)}</annotation></semantics></math><img src=$ pas une variable aléatoire.

Le lien de cette définition avec ${\displaystyle \operatorname {Var} (Y|X) <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y|X)}</annotation></semantics></math><img src=$ S défini comme ci-dessus et définissons la fonction ${\displaystyle v:S o \mathbb {R} <semantics><mrow><mstyle><mi>v</mi><mo>:</mo><mi>S</mi><mo>→</mo><mrow><mi>R</mi></mrow></mstyle></mrow><annotation>{\displaystyle v:S o \mathbb {R} }</annotation></semantics></math><img src=$ ${\displaystyle v(x)=\operatorname {Var} (Y|X=x) <semantics><mrow><mstyle><mi>v</mi><mo>(</mo><mi>x</mi><mo>)</mo><mo>=</mo><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle v(x)=\operatorname {Var} (Y|X=x)}</annotation></semantics></math><img src=$ ${\displaystyle v(X)=\operatorname {Var} (Y|X) <semantics><mrow><mstyle><mi>v</mi><mo>(</mo><mi>X</mi><mo>)</mo><mo>=</mo><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle v(X)=\operatorname {Var} (Y|X)}</annotation></semantics></math><img src=$

Définition utilisant des distributions conditionnelles

L'« espérance conditionnelle de Y sachant X=x » peut également être définie de manière plus générale en utilisant la distribution conditionnelle de Y sachant X (celle-ci existe dans ce cas, puisque X et Y sont tous deux à valeurs réelles).

En particulier, en laissant ${\displaystyle P_{Y|X <semantics><mrow><mstyle><msub><mi>P</mi><mrow><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi></mrow></msub></mstyle></mrow><annotation>{\displaystyle P_{Y|X}}</annotation></semantics></math><img src=$ ${\displaystyle P_{Y|X <semantics><mrow><mstyle><msub><mi>P</mi><mrow><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi></mrow></msub></mstyle></mrow><annotation>{\displaystyle P_{Y|X}}</annotation></semantics></math><img src=$ Y étant donné X , c'est-à-dire, ${\displaystyle P_{Y|X}:{\mathcal {B}} imes \mathbb {R} o [0,1] <semantics><mrow><mstyle><msub><mi>P</mi><mrow><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi></mrow></msub><mo>:</mo><mrow><mrow><mi>B</mi></mrow></mrow><mo>×</mo><mrow><mi>R</mi></mrow><mo>→</mo><mo>[</mo><mn>0</mn><mo>,</mo><mn>1</mn><mo>]</mo></mstyle></mrow><annotation>{\displaystyle P_{Y|X}:{\mathcal {B}} imes \mathbb {R} o [0,1]}</annotation></semantics></math><img src=$ ${\displaystyle P_{Y|X}(U,x)=P(Y\in U|X=x) <semantics><mrow><mstyle><msub><mi>P</mi><mrow><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi></mrow></msub><mo>(</mo><mi>U</mi><mo>,</mo><mi>x</mi><mo>)</mo><mo>=</mo><mi>P</mi><mo>(</mo><mi>Y</mi><mo>∈</mo><mi>U</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo></mstyle></mrow><annotation>{\displaystyle P_{Y|X}(U,x)=P(Y\in U|X=x)}</annotation></semantics></math><img src=$ X ), nous pouvons définir

${\displaystyle \operatorname {Var} (Y|X=x)=\int \left(y-\int y'P_{Y|X}(dy'|x) ight)^{2}P_{Y|X}(dy|x). <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi><mo>=</mo><mi>x</mi><mo>)</mo><mo>=</mo><mo>∫</mo><msup><mrow><mo>(</mo><mrow><mi>y</mi><mo>−</mo><mo>∫</mo><msup><mi>y</mi><mo>′</mo></msup><msub><mi>P</mi><mrow><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi></mrow></msub><mo>(</mo><mi>d</mi><msup><mi>y</mi><mo>′</mo></msup><mrow><mo>|</mo></mrow><mi>x</mi><mo>)</mo></mrow><mo>)</mo></mrow><mrow><mn>2</mn></mrow></msup><msub><mi>P</mi><mrow><mi>Y</mi><mrow><mo>|</mo></mrow><mi>X</mi></mrow></msub><mo>(</mo><mi>d</mi><mi>y</mi><mrow><mo>|</mo></mrow><mi>x</mi><mo>)</mo><mo>.</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y|X=x)=\int \left(y-\int y'P_{Y|X}(dy'|x) ight)^{2}P_{Y|X}(dy|x).}</annotation></semantics></math><img src=$

Cela peut bien sûr être spécialisé dans le cas où Y est lui-même discret (en remplaçant les intégrales par des sommes), et également lorsque la densité conditionnelle de Y étant donné X=x par rapport à une distribution sous-jacente existe.

Composantes de la variance

La loi de la variance totale dit

${\displaystyle \operatorname {Var} (Y)=\operatorname {E} (\operatorname {Var} (Y\mid X))+\operatorname {Var} (\operatorname {E} (Y\mid X)). <semantics><mrow><mstyle><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mo>)</mo><mo>=</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mo>∣</mo><mi>X</mi><mo>)</mo><mo>)</mo><mo>+</mo><mi>Var</mi><mo>⁡</mo><mo>(</mo><mi>E</mi><mo>⁡</mo><mo>(</mo><mi>Y</mi><mo>∣</mo><mi>X</mi><mo>)</mo><mo>)</mo><mo>.</mo></mstyle></mrow><annotation>{\displaystyle \operatorname {Var} (Y)=\operatorname {E} (\operatorname {Var} (Y\mid X))+\operatorname {Var} (\operatorname {E} (Y\mid X)).}</annotation></semantics></math><img src=$

En d'autres termes : la variance de Y est la somme de la variance conditionnelle attendue de Y sachant X et de la variance de l'espérance conditionnelle de Y sachant X. Le premier terme représente la variation restante après « l'utilisation de X pour prédire Y », tandis que le second terme représente la variation due à la moyenne de la prédiction de Y , elle-même due au caractère aléatoire de X.