Variation expliquée

En statistique , la variation expliquée mesure la proportion dans laquelle un modèle mathématique rend compte de la variation ( dispersion ) d'un ensemble de données donné. Souvent, la variation est quantifiée sous forme de variance ; on peut alors utiliser le terme plus spécifique de variance expliquée .

La partie complémentaire de la variation totale est appelée variation inexpliquée ou résiduelle ; de même, lorsqu'on discute de la variance en tant que telle, on parle de variance inexpliquée ou résiduelle .

Suivant Kent (1983), nous utilisons les informations de Fraser (Fraser 1965)

où est la densité de probabilité d'une variable aléatoire , et avec ( ) sont deux familles de modèles paramétriques. La famille de modèles 0 est la plus simple, avec un espace de paramètres restreint .

Les paramètres sont déterminés par l'estimation du maximum de vraisemblance ,

Le gain d'information du modèle 1 par rapport au modèle 0 s'écrit comme

où un facteur de 2 est inclus pour plus de commodité. Γ est toujours non négatif ; il mesure dans quelle mesure le meilleur modèle de la famille 1 est meilleur que le meilleur modèle de la famille 0 pour expliquer g ( r ).

Supposons une variable aléatoire bidimensionnelle où X doit être considérée comme une variable explicative et Y comme une variable dépendante. Les modèles de la famille 1 « expliquent » Y en termes de X ,

alors que dans la famille 0, X et Y sont supposés indépendants. Nous définissons le caractère aléatoire de Y par , et le caractère aléatoire de Y , étant donné X , par . Alors,

peut être interprété comme une proportion de la dispersion des données qui est « expliquée » par X.

La fraction de variance inexpliquée est un concept établi dans le contexte de la régression linéaire . La définition habituelle du coefficient de détermination est basée sur le concept fondamental de variance expliquée.

Soit X un vecteur aléatoire et Y une variable aléatoire modélisée par une distribution normale de centre . Dans ce cas, la proportion de variation expliquée obtenue ci-dessus est égale au coefficient de corrélation au carré .

Notez les hypothèses fortes du modèle : le centre de la distribution Y doit être une fonction linéaire de X et pour tout x donné , la distribution Y doit être normale. Dans d'autres situations, il n'est généralement pas justifié d'interpréter comme une proportion de la variance expliquée.

La variance expliquée est couramment utilisée dans l'analyse en composantes principales . La relation avec le gain d'information de Fraser-Kent reste à clarifier.

Comme la fraction de « variance expliquée » est égale au carré du coefficient de corrélation , elle partage tous les inconvénients de ce dernier : elle reflète non seulement la qualité de la régression, mais aussi la distribution des variables indépendantes (de conditionnement).

Selon les mots d'un critique : « Cela donne le "pourcentage de variance expliqué" par la régression, une expression qui, pour la plupart des chercheurs en sciences sociales, a une signification douteuse mais une grande valeur rhétorique. Si ce nombre est grand, la régression donne un bon ajustement, et il n'y a pas grand intérêt à rechercher des variables supplémentaires. D'autres équations de régression sur des ensembles de données différents sont considérées comme moins satisfaisantes ou moins puissantes si leur est plus faible. Rien ne vient étayer ces affirmations ». Et, après avoir construit un exemple où est amélioré simplement en considérant conjointement les données de deux populations différentes : « La "variance expliquée" n'explique rien ».