Test F

Un test F est un test statistique utilisé pour comparer les variances de deux échantillons ou le rapport des variances entre plusieurs échantillons. La statistique de test , variable aléatoire F, est utilisée pour déterminer si les données testées ont une distribution F sous l' hypothèse nulle vraie et les hypothèses habituelles vraies sur le terme d'erreur (ε). Il est le plus souvent utilisé lors de la comparaison de modèles statistiques qui ont été ajustés à un ensemble de données , afin d'identifier le modèle qui correspond le mieux à la population à partir de laquelle les données ont été échantillonnées. Les « tests F » exacts surviennent principalement lorsque les modèles ont été ajustés aux données en utilisant les moindres carrés . Le nom a été inventé par George W. Snedecor , en l'honneur de Ronald Fisher . Fisher a initialement développé la statistique comme le rapport de variance dans les années 1920.

Des exemples courants de l’utilisation des tests F incluent l’étude des cas suivants

• 

  Hypothèse selon laquelle les moyennes d'un ensemble donné de populations normalement distribuées , toutes ayant le même écart type , sont égales. Il s'agit peut-être du test F le plus connu , et il joue un rôle important dans l' analyse de la variance (ANOVA).
  • Le test F de l'analyse de la variance (ANOVA) suit trois hypothèses
    1. Normalité (statistiques)
    2. Homogénéité de la variance
    3. Indépendance des erreurs et échantillonnage aléatoire

• Hypothèse selon laquelle un modèle de régression proposé s'adapte bien aux données . Voir Somme des carrés inadaptée .
• L'hypothèse selon laquelle un ensemble de données dans une analyse de régression suit le plus simple des deux modèles linéaires proposés qui sont imbriqués l'un dans l'autre.
• Les tests de comparaison multiple sont effectués en utilisant les données nécessaires dans le test F déjà terminé, si le test F conduit au rejet de l'hypothèse nulle et que le facteur étudié a un impact sur la variable dépendante.
  • « comparaisons a priori » / « comparaisons planifiées » - un ensemble particulier de comparaisons
  • « comparaisons par paires » – toutes les comparaisons possibles
    • test de différence la moins significative de Fisher (LSD), test de différence honnêtement significative de Tukey (HSD) , test de Newman Keuls , test de Ducan
  • « comparaisons a posteriori » / « comparaisons post hoc » / « comparaisons exploratoires » - choisir les comparaisons après avoir examiné les données
    • la méthode de Scheffé

Le test F est sensible à la non-normalité . Dans l' analyse de la variance (ANOVA), les tests alternatifs incluent le test de Levene , le test de Bartlett et le test de Brown-Forsythe . Cependant, lorsque l'un de ces tests est effectué pour tester l'hypothèse sous-jacente d' homoscédasticité ( c'est-à-dire l'homogénéité de la variance), en tant qu'étape préliminaire au test des effets moyens, il y a une augmentation du taux d'erreur de type I au niveau de l'expérience .

La plupart des tests F sont obtenus en considérant une décomposition de la variabilité dans un ensemble de données en termes de sommes de carrés . La statistique de test dans un test F est le rapport de deux sommes de carrés mises à l'échelle reflétant différentes sources de variabilité. Ces sommes de carrés sont construites de telle sorte que la statistique tende à être plus grande lorsque l'hypothèse nulle n'est pas vraie. Pour que la statistique suive la distribution F sous l'hypothèse nulle, les sommes de carrés doivent être statistiquement indépendantes et chacune doit suivre une distribution χ² mise à l'échelle . Cette dernière condition est garantie si les valeurs des données sont indépendantes et normalement distribuées avec une variance commune .

La formule de la statistique du test F de l'ANOVA à un facteur est

ou

La « variance expliquée » ou « variabilité entre les groupes » est

où désigne la moyenne de l'échantillon dans le i -ème groupe, est le nombre d'observations dans le i -ème groupe, désigne la moyenne globale des données et désigne le nombre de groupes.

La « variance inexpliquée » ou « variabilité au sein du groupe » est

où est la j ^-ième observation dans le i ^-ième groupe et est la taille globale de l'échantillon. Cette statistique F suit la distribution F avec degrés de liberté et sous l'hypothèse nulle. La statistique sera grande si la variabilité entre les groupes est grande par rapport à la variabilité au sein du groupe, ce qui est peu probable si les moyennes de population des groupes ont toutes la même valeur.

Le résultat du test F peut être déterminé en comparant la valeur F calculée et la valeur F critique avec un niveau de signification spécifique (par exemple 5 %). Le tableau F sert de guide de référence contenant les valeurs F critiques pour la distribution de la statistique F sous l'hypothèse d'une véritable hypothèse nulle. Il est conçu pour aider à déterminer le seuil au-delà duquel la statistique F devrait dépasser un pourcentage contrôlé du temps (par exemple 5 %) lorsque l'hypothèse nulle est exacte. Pour localiser la valeur F critique dans le tableau F, il faut utiliser les degrés de liberté respectifs. Cela implique d'identifier la ligne et la colonne appropriées dans le tableau F qui correspondent au niveau de signification testé (par exemple 5 %).

Comment utiliser les valeurs critiques F :

Si la statistique F < la valeur critique F

• Ne pas rejeter l'hypothèse nulle
• Rejeter l’hypothèse alternative
• Il n'y a pas de différences significatives entre les moyennes des échantillons
• Les différences observées entre les moyennes des échantillons pourraient raisonnablement être causées par le hasard lui-même
• Le résultat n'est pas statistiquement significatif

Si la statistique F > la valeur critique F

• Accepter l’hypothèse alternative
• Rejeter l’hypothèse nulle
• Il existe des différences significatives entre les moyennes des échantillons
• Les différences observées entre les moyennes des échantillons ne peuvent raisonnablement pas être causées par le hasard lui-même.
• Le résultat est statistiquement significatif

Notez que lorsqu'il n'y a que deux groupes pour le test F ANOVA à un facteur , où t est la statistique de Student .

• Efficacité de comparaison multi-groupes : Faciliter la comparaison simultanée de plusieurs groupes, améliorant ainsi l'efficacité, en particulier dans les situations impliquant plus de deux groupes.
• Clarté dans la comparaison de variance : offrir une interprétation simple des différences de variance entre les groupes, contribuant à une compréhension claire des modèles de données observés.
• Polyvalence entre les disciplines : Démontrer une large applicabilité dans divers domaines, notamment les sciences sociales, les sciences naturelles et l’ingénierie.

• Sensibilité aux hypothèses : Le test F est très sensible à certaines hypothèses, telles que l’homogénéité de la variance et la normalité, qui peuvent affecter la précision des résultats du test.
• Portée limitée aux comparaisons de groupes : le test F est conçu pour comparer les variances entre les groupes, ce qui le rend moins adapté aux analyses au-delà de cette portée spécifique.
• Défis d'interprétation : Le test F ne permet pas d'identifier des paires de groupes spécifiques présentant des variances distinctes. Une interprétation prudente est nécessaire et des tests post-hoc supplémentaires sont souvent indispensables pour une compréhension plus détaillée des différences entre les groupes.

Le test F dans l'analyse de la variance à un facteur ( ANOVA ) est utilisé pour évaluer si les valeurs attendues d'une variable quantitative au sein de plusieurs groupes prédéfinis diffèrent les unes des autres. Par exemple, supposons qu'un essai médical compare quatre traitements. Le test F de l'ANOVA peut être utilisé pour évaluer si l'un des traitements est en moyenne supérieur ou inférieur aux autres par rapport à l'hypothèse nulle selon laquelle les quatre traitements produisent la même réponse moyenne. Il s'agit d'un exemple de test « omnibus », ce qui signifie qu'un seul test est effectué pour détecter l'une des nombreuses différences possibles. Alternativement, nous pourrions effectuer des tests par paires parmi les traitements (par exemple, dans l'exemple de l'essai médical avec quatre traitements, nous pourrions effectuer six tests parmi des paires de traitements). L'avantage du test F de l'ANOVA est que nous n'avons pas besoin de spécifier à l'avance quels traitements doivent être comparés, et nous n'avons pas besoin d'ajuster pour faire des comparaisons multiples . L'inconvénient du test F de l'ANOVA est que si nous rejetons l' hypothèse nulle , nous ne savons pas quels traitements peuvent être considérés comme significativement différents des autres, ni, si le test F est effectué au niveau α, nous ne pouvons pas affirmer que la paire de traitements avec la plus grande différence moyenne est significativement différente au niveau α.

Considérons deux modèles, 1 et 2, où le modèle 1 est « imbriqué » dans le modèle 2. Le modèle 1 est le modèle restreint et le modèle 2 est le modèle non restreint. Autrement dit, le modèle 1 a p ₁ paramètres et le modèle 2 a p ₂ paramètres, où p ₁ < p ₂ , et pour tout choix de paramètres dans le modèle 1, la même courbe de régression peut être obtenue par un choix des paramètres du modèle 2.

Un contexte courant à cet égard est celui de la détermination de la pertinence d'un modèle par rapport aux données de manière significativement meilleure qu'un modèle naïf, dans lequel le seul terme explicatif est le terme d'interception, de sorte que toutes les valeurs prédites pour la variable dépendante sont égales à la moyenne de l'échantillon de cette variable. Le modèle naïf est le modèle restreint, puisque les coefficients de toutes les variables explicatives potentielles sont limités à zéro.

Un autre contexte courant consiste à déterminer s'il existe une rupture structurelle dans les données : dans ce cas, le modèle restreint utilise toutes les données dans une seule régression, tandis que le modèle non restreint utilise des régressions distinctes pour deux sous-ensembles différents de données. Cette utilisation du test F est connue sous le nom de test de Chow .

Le modèle avec plus de paramètres sera toujours capable d'ajuster les données au moins aussi bien que le modèle avec moins de paramètres. Ainsi, le modèle 2 donnera généralement un meilleur ajustement (c'est-à-dire une erreur plus faible) aux données que le modèle 1. Mais on souhaite souvent déterminer si le modèle 2 donne un ajustement significativement meilleur aux données. Une approche de ce problème consiste à utiliser un test F.

S'il y a n points de données pour estimer les paramètres des deux modèles, alors on peut calculer la statistique F , donnée par

où RSS _i est la somme résiduelle des carrés du modèle i . Si le modèle de régression a été calculé avec des pondérations, remplacez RSS _i par χ ² , la somme pondérée des carrés des résidus. Sous l'hypothèse nulle que le modèle 2 ne fournit pas un ajustement significativement meilleur que le modèle 1, F aura une distribution F , avec ( p ₂ − p ₁ , n − p ₂ ) degrés de liberté . L'hypothèse nulle est rejetée si la valeur F calculée à partir des données est supérieure à la valeur critique de la distribution F pour une probabilité de faux rejet souhaitée (par exemple 0,05). Étant donné que F est une fonction monotone de la statistique du rapport de vraisemblance, le test F est un test du rapport de vraisemblance .