Test exact

( Découvrez comment et quand supprimer ce message )

Un test exact (de signification) est un test statistique tel que si l' hypothèse nulle est vraie, alors toutes les hypothèses faites lors de la dérivation de la distribution de la statistique de test sont vérifiées. L'utilisation d'un test exact fournit un test de signification qui maintient le taux d'erreur de type I du test ( ) au niveau de signification souhaité du test. Par exemple, un test exact à un niveau de signification de , lorsqu'il est répété sur de nombreux échantillons où l' hypothèse nulle est vraie, sera rejeté la plupart du temps. Cela contraste avec un test approximatif dans lequel le taux d'erreur de type I souhaité n'est maintenu qu'approximativement (c'est-à-dire que le test peut rejeter > 5 % du temps), alors que cette approximation peut être rendue aussi proche que souhaité en augmentant suffisamment la taille de l'échantillon. ${\displaystyle \alpha <semantics> <mrow> <mstyle> <mi>α</mi> </mstyle> </mrow> <annotation>{\displaystyle \alpha }</annotation> </semantics> </math><img src=$ ${\displaystyle \alpha =5\% <semantics> <mrow> <mstyle> <mi>α</mi> <mo>=</mo> <mn>5</mn> <mi>%</mi> </mstyle> </mrow> <annotation>{\displaystyle \alpha =5\%}</annotation> </semantics> </math><img src=$ ${\displaystyle 5\% <semantics> <mrow> <mstyle> <mn>5</mn> <mi>%</mi> </mstyle> </mrow> <annotation>{\displaystyle 5\%}</annotation> </semantics> </math><img src=$ ${\displaystyle \alpha <semantics> <mrow> <mstyle> <mi>α</mi> </mstyle> </mrow> <annotation>{\displaystyle \alpha }</annotation> </semantics> </math><img src=$

Les tests exacts basés sur des statistiques de test discrètes peuvent être conservateurs, ce qui indique que le taux de rejet réel se situe en dessous du niveau de signification nominal . C'est par exemple le cas du test exact de Fisher et de son alternative plus puissante, le test de Boschloo . Si la statistique du test est continue, elle atteindra exactement le niveau de signification. ${\displaystyle \alpha <semantics> <mrow> <mstyle> <mi>α</mi> </mstyle> </mrow> <annotation>{\displaystyle \alpha }</annotation> </semantics> </math><img src=$

Les tests paramétriques , tels que ceux utilisés dans les statistiques exactes , sont des tests exacts lorsque les hypothèses paramétriques sont entièrement vérifiées, mais dans la pratique, l'utilisation du terme test exact (de signification) est réservée aux tests non paramétriques, c'est-à-dire aux tests qui ne reposent pas sur des hypothèses paramétriques . Cependant, dans la pratique, la plupart des implémentations de logiciels de tests non paramétriques utilisent des algorithmes asymptotiques pour obtenir la valeur de signification, ce qui rend le test non exact.

Ainsi, lorsqu'un résultat d'analyse statistique est qualifié de « test exact » ou spécifie une « valeur p exacte », cela implique que le test est défini sans hypothèses paramétriques et est évalué sans recourir à des algorithmes approximatifs. En principe, cependant, cela pourrait également signifier qu'un test paramétrique a été utilisé dans une situation où toutes les hypothèses paramétriques sont pleinement satisfaites, mais il est dans la plupart des cas impossible de le prouver complètement dans une situation réelle. Les exceptions dans lesquelles il est certain que les tests paramétriques sont exacts incluent les tests basés sur les distributions binomiales ou de Poisson. Le terme test de permutation est parfois utilisé comme synonyme de test exact, mais il faut garder à l'esprit que tous les tests de permutation sont des tests exacts, mais que tous les tests exacts ne sont pas des tests de permutation.

Formulation

L'équation de base sous-jacente aux tests exacts est

{\displaystyle \Pr({ ext{exact}})=\sum _{\mathbf {y} \,:\,T(\mathbf {y} )\geq T(\mathbf {x)} }\Pr(\mathbf {y} ) <semantics> <mrow> <mstyle> <mo>Pr</mo> <mo>(</mo> <mrow> <mtext>exact</mtext> </mrow> <mo>)</mo> <mo>=</mo> <munder> <mo>∑</mo> <mrow> <mrow> <mi>et</mi> </mrow> <mspace></mspace> <mo>:</mo> <mspace></mspace> <mi>T</mi> <mo>(</mo> <mrow> <mi>et</mi> </mrow> <mo>)</mo> <mo>≥</mo> <mi>T</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </munder> <mo>Pr</mo> <mo>(</mo> <mrow> <mi>et</mi> </mrow> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \Pr({ ext{exact}})=\sum _{\mathbf {y} \,:\,T(\mathbf {y} )\geq T(\mathbf {x)} }\Pr (\mathbf {y} )}</annotation> </semantics> </math></span><img src=

où:

x est le résultat réellement observé,
Pr( y ) est la probabilité sous l'hypothèse nulle d'un résultat potentiellement observé y ,
T ( y ) est la valeur de la statistique de test pour un résultat y , les valeurs plus grandes de T représentant les cas qui représentent théoriquement des écarts plus importants par rapport à l'hypothèse nulle,

et où la somme s'étend sur tous les résultats y (y compris celui observé) qui ont la même valeur de la statistique de test obtenue pour l'échantillon observé x , ou une valeur plus grande.

Exemple : test du chi carré de Pearson versus test exact

Un exemple simple de ce concept implique l'observation que le test du chi carré de Pearson est un test approximatif. Supposons que le test du chi carré de Pearson soit utilisé pour déterminer si un dé à six faces est « juste », indiquant qu'il rend chacun des six résultats possibles avec la même fréquence. Si le dé est lancé n fois, alors on « s'attend » à voir chaque résultat n /6 fois. La statistique du test est

{\displaystyle \sum {\frac {({ ext{observed}}-{ ext{expected}})^{2}}{ ext{expected}}}=\sum _{k=1}^{6}{\frac {(X_{k}-n/6)^{2}}{n/6}}, <semantics> <mrow> <mstyle> <mo>∑</mo> <mrow> <mfrac> <mrow> <mo>(</mo> <mrow> <mtext>observé</mtext> </mrow> <mo>−</mo> <mrow> <mtext>attendu</mtext> </mrow> <msup> <mo>)</mo> <mrow> <mn>2</mn> </mrow> </msup> </mrow> <mtext>attendu</mtext> </mfrac> </mrow> <mo>=</mo> <munderover> <mo>∑</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mn>6</mn> </mrow> </munderover> <mrow> <mfrac> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>k</mi> </mrow> </msub> <mo>−</mo> <mi>n</mi> <mrow> <mo>/</mo> </mrow> <mn>6</mn> <msup> <mo>)</mo> <mrow> <mn>2</mn> </mrow> </msup> </mrow> <mrow> <mi>n</mi> <mrow> <mo>/</mo> </mrow> <mn>6</mn> </mrow> </mfrac> </mrow> <mo>,</mo> </mstyle> </mrow> <annotation>{\displaystyle \sum {\frac {({ ext{observé}}-{ ext{attendu}})^{2}}{ ext{attendu}}}=\sum _{k=1}^{6}{\frac {(X_{k}-n/6)^{2}}{n/6}},}</annotation> </semantics> </math></span><img src=

où X _k est le nombre de fois que le résultat k est observé. Si l'hypothèse nulle d'"équité" est vraie, alors la distribution de probabilité de la statistique de test peut être rendue aussi proche que souhaité de la distribution du khi-carré à 5 degrés de liberté en rendant la taille de l'échantillon n suffisamment grande. D'un autre côté, si n est petit, alors les probabilités basées sur les distributions du khi-carré peuvent ne pas être des approximations suffisamment proches. Trouver la probabilité exacte que cette statistique de test dépasse une certaine valeur nécessiterait alors une énumération combinatoire de tous les résultats de l'expérience qui donne lieu à une valeur aussi élevée de la statistique de test. On peut alors se demander si la même statistique de test doit être utilisée. Un test du rapport de vraisemblance pourrait être préféré, et la statistique de test pourrait ne pas être une fonction monotone de celle ci-dessus.

Exemple : test exact de Fisher

Le test exact de Fisher , basé sur les travaux de Ronald Fisher et EJG Pitman dans les années 1930, est exact car la distribution d'échantillonnage (conditionnelle aux valeurs marginales) est connue avec exactitude. Il convient de le comparer au test du khi-carré de Pearson , qui (bien qu'il teste la même valeur nulle) n'est pas exact car la distribution de la statistique de test n'est correcte qu'asymptotiquement.