Problème de comparaisons multiples

En statistique , le problème des comparaisons multiples , de la multiplicité ou des tests multiples se produit lorsque l'on considère simultanément un ensemble d' inférences statistiques ou que l'on estime un sous-ensemble de paramètres sélectionnés en fonction des valeurs observées

Plus le nombre d'inférences effectuées est élevé, plus le risque d'inférences erronées est élevé. Plusieurs techniques statistiques ont été développées pour résoudre ce problème, par exemple en exigeant un seuil de signification plus strict pour les comparaisons individuelles, afin de compenser le nombre d'inférences effectuées. Les méthodes de taux d'erreur par famille donnent la probabilité de faux positifs résultant du problème des comparaisons multiples.

Le problème des comparaisons multiples a reçu une attention accrue dans les années 1950 avec les travaux de statisticiens tels que Tukey et Scheffé . Au cours des décennies suivantes, de nombreuses procédures ont été développées pour résoudre le problème. En 1996, la première conférence internationale sur les procédures de comparaisons multiples a eu lieu à Tel-Aviv . Il s'agit d'un domaine de recherche actif avec des travaux effectués par exemple par Emmanuel Candès et Vladimir Vovk .

Les comparaisons multiples surviennent lorsqu'une analyse statistique implique plusieurs tests statistiques simultanés, chacun d'entre eux ayant le potentiel de produire une « découverte ». Un niveau de confiance déclaré s'applique généralement uniquement à chaque test considéré individuellement, mais il est souvent souhaitable d'avoir un niveau de confiance pour l'ensemble de la famille de tests simultanés. L'absence de compensation pour les comparaisons multiples peut avoir d'importantes conséquences dans le monde réel, comme l'illustrent les exemples suivants :

• Supposons que le traitement soit une nouvelle façon d'enseigner l'écriture aux élèves et que le groupe témoin soit la façon standard d'enseigner l'écriture. Les élèves des deux groupes peuvent être comparés en termes de grammaire, d'orthographe, d'organisation, de contenu, etc. Au fur et à mesure que davantage d'attributs sont comparés, il devient de plus en plus probable que les groupes de traitement et de contrôle semblent différer sur au moins un attribut en raison de la seule erreur d'échantillonnage aléatoire .
• Supposons que l'on considère l'efficacité d'un médicament en termes de réduction de l'un des nombreux symptômes d'une maladie. Plus le nombre de symptômes pris en compte est élevé, plus il devient probable que le médicament semble apporter une amélioration par rapport aux médicaments existants en termes d'au moins un symptôme.

Dans les deux exemples, à mesure que le nombre de comparaisons augmente, il devient plus probable que les groupes comparés semblent différer au moins sur un attribut. Notre confiance dans la généralisation d'un résultat à des données indépendantes devrait généralement être plus faible s'il est observé dans le cadre d'une analyse impliquant plusieurs comparaisons, plutôt que d'une analyse impliquant une seule comparaison.

Par exemple, si un test est effectué au niveau de 5 % et que l'hypothèse nulle correspondante est vraie, il n'y a que 5 % de risque de rejeter à tort l'hypothèse nulle. Cependant, si 100 tests sont chacun effectués au niveau de 5 % et que toutes les hypothèses nulles correspondantes sont vraies, le nombre attendu de rejets incorrects (également appelés faux positifs ou erreurs de type I ) est de 5. Si les tests sont statistiquement indépendants les uns des autres (c'est-à-dire qu'ils sont effectués sur des échantillons indépendants), la probabilité d'au moins un rejet incorrect est d'environ 99,4 %.

Le problème des comparaisons multiples s'applique également aux intervalles de confiance . Un seul intervalle de confiance avec un niveau de probabilité de couverture de 95 % contiendra la vraie valeur du paramètre dans 95 % des échantillons. Cependant, si l'on considère 100 intervalles de confiance simultanément, chacun avec une probabilité de couverture de 95 %, le nombre attendu d'intervalles non couvrants est de 5. Si les intervalles sont statistiquement indépendants les uns des autres, la probabilité qu'au moins un intervalle ne contienne pas le paramètre de population est de 99,4 %.

Des techniques ont été développées pour éviter l’inflation des taux de faux positifs et des taux de non-couverture qui se produisent avec de multiples tests statistiques.

Le tableau suivant définit les résultats possibles lors du test de plusieurs hypothèses nulles. Supposons que nous ayons un nombre m d'hypothèses nulles, notées par : H ₁ , H ₂ , ..., H _m . À l'aide d'un test statistique , nous rejetons l'hypothèse nulle si le test est déclaré significatif. Nous ne rejetons pas l'hypothèse nulle si le test n'est pas significatif. La somme de chaque type de résultat sur l'ensemble des H _i donne les variables aléatoires suivantes :

• m est le nombre total d'hypothèses testées
• V est le nombre de faux positifs (erreur de type I) (également appelés « fausses découvertes »)
• S est le nombre de vrais positifs (également appelés « vraies découvertes »)
• T est le nombre de faux négatifs (erreur de type II)
• U est le nombre de vrais négatifs

Dans m tests d'hypothèses dont les hypothèses sont vraies et nulles, R est une variable aléatoire observable et S , T , U et V sont des variables aléatoires inobservables .

La correction des tests multiples consiste à rendre les tests statistiques plus rigoureux afin de contrer le problème des tests multiples. L'ajustement le plus connu est la correction de Bonferroni , mais d'autres méthodes ont été développées. Ces méthodes sont généralement conçues pour contrôler le taux d'erreur par famille ou le taux de fausses découvertes .

Si m comparaisons indépendantes sont effectuées, le taux d'erreur par famille (FWER) est donné par

Par conséquent, à moins que les tests ne soient parfaitement dépendants positivement (c'est-à-dire identiques), augmente à mesure que le nombre de comparaisons augmente. Si nous ne supposons pas que les comparaisons sont indépendantes, nous pouvons toujours dire :

qui découle de l'inégalité de Boole . Exemple :

Il existe différentes manières de garantir que le taux d'erreur par famille est au plus égal à . La méthode la plus conservatrice, qui est exempte d'hypothèses de dépendance et de distribution, est la correction de Bonferroni . Une correction légèrement moins conservatrice peut être obtenue en résolvant l'équation du taux d'erreur par famille des comparaisons indépendantes pour . Cela donne , qui est connue sous le nom de correction de Šidák . Une autre procédure est la méthode Holm–Bonferroni , qui offre uniformément plus de puissance que la simple correction de Bonferroni, en testant uniquement la valeur p la plus basse ( ) par rapport au critère le plus strict, et les valeurs p les plus élevées ( ) par rapport à des critères progressivement moins stricts. . $1\mathrm{je}>1$1}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/dea233301b9ca8fe5dde94824f918c0ceaf7fd5f">

Pour les problèmes continus, on peut utiliser la logique bayésienne pour calculer à partir du rapport volume antérieur/volume postérieur. Des généralisations continues de la correction de Bonferroni et Šidák sont présentées dans

Les méthodes traditionnelles d'ajustement des comparaisons multiples se concentrent sur la correction d'un nombre modeste de comparaisons, souvent dans le cadre d'une analyse de variance . Un autre ensemble de techniques a été développé pour les « tests multiples à grande échelle », dans lesquels des milliers, voire davantage, de tests sont effectués. Par exemple, en génomique , en utilisant des technologies telles que les microarrays , il est possible de mesurer les niveaux d'expression de dizaines de milliers de gènes et les génotypes de millions de marqueurs génétiques. En particulier dans le domaine des études d'association génétique , un sérieux problème s'est posé avec la non-réplication, c'est-à-dire un résultat fortement significatif statistiquement dans une étude, mais qui ne se reproduit pas dans une étude de suivi. Cette non-réplication peut avoir de nombreuses causes, mais il est largement admis que l'incapacité à prendre pleinement en compte les conséquences des comparaisons multiples en est une. Il a été avancé que les progrès en matière de mesure et de technologie de l'information ont facilité la génération de grands ensembles de données pour l'analyse exploratoire , ce qui conduit souvent à tester un grand nombre d'hypothèses sans aucune base préalable permettant de s'attendre à ce que la plupart d'entre elles soient vraies. Dans cette situation, on s'attend à des taux de faux positifs très élevés, à moins que des ajustements de comparaisons multiples ne soient effectués.

Pour les problèmes de tests à grande échelle où l'objectif est de fournir des résultats définitifs, le taux d'erreur par famille reste le paramètre le plus accepté pour attribuer des niveaux de signification aux tests statistiques. Par ailleurs, si une étude est considérée comme exploratoire ou si des résultats significatifs peuvent être facilement re-testés dans une étude indépendante, le contrôle du taux de fausses découvertes (FDR) est souvent préféré. Le FDR, vaguement défini comme la proportion attendue de faux positifs parmi tous les tests significatifs, permet aux chercheurs d'identifier un ensemble de « positifs candidats » qui peuvent être évalués plus rigoureusement dans une étude de suivi.

La pratique consistant à essayer de nombreuses comparaisons non ajustées dans l'espoir d'en trouver une significative est un problème connu, qu'elle soit appliquée involontairement ou délibérément, et est parfois appelée « p-hacking ».

Une question fondamentale à laquelle on est confronté dès le début de l'analyse d'un grand nombre de résultats de tests est de savoir s'il existe des preuves que l'une des hypothèses alternatives est vraie. Un méta-test simple qui peut être appliqué lorsque l'on suppose que les tests sont indépendants les uns des autres consiste à utiliser la distribution de Poisson comme modèle pour le nombre de résultats significatifs à un niveau donné α qui serait trouvé lorsque toutes les hypothèses nulles sont vraies. Si le nombre observé de résultats positifs est sensiblement supérieur à ce qui devrait être attendu, cela suggère qu'il y a probablement des résultats positifs réels parmi les résultats significatifs.

Par exemple, si 1 000 tests indépendants sont effectués, chacun au niveau α = 0,05, nous nous attendons à ce que 0,05 × 1 000 = 50 tests significatifs se produisent lorsque toutes les hypothèses nulles sont vraies. Sur la base de la distribution de Poisson avec une moyenne de 50, la probabilité d'observer plus de 61 tests significatifs est inférieure à 0,05, donc si plus de 61 résultats significatifs sont observés, il est très probable que certains d'entre eux correspondent à des situations où l'hypothèse alternative est vraie. Un inconvénient de cette approche est qu'elle surestime la preuve que certaines des hypothèses alternatives sont vraies lorsque les statistiques de test sont positivement corrélées, ce qui se produit couramment dans la pratique. . D'un autre côté, l'approche reste valable même en présence de corrélation entre les statistiques de test, tant que la distribution de Poisson peut être démontrée comme fournissant une bonne approximation du nombre de résultats significatifs. Ce scénario se produit, par exemple, lors de l'extraction d'ensembles d'éléments fréquents significatifs à partir d'ensembles de données transactionnelles. De plus, une analyse minutieuse en deux étapes peut limiter le FDR à un niveau prédéfini.

Une autre approche courante qui peut être utilisée dans les situations où les statistiques de test peuvent être normalisées en scores Z consiste à créer un graphique quantile normal des statistiques de test. Si les quantiles observés sont nettement plus dispersés que les quantiles normaux, cela suggère que certains des résultats significatifs peuvent être de vrais positifs.