dragage de données

La procédure classique de test d'hypothèses statistiques utilisant la probabilité fréquentiste consiste à formuler une hypothèse de recherche, telle que « les personnes appartenant aux classes sociales supérieures vivent plus longtemps », puis à collecter les données pertinentes. Enfin, un test de signification statistique est effectué pour évaluer la probabilité que les résultats soient dus au seul hasard (également appelé test contre l'hypothèse nulle).

Un point essentiel de toute analyse statistique rigoureuse est de tester une hypothèse à l'aide de données différentes de celles utilisées pour son élaboration. Ceci est crucial car tout ensemble de données présente des variations dues au hasard. Si l'hypothèse n'est pas testée sur un autre ensemble de données issu de la même population statistique , il est impossible d'évaluer la probabilité que le hasard seul produise de telles variations.

Par exemple, si l'on obtient cinq lancers de pièce avec deux faces et trois piles, on pourrait supposer que la pièce favorise le pile dans une proportion de 3/5 contre 2/5. Si cette hypothèse est ensuite testée sur les données existantes, elle est confirmée, mais cette confirmation est dénuée de sens. La procédure correcte aurait consisté à formuler au préalable une hypothèse sur la probabilité d'obtenir pile, puis à lancer la pièce plusieurs fois pour vérifier si l'hypothèse est rejetée ou non. Si l'on observe trois piles et deux faces, on pourrait formuler une autre hypothèse, selon laquelle la probabilité d'obtenir pile est de 3/5, mais celle-ci ne pourrait être testée que par une nouvelle série de lancers. La signification statistique obtenue avec cette procédure incorrecte est totalement fallacieuse : les tests de signification ne protègent pas contre la manipulation des données.

L'arrêt optionnel est une pratique qui consiste à collecter des données jusqu'à ce qu'un critère d'arrêt soit atteint. Bien qu'il s'agisse d'une procédure valide, elle est facilement mal utilisée. Le problème est que la p -valeur d'un test statistique arrêté de manière optionnelle est plus élevée qu'il n'y paraît. Intuitivement, cela s'explique par le fait que la p -valeur est censée être la somme de tous les événements au moins aussi rares que l'événement observé. Avec l'arrêt optionnel, il existe des événements encore plus rares, difficiles à prendre en compte (c'est-à-dire ne pas déclencher la règle d'arrêt optionnel), ce qui permet de collecter davantage de données avant l'arrêt. Négliger ces événements conduit à une p -valeur trop faible. En fait, si l'hypothèse nulle est vraie, n'importe quel seuil de signification peut être atteint si l'on est autorisé à continuer à collecter des données et à s'arrêter lorsque la p -valeur souhaitée (calculée comme si l'on avait toujours prévu de collecter exactement cette quantité de données) est obtenue. Pour un exemple concret de test d' équilibre , voir la section « et « Arrêt optionnel » .

En d'autres termes, le calcul correct de la valeur p nécessite de prendre en compte les contrefactuels, c'est-à-dire les actions que l'expérimentateur aurait pu entreprendre face à des données qui auraient pu être obtenues. Prendre en compte ces contrefactuels est complexe, même pour les chercheurs les plus consciencieux. L'un des avantages de la pré-inscription est de permettre la prise en compte de tous les contrefactuels, garantissant ainsi un calcul correct de la valeur p .

Le problème de l’arrêt prématuré ne se limite pas aux fautes professionnelles des chercheurs. Il existe souvent des pressions pour interrompre l’étude prématurément si le coût de la collecte des données est élevé. Certains comités d’éthique animale imposent même un arrêt prématuré si l’étude obtient un résultat significatif en cours d’étude.

Si des données sont supprimées après avoir déjà fait l'objet d'une analyse, par exemple sous prétexte de « suppression des valeurs aberrantes », le taux de faux positifs augmente. Les valeurs aberrantes ne devraient être supprimées d'un ensemble de données qu'après avoir été correctement identifiées et avoir constaté qu'une cause spéciale est à l'origine de ces variations inhabituelles. Remplacer les valeurs aberrantes par des données de remplacement augmente encore davantage le taux de faux positifs.

Si un ensemble de données comporte plusieurs caractéristiques, une ou plusieurs d'entre elles peuvent servir de critère de regroupement et potentiellement produire un résultat statistiquement significatif. Par exemple, si un ensemble de données de patients enregistre leur âge et leur sexe, un chercheur peut envisager de les regrouper par âge et vérifier si le taux de guérison est corrélé à l'âge. Si ce regroupement ne donne rien, le chercheur peut alors vérifier s'il existe une corrélation avec le sexe. Si aucune corrélation n'est observée, il peut envisager d'en rechercher une après ajustement pour le sexe, et ainsi de suite. Le nombre de regroupements possibles croît exponentiellement avec le nombre de caractéristiques.

Un biais est une erreur systématique dans l'analyse. Par exemple, les médecins ont orienté les patients séropositifs à haut risque cardiovasculaire vers un traitement spécifique contre le VIH, l'abacavir , et les patients à plus faible risque vers d'autres médicaments, empêchant ainsi une évaluation simple de l'abacavir par rapport aux autres traitements. Une analyse n'ayant pas corrigé ce biais a injustement pénalisé l'abacavir, car les patients traités par ce médicament étaient plus à haut risque et donc plus susceptibles d'avoir subi un infarctus. Ce problème peut être très grave, notamment dans les études observationnelles .

Les données manquantes, les facteurs de confusion non mesurés et les pertes de suivi peuvent également entraîner des biais. La sélection d'articles présentant des valeurs p significatives conduit à l'exclusion des études négatives, ce qui constitue un biais de publication . Ce biais est également connu sous le nom de biais de publication , car les résultats présentant des valeurs p moins significatives sont laissés de côté et ne sont jamais publiés.

Un autre aspect du conditionnement des tests statistiques par la connaissance des données se manifeste lors de l'utilisation de l' Une étape cruciale consiste à déterminer les covariables à inclure dans une relation expliquant une ou plusieurs autres variables. Des considérations à la fois statistiques (voir la régression pas à pas ) et substantielles incitent les auteurs à privilégier certains de leurs modèles, et les tests statistiques sont largement utilisés. Cependant, exclure une ou plusieurs variables d'une relation explicative sur la base des données signifie qu'on ne peut pas appliquer valablement les procédures statistiques standard aux variables conservées comme si de rien n'était. De fait, les variables conservées ont dû réussir une sorte de test préliminaire (éventuellement intuitif et imprécis) auquel les variables exclues ont échoué. En 1966, Selvin et Stuart ont comparé les variables conservées dans le modèle aux poissons qui ne passent pas à travers le filet – en ce sens que leurs effets sont nécessairement plus importants que ceux des poissons qui passent à travers le filet. Cela modifie non seulement les performances de tous les tests ultérieurs sur le modèle explicatif retenu, mais peut également introduire un biais et modifier l'erreur quadratique moyenne dans l'estimation.

En météorologie , les hypothèses sont souvent formulées à partir des données météorologiques actuelles et testées par rapport aux données futures, ce qui garantit que, même inconsciemment, les données futures ne pourraient pas influencer la formulation de l'hypothèse. Bien entendu, cette discipline implique d'attendre l'arrivée de nouvelles données pour démontrer le pouvoir prédictif de la théorie formulée par rapport à l' hypothèse nulle . Ce processus permet d'éviter toute accusation de manipulation du modèle prédictif par le chercheur , puisque les prévisions météorologiques à venir ne sont pas encore connues.

Prenons un autre exemple : supposons que des observateurs constatent une concentration de cas de cancer dans une ville donnée , sans toutefois pouvoir expliquer ce phénomène. Ils ont cependant accès à une grande quantité de données démographiques concernant cette ville et ses environs, contenant des mesures pour la zone de centaines, voire de milliers, de variables différentes, pour la plupart non corrélées. Même si toutes ces variables sont indépendantes du taux d’incidence du cancer, il est fort probable qu’au moins une d’entre elles soit significativement corrélée à ce taux dans la région. Bien que cela puisse suggérer une hypothèse, des tests supplémentaires, utilisant les mêmes variables mais des données provenant d’un autre lieu, sont nécessaires pour la confirmer. Notons qu’une valeur p de 0,01 indique qu’un résultat aussi extrême pourrait être obtenu par hasard dans 1 % des cas ; si des centaines, voire des milliers d’hypothèses (avec des variables indépendantes relativement non corrélées entre elles) sont testées, il est probable d’obtenir une valeur p inférieure à 0,01 pour de nombreuses hypothèses nulles.

Le problème du « p -hacking » est malheureusement fréquent dans le développement et la recherche pharmaceutiques. Des médicaments sans effet discernable peuvent présenter un effet statistiquement significatif lorsqu'on effectue des centaines, voire des milliers, d'analyses sur les mêmes données, en utilisant différents groupes cibles, critères d'évaluation principaux, ajustements liés à l'âge et une multitude d'autres variables pouvant être sélectionnées ou supprimées pour obtenir un résultat pertinent. Même lorsqu'un médicament n'a aucun effet mesurable, un nombre suffisant d'analyses permettra de trouver un effet important et statistiquement significatif (par exemple : « le médicament a significativement amélioré la fonction mnésique chez les femmes de plus de 40 ans », alors que la fonction mnésique n'était pas le critère d'évaluation principal initial). Ceci ne nécessite aucune falsification des données, ni l'omission de résultats gênants. Le « p -hacking » repose simplement sur la répétition des analyses des mêmes données jusqu'à ce que le chercheur trouve la corrélation avec la « meilleure » ​​valeur p . L'analyse est ainsi ajustée aux données, sans que celles-ci soient manipulées.