Validation croisée (statistiques)

La validation croisée , parfois appelée estimation de rotation ou test hors échantillon , est l'une des nombreuses techniques de validation de modèle similaires permettant d'évaluer la manière dont les résultats d'une analyse statistique se généraliseront à un ensemble de données indépendant. La validation croisée comprend des méthodes de rééchantillonnage et de fractionnement d'échantillons qui utilisent différentes parties des données pour tester et entraîner un modèle sur différentes itérations. Elle est souvent utilisée dans des contextes où l'objectif est la prédiction et où l'on souhaite estimer avec quelle précision un modèle prédictif fonctionnera dans la pratique. Elle peut également être utilisée pour évaluer la qualité d'un modèle ajusté et la stabilité de ses paramètres.

Dans un problème de prédiction, un modèle reçoit généralement un ensemble de données de données connues sur lesquelles l'entraînement est exécuté ( ensemble de données d'entraînement ) et un ensemble de données de données inconnues (ou premières données vues) sur lesquelles le modèle est testé (appelé ensemble de données de validation ou ensemble de test ). L'objectif de la validation croisée est de tester la capacité du modèle à prédire de nouvelles données qui n'ont pas été utilisées pour l'estimer, afin de signaler des problèmes tels que le surajustement ou le biais de sélection et de donner un aperçu de la manière dont le modèle se généralisera à un ensemble de données indépendant (c'est-à-dire un ensemble de données inconnu, par exemple à partir d'un problème réel).

Un cycle de validation croisée consiste à partitionner un échantillon de données en sous-ensembles complémentaires , à effectuer l'analyse sur un sous-ensemble (appelé ensemble d'apprentissage ) et à valider l'analyse sur l'autre sous-ensemble (appelé ensemble de validation ou ensemble de test ). Pour réduire la variabilité , dans la plupart des méthodes, plusieurs cycles de validation croisée sont effectués à l'aide de partitions différentes, et les résultats de validation sont combinés (par exemple, moyennés) au cours des cycles pour donner une estimation des performances prédictives du modèle.

En résumé, la validation croisée combine (moyenne) des mesures de fitness dans la prédiction pour obtenir une estimation plus précise des performances de prédiction du modèle.

Supposons un modèle avec un ou plusieurs paramètres inconnus et un ensemble de données auquel le modèle peut être ajusté (l'ensemble de données d'apprentissage). Le processus d'ajustement optimise les paramètres du modèle pour que le modèle s'adapte le mieux possible aux données d'apprentissage. Si un échantillon indépendant de données de validation est prélevé dans la même population que les données d'apprentissage, il s'avère généralement que le modèle ne s'adapte pas aussi bien aux données de validation qu'aux données d'apprentissage. L'ampleur de cette différence est susceptible d'être importante, en particulier lorsque la taille de l'ensemble de données d'apprentissage est petite ou lorsque le nombre de paramètres dans le modèle est important. La validation croisée est un moyen d'estimer l'ampleur de cet effet.

Dans la régression linéaire, il existe des valeurs de réponse réelles et des covariables vectorielles n p -dimensionnelles x ₁ , ..., x _n . Les composantes du vecteur x _i sont notées x _{i 1} , ..., x _ip . Si la méthode des moindres carrés est utilisée pour ajuster une fonction sous la forme d'un hyperplan ŷ = a + β ^T x aux données ( x _i , y _i ) _{1 ≤ i ≤ n} , alors l'ajustement peut être évalué à l'aide de l' erreur quadratique moyenne (MSE). L'erreur quadratique moyenne pour des valeurs de paramètres estimées données a et β sur l'ensemble d'apprentissage ( x _i , y _i ) _{1 ≤ i ≤ n} est définie comme suit :

Si le modèle est correctement spécifié, il peut être démontré sous des hypothèses modérées que la valeur attendue de l'erreur quadratique moyenne pour l'ensemble d'apprentissage est ( n − p − 1)/( n + p + 1) < 1 fois la valeur attendue de l'erreur quadratique moyenne pour l'ensemble de validation (la valeur attendue est prise sur la distribution des ensembles d'apprentissage). Ainsi, un modèle ajusté et une erreur quadratique moyenne calculée sur l'ensemble d'apprentissage donneront lieu à une évaluation biaisée de manière optimiste de la façon dont le modèle s'adaptera à un ensemble de données indépendant. Cette estimation biaisée est appelée estimation de l'ajustement dans l'échantillon , tandis que l'estimation de validation croisée est une estimation hors échantillon .

Étant donné que dans la régression linéaire, il est possible de calculer directement le facteur ( n − p − 1)/( n + p + 1) par lequel l'erreur quadratique moyenne d'apprentissage sous-estime l'erreur quadratique moyenne de validation sous l'hypothèse que la spécification du modèle est valide, la validation croisée peut être utilisée pour vérifier si le modèle a été surajusté , auquel cas l'erreur quadratique moyenne dans l'ensemble de validation dépassera considérablement sa valeur anticipée. (La validation croisée dans le contexte de la régression linéaire est également utile dans la mesure où elle peut être utilisée pour sélectionner une fonction de coût régularisée de manière optimale .)

Dans la plupart des autres procédures de régression (par exemple la régression logistique ), il n'existe pas de formule simple pour calculer l'ajustement hors échantillon attendu. La validation croisée est donc une méthode généralement applicable pour prédire les performances d'un modèle sur des données non disponibles en utilisant le calcul numérique au lieu de l'analyse théorique.

On peut distinguer deux types de validation croisée : la validation croisée exhaustive et la validation croisée non exhaustive.

Les méthodes de validation croisée exhaustives sont des méthodes de validation croisée qui apprennent et testent toutes les manières possibles de diviser l'échantillon d'origine en un ensemble d'apprentissage et un ensemble de validation.

La validation croisée Leave -p -out ( LpO CV ) consiste à utiliser p observations comme ensemble de validation et les observations restantes comme ensemble d'apprentissage. Cette opération est répétée de toutes les manières possibles pour découper l'échantillon d'origine en un ensemble de validation de p observations et un ensemble d'apprentissage.

La validation croisée LpO nécessite l'entraînement et la validation du modèle , où n est le nombre d'observations dans l'échantillon d'origine et où est le coefficient binomial . Pour p > 1 et même pour n modérément grand , le CV LpO peut devenir irréalisable sur le plan informatique. Par exemple, avec n = 100 et p = 30,

Une variante de la validation croisée LpO avec p = 2 connue sous le nom de validation croisée leave-pair-out a été recommandée comme méthode presque impartiale pour estimer l'aire sous la courbe ROC des classificateurs binaires.

La validation croisée avec omission d'un échantillon ( LOOCV ) est un cas particulier de validation croisée avec omission de p avec p = 1. Le processus ressemble au jackknife ; cependant, avec la validation croisée, on calcule une statistique sur le ou les échantillons exclus, tandis qu'avec le jackknife, on calcule une statistique à partir des échantillons conservés uniquement.

La validation croisée LOO nécessite moins de temps de calcul que la validation croisée LpO car il n'y a que des passes plutôt que des passes . Cependant, les passes peuvent encore nécessiter un temps de calcul assez important, auquel cas d'autres approches telles que la validation croisée k-fold peuvent être plus appropriées.

Algorithme de pseudo-code :

Saisir:

x, {vecteur de longueur Navec les valeurs x des points entrants}

y, {vecteur de longueur Navec les valeurs y du résultat attendu}

interpolate( x_in, y_in, x_out ), { renvoie l'estimation du point x_outaprès que le modèle a été formé avec x_in- y_inpaires}

Sortir:

err, {estimation de l'erreur de prédiction}

Mesures:

erreur ← 0 pour i ← 1, ..., N faire // définir les sous-ensembles de validation croisée x_in ← (x[1], ..., x[i − 1], x[i + 1], ..., x[N]) y_in ← (y[1], ..., y[i − 1], y[i + 1], ..., y[N]) x_out ← x[i] y_out ← interpoler(x_in, y_in, x_out) erreur ← erreur + (y[i] − y_out)^2 fin pour euh ← euh/N 

Les méthodes de validation croisée non exhaustives ne calculent pas toutes les manières de diviser l'échantillon d'origine. Ces méthodes sont des approximations de la validation croisée leave -p -out.

Dans la validation croisée k -fold, l'échantillon d'origine est partitionné de manière aléatoire en k sous-échantillons de taille égale, souvent appelés « folds ». Parmi les k sous-échantillons, un seul sous-échantillon est conservé comme données de validation pour tester le modèle, et les k − 1 sous-échantillons restants sont utilisés comme données d'apprentissage. Le processus de validation croisée est ensuite répété k fois, chacun des k sous-échantillons étant utilisé exactement une fois comme données de validation. Les k résultats peuvent ensuite être moyennés pour produire une seule estimation. L'avantage de cette méthode par rapport au sous-échantillonnage aléatoire répété (voir ci-dessous) est que toutes les observations sont utilisées à la fois pour l'apprentissage et la validation, et que chaque observation est utilisée pour la validation exactement une fois. La validation croisée 10 fois est couramment utilisée, mais en général k reste un paramètre non fixe.

Par exemple, si vous définissez k = 2, vous obtenez une validation croisée en deux étapes. Dans la validation croisée en deux étapes, nous mélangeons aléatoirement l'ensemble de données en deux ensembles d ₀ et d ₁ , de sorte que les deux ensembles soient de taille égale (cette opération est généralement mise en œuvre en mélangeant le tableau de données, puis en le divisant en deux). Nous effectuons ensuite l'entraînement à d ₀ et la validation à d ₁ , puis l'entraînement à d ₁ et la validation à d ₀ .

Lorsque k = n (le nombre d'observations), la validation croisée k -fold est équivalente à la validation croisée leave-one-out.

Dans la validation croisée stratifiée à k niveaux, les partitions sont sélectionnées de manière à ce que la valeur de réponse moyenne soit approximativement égale dans toutes les partitions. Dans le cas d'une classification binaire, cela signifie que chaque partition contient à peu près les mêmes proportions des deux types d'étiquettes de classe.

Dans la validation croisée répétée , les données sont divisées aléatoirement en k partitions à plusieurs reprises. Les performances du modèle peuvent ainsi être moyennées sur plusieurs exécutions, mais cela est rarement souhaitable dans la pratique.

Lorsque de nombreux modèles statistiques ou d'apprentissage automatique différents sont envisagés, la validation croisée gourmande k -fold peut être utilisée pour identifier rapidement les modèles candidats les plus prometteurs.

Dans la méthode de maintien, nous attribuons aléatoirement des points de données à deux ensembles d ₀ et d ₁ , généralement appelés ensemble d'apprentissage et ensemble de test, respectivement. La taille de chacun des ensembles est arbitraire, bien que l'ensemble de test soit généralement plus petit que l'ensemble d'apprentissage. Nous entraînons ensuite (construisons un modèle) à d ₀ et testons (évaluons ses performances) à d ₁ .

Dans la validation croisée classique, les résultats de plusieurs séries de tests de modèles sont moyennés ensemble ; en revanche, la méthode de contrôle, utilisée de manière isolée, implique une seule série. Elle doit être utilisée avec prudence car sans ce moyennage de plusieurs séries, on peut obtenir des résultats très trompeurs. L'indicateur de précision prédictive (F*) aura tendance à être instable car il ne sera pas lissé par plusieurs itérations (voir ci-dessous). De même, les indicateurs du rôle spécifique joué par diverses variables prédictives (par exemple, les valeurs des coefficients de régression) auront tendance à être instables.

Bien que la méthode Holdout puisse être considérée comme « le type le plus simple de validation croisée », de nombreuses sources classent plutôt la méthode Holdout comme un type de validation simple, plutôt que comme une forme simple ou dégénérée de validation croisée.

Cette méthode, également connue sous le nom de validation croisée de Monte Carlo , crée plusieurs divisions aléatoires de l'ensemble de données en données d'entraînement et de validation. Pour chaque division, le modèle est ajusté aux données d'entraînement et la précision prédictive est évaluée à l'aide des données de validation. Les résultats sont ensuite moyennés sur les divisions. L'avantage de cette méthode (par rapport à la validation croisée k fois) est que la proportion de la division entraînement/validation ne dépend pas du nombre d'itérations (c'est-à-dire du nombre de partitions). L'inconvénient de cette méthode est que certaines observations peuvent ne jamais être sélectionnées dans le sous-échantillon de validation, tandis que d'autres peuvent être sélectionnées plus d'une fois. En d'autres termes, les sous-ensembles de validation peuvent se chevaucher. Cette méthode présente également une variation de Monte Carlo , ce qui signifie que les résultats varieront si l'analyse est répétée avec différentes divisions aléatoires.

À mesure que le nombre de divisions aléatoires approche l'infini, le résultat de la validation répétée par sous-échantillonnage aléatoire tend vers celui de la validation croisée de type leave-p-out.

Dans une variante stratifiée de cette approche, les échantillons aléatoires sont générés de telle manière que la valeur de réponse moyenne (c'est-à-dire la variable dépendante dans la régression) soit égale dans les ensembles d'entraînement et de test. Cela est particulièrement utile si les réponses sont dichotomiques avec une représentation déséquilibrée des deux valeurs de réponse dans les données.

Une méthode qui applique un sous-échantillonnage aléatoire répété est RANSAC .

Lorsque la validation croisée est utilisée simultanément pour la sélection du meilleur ensemble d' hyperparamètres et pour l'estimation des erreurs (et l'évaluation de la capacité de généralisation), une validation croisée imbriquée est nécessaire. De nombreuses variantes existent. On peut en distinguer au moins deux :

Il s'agit d'une variante véritablement imbriquée qui contient une boucle externe de k ensembles et une boucle interne de l ensembles. L'ensemble de données total est divisé en k ensembles. Un par un, un ensemble est sélectionné comme ensemble de test (externe) et les k - 1 autres ensembles sont combinés dans l'ensemble d'entraînement externe correspondant. Cette opération est répétée pour chacun des k ensembles. Chaque ensemble d'entraînement externe est à son tour subdivisé en l ensembles. Un par un, un ensemble est sélectionné comme ensemble de test interne (validation) et les l - 1 autres ensembles sont combinés dans l'ensemble d'entraînement interne correspondant. Cette opération est répétée pour chacun des l ensembles. Les ensembles d'entraînement internes sont utilisés pour ajuster les paramètres du modèle, tandis que l'ensemble de test externe est utilisé comme ensemble de validation pour fournir une évaluation impartiale de l'ajustement du modèle. En règle générale, cette opération est répétée pour de nombreux hyperparamètres différents (ou même différents types de modèles) et l'ensemble de validation est utilisé pour déterminer le meilleur ensemble d'hyperparamètres (et le meilleur type de modèle) pour cet ensemble d'entraînement interne. Ensuite, un nouveau modèle est ajusté sur l'ensemble de l'entraînement externe, en utilisant le meilleur ensemble d'hyperparamètres issus de la validation croisée interne. Les performances de ce modèle sont ensuite évaluées à l'aide de l'ensemble de tests externe.

Il s'agit d'un type de validation croisée k*l-fold lorsque l = k - 1. Une seule validation croisée k-fold est utilisée avec un ensemble de validation et un ensemble de test . L'ensemble de données total est divisé en k ensembles. Un par un, un ensemble est sélectionné comme ensemble de test. Ensuite, un par un, l'un des ensembles restants est utilisé comme ensemble de validation et les k -2 autres ensembles sont utilisés comme ensembles d'apprentissage jusqu'à ce que toutes les combinaisons possibles aient été évaluées. Similairement à la validation croisée k*l-fold, l'ensemble d'apprentissage est utilisé pour l'ajustement du modèle et l'ensemble de validation est utilisé pour l'évaluation du modèle pour chacun des ensembles d'hyperparamètres. Enfin, pour l'ensemble de paramètres sélectionné, l'ensemble de test est utilisé pour évaluer le modèle avec le meilleur ensemble de paramètres. Ici, deux variantes sont possibles : soit évaluer le modèle qui a été formé sur l'ensemble d'apprentissage, soit évaluer un nouveau modèle qui a été ajusté sur la combinaison de l'ensemble d'apprentissage et de validation.

L'objectif de la validation croisée est d'estimer le niveau d'ajustement attendu d'un modèle à un ensemble de données indépendant des données utilisées pour entraîner le modèle. Elle peut être utilisée pour estimer toute mesure quantitative d'ajustement appropriée aux données et au modèle. Par exemple, pour les problèmes de classification binaire , chaque cas de l'ensemble de validation est prédit correctement ou incorrectement. Dans cette situation, le taux d'erreur de mauvaise classification peut être utilisé pour résumer l'ajustement, bien que d'autres mesures dérivées des informations (par exemple, les décomptes, la fréquence) contenues dans un tableau de contingence ou une matrice de confusion puissent également être utilisées. Lorsque la valeur prédite est distribuée en continu, l' erreur quadratique moyenne , l'erreur quadratique moyenne ou l'écart absolu médian peuvent être utilisés pour résumer les erreurs.

Lorsque les utilisateurs appliquent la validation croisée pour sélectionner une bonne configuration , ils peuvent alors vouloir équilibrer le choix validé croisé avec leur propre estimation de la configuration. De cette façon, ils peuvent tenter de contrer la volatilité de la validation croisée lorsque la taille de l'échantillon est petite et inclure des informations pertinentes issues de recherches antérieures. Dans un exercice de combinaison de prévisions, par exemple, la validation croisée peut être appliquée pour estimer les pondérations attribuées à chaque prévision. Étant donné qu'une simple prévision à pondération égale est difficile à battre, une pénalité peut être ajoutée pour s'écarter des pondérations égales. Ou, si la validation croisée est appliquée pour attribuer des pondérations individuelles aux observations, on peut alors pénaliser les écarts par rapport aux pondérations égales pour éviter de gaspiller des informations potentiellement pertinentes. Hoornweg (2018) montre comment un paramètre de réglage peut être défini de manière à ce qu'un utilisateur puisse intuitivement équilibrer entre la précision de la validation croisée et la simplicité de s'en tenir à un paramètre de référence défini par l'utilisateur.

Si désigne la configuration candidate qui pourrait être sélectionnée, alors la fonction de perte qui doit être minimisée peut être définie comme

La précision relative peut être quantifiée comme , de sorte que l'erreur quadratique moyenne d'un candidat est faite par rapport à celle d'une valeur spécifiée par l'utilisateur . Le terme de simplicité relative mesure la quantité qui s'écarte de par rapport à la quantité maximale d'écart par rapport à . En conséquence, la simplicité relative peut être spécifiée comme , où correspond à la valeur avec l'écart admissible le plus élevé par rapport à . Avec , l'utilisateur détermine à quel point l'influence du paramètre de référence est élevée par rapport à la validation croisée.

On peut ajouter des termes de simplicité relative pour plusieurs configurations en spécifiant la fonction de perte comme

Hoornweg (2018) montre qu'une fonction de perte avec un tel compromis précision-simplicité peut également être utilisée pour définir intuitivement des estimateurs de rétrécissement comme le lasso (adaptatif) et la régression bayésienne / crête . Cliquez sur le lasso pour un exemple.

Supposons que nous choisissons une mesure d'ajustement F et que nous utilisions la validation croisée pour produire une estimation F ^* de l'ajustement attendu EF d'un modèle à un ensemble de données indépendant tiré de la même population que les données d'apprentissage. Si nous imaginons échantillonner plusieurs ensembles d'apprentissage indépendants suivant la même distribution, les valeurs résultantes pour F ^* varieront. Les propriétés statistiques de F ^* résultent de cette variation.

La variance de F ^* peut être importante. Pour cette raison, si deux procédures statistiques sont comparées sur la base des résultats de la validation croisée, la procédure dont la performance estimée est la meilleure peut ne pas être la meilleure des deux procédures (c'est-à-dire qu'elle peut ne pas avoir la meilleure valeur de EF ). Certains progrès ont été réalisés dans la construction d'intervalles de confiance autour des estimations de validation croisée, mais cela est considéré comme un problème difficile.

La plupart des formes de validation croisée sont simples à mettre en œuvre tant qu'une implémentation de la méthode de prédiction étudiée est disponible. En particulier, la méthode de prédiction peut être une « boîte noire » : il n'est pas nécessaire d'avoir accès aux éléments internes de son implémentation. Si la méthode de prédiction est coûteuse à entraîner, la validation croisée peut être très lente car l'entraînement doit être effectué de manière répétée. Dans certains cas tels que les moindres carrés et la régression à noyau , la validation croisée peut être considérablement accélérée en précalculant certaines valeurs qui sont nécessaires de manière répétée dans l'entraînement, ou en utilisant des « règles de mise à jour » rapides telles que la formule de Sherman-Morrison . Cependant, il faut veiller à préserver le « masquage total » de l'ensemble de validation de la procédure d'entraînement, sinon un biais peut en résulter. Un exemple extrême d'accélération de la validation croisée se produit dans la régression linéaire , où les résultats de la validation croisée ont une expression sous forme fermée connue sous le nom de somme des carrés des erreurs résiduelles de prédiction ( PRESS ).

La validation croisée ne produit des résultats significatifs que si l’ensemble de validation et l’ensemble d’entraînement sont tirés de la même population et seulement si les biais humains sont contrôlés.

Dans de nombreuses applications de la modélisation prédictive, la structure du système étudié évolue au fil du temps (c'est-à-dire qu'elle est « non stationnaire »). Ces deux phénomènes peuvent introduire des différences systématiques entre les ensembles d'apprentissage et de validation. Par exemple, si un modèle de prédiction de la valeur des actions est formé sur des données relatives à une certaine période de cinq ans, il n'est pas réaliste de traiter la période de cinq ans suivante comme un tirage au sort de la même population. Prenons un autre exemple : supposons qu'un modèle soit développé pour prédire le risque qu'un individu soit diagnostiqué d'une maladie particulière au cours de l'année suivante. Si le modèle est formé à l'aide de données provenant d'une étude portant uniquement sur un groupe de population spécifique (par exemple, les jeunes ou les hommes), mais est ensuite appliqué à la population générale, les résultats de la validation croisée de l'ensemble d'apprentissage pourraient différer considérablement des performances prédictives réelles.

Dans de nombreuses applications, les modèles peuvent également être mal spécifiés et varier en fonction des biais du modélisateur et/ou de choix arbitraires. Lorsque cela se produit, il peut y avoir une illusion selon laquelle le système change dans les échantillons externes, alors que la raison est que le modèle a manqué un prédicteur critique et/ou a inclus un prédicteur confondu. De nouvelles preuves montrent que la validation croisée en elle-même n'est pas très prédictive de la validité externe, alors qu'une forme de validation expérimentale connue sous le nom d'échantillonnage par échange qui contrôle les biais humains peut être beaucoup plus prédictive de la validité externe. Comme défini par cette grande étude MAQC-II sur 30 000 modèles, l'échantillonnage par échange intègre la validation croisée dans le sens où les prédictions sont testées sur des échantillons d'entraînement et de validation indépendants. Pourtant, les modèles sont également développés sur ces échantillons indépendants et par des modélisateurs qui ne se connaissent pas. Lorsqu'il y a une discordance dans ces modèles développés sur ces échantillons d'entraînement et de validation échangés, comme cela se produit assez fréquemment, MAQC-II montre que cela sera beaucoup plus prédictif d'une faible validité prédictive externe que la validation croisée traditionnelle.

La raison du succès de l'échantillonnage inversé est le contrôle intégré des biais humains dans la construction du modèle. En plus de faire trop confiance aux prédictions qui peuvent varier d'un modélisateur à l'autre et conduire à une faible validité externe en raison de ces effets de modélisation confondants, voici d'autres façons dont la validation croisée peut être mal utilisée :

• En effectuant une analyse initiale pour identifier les caractéristiques les plus informatives en utilisant l'ensemble des données – si la sélection des caractéristiques ou le réglage du modèle est requis par la procédure de modélisation, cela doit être répété sur chaque ensemble d'entraînement. Sinon, les prédictions seront certainement biaisées à la hausse. Si la validation croisée est utilisée pour décider des caractéristiques à utiliser, une validation croisée interne pour effectuer la sélection des caractéristiques sur chaque ensemble d'entraînement doit être effectuée.
• Effectuer un centrage de la moyenne, une remise à l'échelle, une réduction de la dimensionnalité, une suppression des valeurs aberrantes ou tout autre prétraitement dépendant des données en utilisant l'ensemble des données. Bien que très courant dans la pratique, il a été démontré que cela introduisait des biais dans les estimations de validation croisée.
• En permettant à certaines des données d'entraînement d'être également incluses dans l'ensemble de test, cela peut se produire en raison du « jumelage » dans l'ensemble de données, par lequel des échantillons exactement identiques ou presque identiques sont présents dans l'ensemble de données. Dans une certaine mesure, le jumelage a toujours lieu même dans des échantillons d'entraînement et de validation parfaitement indépendants. En effet, certaines des observations de l'échantillon d'entraînement auront des valeurs de prédicteurs presque identiques à celles des observations de l'échantillon de validation. Et certaines d'entre elles seront corrélées avec une cible à des niveaux meilleurs que le hasard dans la même direction à la fois dans l'entraînement et la validation alors qu'elles sont en fait déterminées par des prédicteurs confondus avec une faible validité externe. Si un tel modèle à validation croisée est sélectionné à partir d'un ensemble k -fold, le biais de confirmation humaine sera à l'œuvre et déterminera qu'un tel modèle a été validé. C'est pourquoi la validation croisée traditionnelle doit être complétée par des contrôles pour le biais humain et la spécification de modèles confondus comme l'échantillonnage par échange et les études prospectives.

Étant donné que l'ordre des données est important, la validation croisée peut être problématique pour les modèles de séries chronologiques . Une approche plus appropriée pourrait être d'utiliser la validation croisée continue.

Cependant, si les performances sont décrites par une seule statistique récapitulative , il est possible que l'approche décrite par Politis et Romano comme un bootstrap stationnaire fonctionne. La statistique du bootstrap doit accepter un intervalle de la série temporelle et renvoyer la statistique récapitulative sur celui-ci. L'appel au bootstrap stationnaire doit spécifier une longueur d'intervalle moyenne appropriée.

La validation croisée peut être utilisée pour comparer les performances de différentes procédures de modélisation prédictive. Par exemple, supposons que nous nous intéressions à la reconnaissance optique de caractères et que nous envisagions d'utiliser soit une machine à vecteurs de support (SVM) soit des k -voisins les plus proches (KNN) pour prédire le vrai caractère à partir d'une image d'un caractère manuscrit. En utilisant la validation croisée, nous pouvons obtenir des estimations empiriques comparant ces deux méthodes en termes de leurs fractions respectives de caractères mal classés. En revanche, l'estimation dans l'échantillon ne représentera pas la quantité d'intérêt (c'est-à-dire l'erreur de généralisation).

La validation croisée peut également être utilisée dans la sélection de variables . Supposons que nous utilisions les niveaux d'expression de 20 protéines pour prédire si un patient atteint de cancer répondra à un médicament . Un objectif pratique serait de déterminer quel sous-ensemble des 20 caractéristiques devrait être utilisé pour produire le meilleur modèle prédictif. Pour la plupart des procédures de modélisation, si nous comparons les sous-ensembles de caractéristiques à l'aide des taux d'erreur dans l'échantillon, les meilleures performances se produiront lorsque les 20 caractéristiques sont utilisées. Cependant, dans le cadre de la validation croisée, le modèle le plus adapté n'inclura généralement qu'un sous-ensemble des caractéristiques jugées vraiment informatives.

Une évolution récente des statistiques médicales est leur utilisation dans la méta-analyse. Elle constitue la base de la statistique de validation, Vn, qui est utilisée pour tester la validité statistique des estimations sommaires de la méta-analyse. Elle a également été utilisée de manière plus conventionnelle dans la méta-analyse pour estimer l'erreur de prédiction probable des résultats de la méta-analyse.