Analyse de sensibilité

L'analyse de sensibilité est l'étude de la manière dont l' incertitude dans la sortie d'un modèle ou d'un système mathématique (numérique ou autre) peut être divisée et attribuée à différentes sources d'incertitude dans ses entrées. Cela implique l'estimation d'indices de sensibilité qui quantifient l'influence d'une entrée ou d'un groupe d'entrées sur la sortie. Une pratique connexe est l'analyse de l'incertitude , qui met davantage l'accent sur la quantification de l'incertitude et la propagation de l'incertitude ; idéalement, l'analyse de l'incertitude et l'analyse de la sensibilité devraient être exécutées en tandem.

Un modèle mathématique (par exemple en biologie, changement climatique, économie, énergie renouvelable, agronomie...) peut être très complexe, et par conséquent, ses relations entre les entrées et les sorties peuvent être mal comprises. Dans de tels cas, le modèle peut être considéré comme une boîte noire , c'est-à-dire que la sortie est une fonction « opaque » de ses entrées. Très souvent, certaines ou toutes les entrées du modèle sont soumises à des sources d' incertitude , notamment des erreurs de mesure , des erreurs dans les données d'entrée, l'estimation des paramètres et la procédure d'approximation, l'absence d'informations et une compréhension médiocre ou partielle des forces motrices et des mécanismes, le choix de l'hypothèse sous-jacente du modèle, etc. Cette incertitude limite notre confiance dans la fiabilité de la réponse ou de la sortie du modèle. De plus, les modèles peuvent devoir faire face à la variabilité intrinsèque naturelle du système (aléatoire), comme l'occurrence d' événements stochastiques .

Dans les modèles impliquant de nombreuses variables d’entrée, l’analyse de sensibilité est un élément essentiel de la construction du modèle et de l’assurance qualité et peut être utile pour déterminer l’impact d’une variable incertaine à diverses fins, notamment :

• Tester la robustesse des résultats d'un modèle ou d'un système en présence d'incertitude.
• Meilleure compréhension des relations entre les variables d’entrée et de sortie dans un système ou un modèle.
• Réduction de l’incertitude, grâce à l’identification des entrées du modèle qui entraînent une incertitude significative dans la sortie et qui doivent donc être au centre de l’attention afin d’accroître la robustesse.
• Recherche d'erreurs dans le modèle (en rencontrant des relations inattendues entre les entrées et les sorties).
• Simplification du modèle : correction des entrées du modèle qui n’ont aucun effet sur la sortie, ou identification et suppression des parties redondantes de la structure du modèle.
• Améliorer la communication entre les modélisateurs et les décideurs (par exemple en rendant les recommandations plus crédibles, compréhensibles, convaincantes ou persuasives).
• Trouver des régions dans l'espace des facteurs d'entrée pour lesquelles la sortie du modèle est soit maximale, soit minimale, ou répond à un critère optimal (voir optimisation et filtrage de Monte Carlo ).
• Pour l'étalonnage de modèles avec un grand nombre de paramètres, en se concentrant sur les paramètres sensibles.
• Identifier les liens importants entre les observations, les entrées du modèle et les prédictions ou prévisions, conduisant au développement de meilleurs modèles.

L'objet d'étude pour l'analyse de sensibilité est une fonction , (appelée « modèle mathématique » ou « code de programmation »), vue comme une boîte noire , avec le vecteur d'entrée à dimensions multiples et la sortie , présentée comme suit :

La variabilité des paramètres d'entrée a un impact sur la sortie . Alors que l'analyse d'incertitude vise à décrire la distribution de la sortie (en fournissant ses statistiques , moments , pdf , cdf ,...), l'analyse de sensibilité vise à mesurer et quantifier l'impact de chaque entrée ou d'un groupe d'entrées sur la variabilité de la sortie (en calculant les indices de sensibilité correspondants). La figure 1 fournit une représentation schématique de cet énoncé.

La prise en compte de l'incertitude provenant de différentes sources, que ce soit dans le cadre d'une analyse d'incertitude ou d'une analyse de sensibilité (pour le calcul des indices de sensibilité), nécessite de multiples échantillons des paramètres incertains et, par conséquent, d'exécuter le modèle (évaluer la fonction α) plusieurs fois. Selon la complexité du modèle, de nombreux défis peuvent être rencontrés lors de l'évaluation du modèle. Par conséquent, le choix de la méthode d'analyse de sensibilité est généralement dicté par un certain nombre de contraintes, de paramètres ou de défis liés au problème. Parmi les plus courants, on trouve :

• Coût de calcul : l'analyse de sensibilité est presque toujours effectuée en exécutant le modèle un nombre (éventuellement important) de fois, c'est-à-dire une approche basée sur l'échantillonnage . Cela peut constituer un problème important lorsque :
  • Les modèles complexes nécessitent souvent beaucoup de temps. Une seule exécution du modèle prend beaucoup de temps (minutes, heures ou plus). L'utilisation d'un modèle statistique (méta-modèle, modèle piloté par les données ) incluant HDMR pour approximer la fonction est un moyen de réduire les coûts de calcul.
  • Le modèle comporte un grand nombre d'entrées incertaines. L'analyse de sensibilité consiste essentiellement à explorer l' espace d'entrée multidimensionnel , dont la taille augmente de manière exponentielle avec le nombre d'entrées. Par conséquent, les méthodes de filtrage peuvent être utiles pour la réduction des dimensions. Une autre façon de s'attaquer au fléau de la dimensionnalité est d'utiliser un échantillonnage basé sur des séquences à faible divergence.
• Entrées corrélées : la plupart des méthodes d'analyse de sensibilité courantes supposent l'indépendance entre les entrées du modèle, mais il arrive parfois que les entrées soient fortement corrélées. Les corrélations entre les entrées doivent alors être prises en compte dans l'analyse.
• Non-linéarité : certaines approches d'analyse de sensibilité, telles que celles basées sur la régression linéaire , peuvent mesurer la sensibilité de manière inexacte lorsque la réponse du modèle est non linéaire par rapport à ses entrées. Dans de tels cas, les mesures basées sur la variance sont plus appropriées.
• Sorties multiples ou fonctionnelles : Généralement introduite pour les codes à sortie unique , l'analyse de sensibilité s'étend aux cas où la sortie est un vecteur ou une fonction. Lorsque les sorties sont corrélées, cela n'exclut pas la possibilité d'effectuer des analyses de sensibilité différentes pour chaque sortie d'intérêt. Cependant, pour les modèles dans lesquels les sorties sont corrélées, les mesures de sensibilité peuvent être difficiles à interpréter.
• Code stochastique : Un code est dit stochastique lorsque, pour plusieurs évaluations du code avec les mêmes entrées, des sorties différentes sont obtenues (par opposition à un code déterministe lorsque, pour plusieurs évaluations du code avec les mêmes entrées, on obtient toujours la même sortie). Dans ce cas, il faut séparer la variabilité de la sortie due à la variabilité des entrées de celle due à la stochasticité.

• Approche pilotée par les données : Parfois, il n'est pas possible d'évaluer le code à tous les points souhaités, soit parce que le code est confidentiel, soit parce que l'expérience n'est pas reproductible. La sortie du code n'est disponible que pour un ensemble donné de points, et il peut être difficile d'effectuer une analyse de sensibilité sur un ensemble limité de données. Nous construisons ensuite un modèle statistique (méta-modèle, modèle piloté par les données ) à partir des données disponibles (que nous utilisons pour l'entraînement) pour approximer le code (la fonction).

Pour répondre aux différentes contraintes et défis, un certain nombre de méthodes d’analyse de sensibilité ont été proposées dans la littérature, que nous examinerons dans la section suivante.

Il existe un grand nombre d'approches permettant de réaliser une analyse de sensibilité, dont beaucoup ont été développées pour répondre à une ou plusieurs des contraintes évoquées ci-dessus. Elles se distinguent également par le type de mesure de sensibilité, qu'elle soit basée (par exemple) sur des décompositions de variance , des dérivées partielles ou des effets élémentaires . En général, cependant, la plupart des procédures adhèrent au schéma suivant :

1. Quantifier l'incertitude de chaque entrée (par exemple, les plages, les distributions de probabilité). Notez que cela peut être difficile et qu'il existe de nombreuses méthodes pour obtenir des distributions d'incertitude à partir de données subjectives.
2. Identifier la sortie du modèle à analyser (la cible d’intérêt doit idéalement avoir une relation directe avec le problème abordé par le modèle).
3. Exécutez le modèle un certain nombre de fois en utilisant une certaine conception d’expériences , dictée par la méthode de choix et l’incertitude d’entrée.
4. À l’aide des résultats du modèle obtenu, calculez les mesures de sensibilité qui vous intéressent.

Dans certains cas, cette procédure sera répétée, par exemple dans les problèmes de grande dimension où l'utilisateur doit éliminer les variables sans importance avant d'effectuer une analyse de sensibilité complète.

Les différents types de « méthodes de base » (décrites ci-dessous) se distinguent par les différentes mesures de sensibilité qui sont calculées. Ces catégories peuvent d'une certaine manière se chevaucher. D'autres moyens d'obtenir ces mesures, sous les contraintes du problème, peuvent être proposés. En outre, une vision technique des méthodes qui prend en compte les quatre paramètres importants de l'analyse de sensibilité a également été proposée.

La première approche intuitive (particulièrement utile dans les cas moins complexes) consiste à analyser la relation entre chaque entrée et la sortie à l'aide de diagrammes de dispersion et à observer le comportement de ces paires. Les diagrammes donnent une première idée de la corrélation et de l'entrée qui a un impact sur la sortie. La figure 2 montre un exemple où deux entrées, et sont fortement corrélées avec la sortie.

L'une des approches les plus simples et les plus courantes consiste à modifier un facteur à la fois (OAT), pour voir quel effet cela produit sur le résultat. L'OAT implique généralement

• en déplaçant une variable d'entrée, en gardant les autres à leurs valeurs de base (nominales), puis,
• en ramenant la variable à sa valeur nominale, puis en répétant de la même manière pour chacune des autres entrées.

La sensibilité peut alors être mesurée en surveillant les changements dans la sortie, par exemple par des dérivées partielles ou une régression linéaire . Cette approche semble logique car tout changement observé dans la sortie sera sans ambiguïté dû à la seule variable modifiée. De plus, en changeant une variable à la fois, on peut garder toutes les autres variables fixées à leurs valeurs centrales ou de base. Cela augmente la comparabilité des résultats (tous les « effets » sont calculés en référence au même point central dans l'espace) et minimise les risques de plantage des programmes informatiques, plus probables lorsque plusieurs facteurs d'entrée sont modifiés simultanément. L'OAT est souvent préférée par les modélisateurs pour des raisons pratiques. En cas d'échec du modèle dans le cadre de l'analyse OAT, le modélisateur sait immédiatement quel est le facteur d'entrée responsable de l'échec.

Malgré sa simplicité, cette approche n'explore pas complètement l'espace d'entrée, car elle ne prend pas en compte la variation simultanée des variables d'entrée. Cela signifie que l'approche OAT ne peut pas détecter la présence d' interactions entre les variables d'entrée et n'est pas adaptée aux modèles non linéaires.

La proportion de l'espace d'entrée qui reste inexploré avec une approche OAT augmente de manière superexponentielle avec le nombre d'entrées. Par exemple, un espace de paramètres à 3 variables exploré un par un équivaut à prendre des points le long des axes x, y et z d'un cube centré à l'origine. L' enveloppe convexe délimitant tous ces points est un octaèdre dont le volume ne représente qu'un sixième de l'espace total des paramètres. Plus généralement, l'enveloppe convexe des axes d'un hyperrectangle forme un hyperoctaèdre dont la fraction volumique est de . Avec 5 entrées, l'espace exploré tombe déjà à moins de 1 % de l'espace total des paramètres. Et même cela est une surestimation, puisque le volume hors axe n'est en fait pas du tout échantillonné. Comparez cela à l'échantillonnage aléatoire de l'espace, où l'enveloppe convexe se rapproche du volume entier à mesure que des points sont ajoutés. Bien que la rareté de l’OAT ne soit théoriquement pas un problème pour les modèles linéaires , la véritable linéarité est rare dans la nature.

Nommée d'après le statisticien Max D. Morris, cette méthode est adaptée au criblage de systèmes comportant de nombreux paramètres. Elle est également connue sous le nom de méthode des effets élémentaires car elle combine des étapes répétées le long des différents axes paramétriques.

Les méthodes basées sur les dérivées locales impliquent de prendre la dérivée partielle de la sortie par rapport à un facteur d'entrée :

où l'indice x ⁰ indique que la dérivée est prise à un point fixe dans l'espace de l'entrée (d'où le « local » dans le nom de la classe). La modélisation adjointe et la différenciation automatique sont des méthodes qui permettent de calculer toutes les dérivées partielles à un coût au plus 4 à 6 fois supérieur à celui de l'évaluation de la fonction d'origine. Similaires à l'OAT, les méthodes locales ne tentent pas d'explorer complètement l'espace d'entrée, car elles examinent de petites perturbations, généralement une variable à la fois. Il est possible de sélectionner des échantillons similaires à partir de la sensibilité basée sur la dérivée via les réseaux neuronaux et d'effectuer une quantification de l'incertitude.

L’un des avantages des méthodes locales est qu’il est possible de créer une matrice pour représenter toutes les sensibilités d’un système, offrant ainsi une vue d’ensemble qui ne peut être obtenue avec les méthodes globales s’il existe un grand nombre de variables d’entrée et de sortie.

L'analyse de régression , dans le contexte de l'analyse de sensibilité, consiste à ajuster une régression linéaire à la réponse du modèle et à utiliser des coefficients de régression standardisés comme mesures directes de sensibilité. La régression doit être linéaire par rapport aux données (c'est-à-dire un hyperplan, donc sans termes quadratiques, etc., comme régresseurs) car sinon il est difficile d'interpréter les coefficients standardisés. Cette méthode est donc la plus adaptée lorsque la réponse du modèle est en fait linéaire ; la linéarité peut être confirmée, par exemple, si le coefficient de détermination est élevé. Les avantages de l'analyse de régression sont qu'elle est simple et qu'elle a un faible coût de calcul.

Les méthodes basées sur la variance sont une classe d'approches probabilistes qui quantifient les incertitudes d'entrée et de sortie sous forme de variables aléatoires , représentées par leurs distributions de probabilité , et décomposent la variance de sortie en parties attribuables aux variables d'entrée et aux combinaisons de variables. La sensibilité de la sortie à une variable d'entrée est donc mesurée par la quantité de variance de la sortie causée par cette entrée.

Ce montant est quantifié et calculé à l'aide des indices de Sobol : ils représentent la part de la variance expliquée par une entrée ou un groupe d'entrées. Cette expression mesure essentiellement la contribution de l' unique à l'incertitude (variance) de (moyenne des variations d'autres variables), et est connue sous le nom d'indice de sensibilité du premier ordre ou indice d'effet principal .

Pour une entrée , l'indice de Sobol est défini comme suit :

Il est important de noter que l'indice de sensibilité de premier ordre de ne mesure pas l'incertitude causée par les interactions avec d'autres variables. Une autre mesure, connue sous le nom d'indice d'effet total , donne la variance totale de causée par et ses interactions avec l'une des autres variables d'entrée. L'indice d'effet total est donné comme suit : où désigne l'ensemble de toutes les variables d'entrée sauf .

Les méthodes basées sur la variance permettent d'explorer pleinement l'espace d'entrée, en tenant compte des interactions et des réponses non linéaires. Pour ces raisons, elles sont largement utilisées lorsqu'il est possible de les calculer. En général, ce calcul implique l'utilisation de méthodes de Monte Carlo , mais comme cela peut impliquer plusieurs milliers d'exécutions de modèles, d'autres méthodes (telles que les métamodèles) peuvent être utilisées pour réduire les dépenses de calcul si nécessaire.

Les méthodes indépendantes des moments étendent les techniques basées sur la variance en prenant en compte la densité de probabilité ou la fonction de distribution cumulative de la sortie du modèle . Ainsi, elles ne font référence à aucun moment particulier de , d'où leur nom.

Les mesures de sensibilité indépendantes du moment de , ici désignées par , peuvent être définies par une équation similaire aux indices basés sur la variance remplaçant l'espérance conditionnelle par une distance, comme , où est une distance statistique [métrique ou divergence] entre les mesures de probabilité, et sont les mesures de probabilité marginale et conditionnelle de .

Si est une distance , la mesure de sensibilité globale indépendante du moment satisfait l'indépendance nulle. Il s'agit d'une propriété statistique pertinente également connue sous le nom de postulat de Renyi D.

La classe des mesures de sensibilité indépendantes du moment comprend des indicateurs tels que la mesure d'importance, le nouveau coefficient de corrélation de Chatterjee, la corrélation de Wasserstein de Wiesel et les mesures de sensibilité basées sur le noyau de Barr et Rabitz.

Une autre mesure pour l'analyse de sensibilité globale, dans la catégorie des approches indépendantes du moment, est l'indice PAWN. Il s'appuie sur des fonctions de distribution cumulative (CDF) pour caractériser la distance maximale entre la distribution de sortie inconditionnelle et la distribution de sortie conditionnelle (obtenue en faisant varier tous les paramètres d'entrée et en définissant la -ième entrée, en conséquence). La différence entre la distribution de sortie inconditionnelle et conditionnelle est généralement calculée à l'aide du test de Kolmogorov-Smirnov (KS). L'indice PAWN pour un paramètre d'entrée donné est ensuite obtenu en calculant les statistiques récapitulatives sur toutes les valeurs KS.

L'une des principales lacunes des méthodes d'analyse de sensibilité précédentes est qu'aucune d'entre elles ne prend en compte la structure spatialement ordonnée de la surface de réponse/sortie du modèle dans l'espace des paramètres. En utilisant les concepts de variogrammes directionnels et de covariogrammes, l'analyse variographique des surfaces de réponse (VARS) remédie à cette faiblesse en reconnaissant une structure de corrélation spatialement continue aux valeurs de , et donc également aux valeurs de .

Fondamentalement, plus la variabilité est élevée, plus la surface de réponse est hétérogène le long d'une direction/paramètre particulier, à une échelle de perturbation spécifique. En conséquence, dans le cadre VARS, les valeurs des variogrammes directionnels pour une échelle de perturbation donnée peuvent être considérées comme une illustration complète des informations de sensibilité, en reliant l'analyse du variogramme aux concepts de direction et d'échelle de perturbation. En conséquence, le cadre VARS tient compte du fait que la sensibilité est un concept dépendant de l'échelle, et surmonte ainsi le problème d'échelle des méthodes d'analyse de sensibilité traditionnelles. Plus important encore, VARS est capable de fournir des estimations relativement stables et statistiquement robustes de la sensibilité des paramètres avec un coût de calcul bien inférieur à celui des autres stratégies (environ deux ordres de grandeur plus efficaces). Il convient de noter qu'il a été démontré qu'il existe un lien théorique entre le cadre VARS et les approches basées sur la variance et sur les dérivées.

Le test de sensibilité d'amplitude de Fourier (FAST) utilise la série de Fourier pour représenter une fonction multivariée (le modèle) dans le domaine fréquentiel, en utilisant une seule variable de fréquence. Par conséquent, les intégrales nécessaires au calcul des indices de sensibilité deviennent univariées, ce qui entraîne des économies de calcul.

Les effets Shapley reposent sur les valeurs de Shapley et représentent la contribution marginale moyenne d'un facteur donné sur toutes les combinaisons possibles de facteurs. Ces valeurs sont liées aux indices de Sobol car leur valeur se situe entre l'effet Sobol de premier ordre et l'effet d'ordre total.

Le principe consiste à projeter la fonction d'intérêt sur une base de polynômes orthogonaux. Les indices de Sobol sont ensuite exprimés analytiquement en termes des coefficients de cette décomposition.

Plusieurs méthodes ont été développées pour surmonter certaines des contraintes évoquées ci-dessus, qui rendraient autrement impossible l'estimation des mesures de sensibilité (le plus souvent en raison des coûts de calcul ). En général, ces méthodes se concentrent sur le calcul efficace (en créant un métamodèle de la fonction coûteuse à évaluer et/ou en échantillonnant « judicieusement » l'espace des facteurs) de mesures de sensibilité basées sur la variance.

Les métamodèles (également appelés émulateurs, modèles de substitution ou surfaces de réponse) sont des approches de modélisation de données / d'apprentissage automatique qui impliquent la construction d'une fonction mathématique relativement simple, appelée métamodèle , qui se rapproche du comportement d'entrée/sortie du modèle lui-même. En d'autres termes, il s'agit du concept de « modélisation d'un modèle » (d'où le nom de « métamodèle »). L'idée est que, bien que les modèles informatiques puissent être une série d'équations très complexes dont la résolution peut prendre beaucoup de temps, ils peuvent toujours être considérés comme une fonction de leurs entrées . En exécutant le modèle à un certain nombre de points dans l'espace d'entrée, il peut être possible d'ajuster un métamodèle beaucoup plus simple , de manière à ce que la marge d'erreur soit acceptable. Ensuite, des mesures de sensibilité peuvent être calculées à partir du métamodèle (soit avec Monte Carlo, soit analytiquement), ce qui aura un coût de calcul supplémentaire négligeable. Il est important de noter que le nombre d'exécutions de modèle nécessaires pour ajuster le métamodèle peut être de plusieurs ordres de grandeur inférieur au nombre d'exécutions nécessaires pour estimer directement les mesures de sensibilité à partir du modèle.

De toute évidence, l'essentiel d'une approche par métamodèle est de trouver un (métamodèle) qui soit une approximation suffisamment proche du modèle . Cela nécessite les étapes suivantes,

1. Échantillonnage (exécution) du modèle en un certain nombre de points dans son espace d'entrée. Cela nécessite un plan d'échantillonnage.
2. Sélection d'un type d'émulateur (fonction mathématique) à utiliser.
3. « Entraîner » le métamodèle à l’aide des données d’échantillon du modèle – cela implique généralement d’ajuster les paramètres du métamodèle jusqu’à ce que le métamodèle imite le mieux possible le vrai modèle.

L'échantillonnage du modèle peut souvent être effectué avec des séquences à faible divergence , telles que la séquence de Sobol – due au mathématicien Ilya M. Sobol ou l'échantillonnage par hypercube latin – bien que des plans aléatoires puissent également être utilisés, au détriment d'une certaine efficacité. La sélection du type de métamodèle et la formation sont intrinsèquement liées puisque la méthode de formation dépendra de la classe de métamodèle. Certains types de métamodèles qui ont été utilisés avec succès pour l'analyse de sensibilité comprennent :

• Processus gaussiens (également appelés krigeage ), où toute combinaison de points de sortie est supposée être distribuée selon une distribution gaussienne multivariée . Récemment, des processus gaussiens « arborescents » ont été utilisés pour traiter les réponses hétéroscédastiques et discontinues.
• Forêts aléatoires , dans lesquelles un grand nombre d' arbres de décision sont formés et le résultat est moyenné.
• Gradient boosting , où une succession de régressions simples est utilisée pour pondérer les points de données afin de réduire séquentiellement l'erreur.
• Développements du chaos polynomial , qui utilisent des polynômes orthogonaux pour approximer la surface de réponse.
• Splines de lissage , normalement utilisées en conjonction avec des troncatures de représentation de modèle à haute dimension (HDMR) (voir ci-dessous).
• Réseaux bayésiens discrets , en conjonction avec des modèles canoniques tels que les modèles bruyants. Les modèles bruyants exploitent les informations sur l'indépendance conditionnelle entre les variables pour réduire considérablement la dimensionnalité.

L'utilisation d'un émulateur introduit un problème d'apprentissage automatique , qui peut s'avérer difficile si la réponse du modèle est fortement non linéaire . Dans tous les cas, il est utile de vérifier la précision de l'émulateur, par exemple en utilisant une validation croisée .

Une représentation de modèle à haute dimension (HDMR) (le terme est dû à H. Rabitz ) est essentiellement une approche d'émulation, qui implique la décomposition de la sortie de fonction en une combinaison linéaire de termes d'entrée et d'interactions de dimensionnalité croissante. L'approche HDMR exploite le fait que le modèle peut généralement être bien approximé en négligeant les interactions d'ordre supérieur (deuxième ou troisième ordre et au-dessus). Les termes de la série tronquée peuvent ensuite être chacun approximés par exemple par des polynômes ou des splines (REFS) et la réponse exprimée comme la somme des principaux effets et interactions jusqu'à l'ordre de troncature. De ce point de vue, les HDMR peuvent être considérés comme des émulateurs qui négligent les interactions d'ordre élevé ; l'avantage est qu'ils sont capables d'émuler des modèles avec une dimensionnalité plus élevée que les émulateurs d'ordre complet.

L'analyse de sensibilité via le filtrage de Monte Carlo est également une approche basée sur l'échantillonnage, dont l'objectif est d'identifier des régions dans l'espace des facteurs d'entrée correspondant à des valeurs particulières (par exemple, élevées ou faibles) de la sortie.

L'analyse de sensibilité est étroitement liée à l'analyse d'incertitude ; tandis que cette dernière étudie l' incertitude globale dans les conclusions de l'étude, l'analyse de sensibilité tente d'identifier quelle source d'incertitude pèse le plus sur les conclusions de l'étude.

La problématique de l'analyse de sensibilité présente également de fortes similitudes avec le domaine de la conception d'expériences . Dans une conception d'expériences, on étudie l'effet d'un processus ou d'une intervention (le « traitement ») sur certains objets (les « unités expérimentales »). Dans l'analyse de sensibilité, on examine l'effet de la variation des entrées d'un modèle mathématique sur la sortie du modèle lui-même. Dans les deux disciplines, on s'efforce d'obtenir des informations du système avec un minimum d'expériences physiques ou numériques.

Il peut arriver qu’une analyse de sensibilité d’une étude basée sur un modèle soit destinée à étayer une inférence et à certifier sa robustesse, dans un contexte où l’inférence alimente un processus politique ou décisionnel. Dans ces cas, le cadrage de l’analyse elle-même, son contexte institutionnel et les motivations de son auteur peuvent devenir des questions de grande importance, et une analyse de sensibilité pure – qui met l’accent sur l’incertitude paramétrique – peut être considérée comme insuffisante. L’accent mis sur le cadrage peut découler, entre autres, de la pertinence de l’étude de politique pour différents groupes caractérisés par des normes et des valeurs différentes, et donc par une histoire différente sur « quel est le problème » et surtout sur « qui raconte l’histoire ». Le plus souvent, le cadrage comprend des hypothèses plus ou moins implicites, qui peuvent être politiques (par exemple quel groupe doit être protégé) ou techniques (par exemple quelle variable peut être traitée comme une constante).

Afin de prendre ces préoccupations en considération, les instruments de l'analyse de sensibilité ont été étendus pour fournir une évaluation de l'ensemble du processus de génération de connaissances et de modèles. Cette approche a été appelée « audit de sensibilité ». Elle s'inspire du NUSAP, une méthode utilisée pour qualifier la valeur des informations quantitatives avec la génération de « pedigrees » de chiffres. L'audit de sensibilité a été spécialement conçu pour un contexte conflictuel, où non seulement la nature des preuves, mais aussi le degré de certitude et d'incertitude associé aux preuves, feront l'objet d'intérêts partisans. L'audit de sensibilité est recommandé dans les lignes directrices de la Commission européenne pour l'analyse d'impact, ainsi que dans le rapport Science Advice for Policy by European Academies.

Certaines difficultés courantes dans l’analyse de sensibilité incluent :

• Hypothèses et inférences : dans l'analyse de l'incertitude et de la sensibilité, il existe un compromis crucial entre le degré de rigueur avec lequel un analyste explore les hypothèses d'entrée et l'ampleur de l' inférence qui en résulte . Ce point est bien illustré par l'économètre Edward E. Leamer :

« J'ai proposé une forme d'analyse de sensibilité organisée que j'appelle « analyse de sensibilité globale » dans laquelle un voisinage d'hypothèses alternatives est sélectionné et l'intervalle d'inférences correspondant est identifié. Les conclusions sont jugées solides uniquement si le voisinage d'hypothèses est suffisamment large pour être crédible et l'intervalle d'inférences correspondant est suffisamment étroit pour être utile. »

Leamer souligne la nécessité d'une « crédibilité » dans le choix des hypothèses. La manière la plus simple d'invalider un modèle est de démontrer qu'il est fragile par rapport à l'incertitude des hypothèses ou de montrer que ses hypothèses n'ont pas été prises « suffisamment au sérieux ». Le même concept est exprimé par Jerome R. Ravetz, pour qui une mauvaise modélisation se produit lorsque les incertitudes des données d'entrée doivent être supprimées de peur que les données de sortie ne deviennent indéterminées.

• Il n'y a pas assez d'informations pour construire des distributions de probabilité pour les données d'entrée : les distributions de probabilité peuvent être construites à partir de l'enquête d'experts , même si même dans ce cas, il peut être difficile de construire des distributions avec une grande confiance. La subjectivité des distributions ou des plages de probabilité affectera fortement l'analyse de sensibilité.
• Objectif de l'analyse peu clair : Différents tests et mesures statistiques sont appliqués au problème et différents classements de facteurs sont obtenus. Le test doit plutôt être adapté à l'objectif de l'analyse, par exemple, on utilise un filtrage de Monte Carlo si l'on souhaite savoir quels facteurs sont les plus responsables de la génération de valeurs élevées/faibles du résultat.
• Trop de sorties de modèle sont prises en compte : cela peut être acceptable pour l’assurance qualité des sous-modèles, mais doit être évité lors de la présentation des résultats de l’analyse globale.
• Sensibilité par morceaux : il s'agit d'effectuer une analyse de sensibilité sur un sous-modèle à la fois. Cette approche n'est pas conservatrice car elle peut négliger les interactions entre les facteurs dans différents sous-modèles (erreur de type II).

L'importance de la compréhension et de la gestion de l'incertitude dans les résultats des modèles a incité de nombreux scientifiques de différents centres de recherche du monde entier à s'intéresser de près à ce sujet. Les organismes nationaux et internationaux impliqués dans les études d'évaluation d'impact ont inclus des sections consacrées à l'analyse de sensibilité dans leurs lignes directrices. On peut citer à titre d'exemple la Commission européenne (voir par exemple les lignes directrices pour l'évaluation d'impact ), Bureau de la gestion et du budget de la Maison Blanche , le Groupe d'experts intergouvernemental sur l'évolution du climat et les lignes directrices de modélisation de l'Agence de protection de l'environnement des États-Unis .

Les pages suivantes décrivent les analyses de sensibilité par rapport à des applications spécifiques :

• Sciences de l'environnement
• Entreprise
• Épidémiologie
• Prise de décision multicritère
• Étalonnage du modèle