Constante de normalisation

théorie des probabilités , une constante de normalisation ou un facteur de normalisation est utilisé pour réduire toute fonction non négative dont l'intégrale est finie à une fonction de densité de probabilité .

Par exemple, une fonction gaussienne peut être normalisée en une fonction de densité de probabilité, qui correspond à la loi normale centrée réduite. Dans le théorème de Bayes, une constante de normalisation est utilisée pour garantir que la somme des probabilités de toutes les hypothèses possibles est égale à 1. Les constantes de normalisation servent également, entre autres, à fixer la valeur d'un polynôme de Legendre à 1 et à établir l'orthogonalité des fonctions orthonormales.

Un concept similaire a été utilisé dans d'autres domaines que les probabilités, comme par exemple pour les polynômes.

Si l'on part de la fonction gaussienne simple , on obtient l' intégrale gaussienne correspondante.

Si l'on utilise l' inverse de cette dernière fonction comme constante de normalisation de la première, en définissant une fonction dont l' intégrale est égale à 1, alors cette fonction est une fonction de densité de probabilité. Il s'agit de la densité de la loi normale centrée réduite . ( Dans ce cas, « centrée réduite » signifie que l' espérance est de 0 et la variance de 1.)

Et la constante est la constante de normalisation de la fonction .

De même, et par conséquent est une fonction de masse de probabilité sur l'ensemble de tous les entiers non négatifs. Il s'agit de la fonction de masse de probabilité de la distribution de Poisson avec une espérance λ.

Il est à noter que si la fonction de densité de probabilité dépend de divers paramètres, sa constante de normalisation en dépendra également. La constante de normalisation paramétrée de la distribution de Boltzmann joue un rôle central en mécanique statistique . Dans ce contexte, la constante de normalisation est appelée fonction de partition .

Le théorème de Bayes stipule que la mesure de probabilité a posteriori est proportionnelle au produit de la mesure de probabilité a priori et de la vraisemblance . Cette proportionnalité implique qu'il faut multiplier ou diviser par une constante de normalisation pour attribuer la mesure 1 à l'ensemble de l'espace, c'est-à-dire pour obtenir une mesure de probabilité. Dans le cas discret simple, on a : où P(H₀ ₎ est la probabilité a priori que l'hypothèse soit vraie ; P(D | H₀ ₎ est la probabilité conditionnelle des données sachant que l'hypothèse est vraie, mais, étant donné que les données sont connues, il s'agit de la vraisemblance de l'hypothèse (ou de ses paramètres) étant donné les données ; P(H₀ _| D ) est la probabilité a posteriori que l'hypothèse soit vraie étant donné les données. P(D) devrait être la probabilité d'obtenir les données, mais étant donné qu'elle est difficile à calculer seule, une autre façon de décrire cette relation est de la considérer comme une relation de proportionnalité : puisque P(H₀ | D) est une probabilité, la somme sur toutes les hypothèses possibles (mutuellement exclusives) devrait être égale à 1, ce qui conduit à la conclusion que P(H₀ | D) = 1. Dans ce cas, l' inverse de la valeur de P(H₀ | D) est la constante de normalisation . Il peut être étendu d'un nombre dénombrable d'hypothèses à un nombre non dénombrable en remplaçant la somme par une intégrale.

Concrètement, il existe de nombreuses méthodes d'estimation de la constante de normalisation à des fins pratiques. Parmi ces méthodes, on peut citer la technique d'échantillonnage par pont, l'estimateur naïf de Monte Carlo, l'estimateur de la moyenne harmonique généralisée et l'échantillonnage d'importance.

Les polynômes de Legendre sont caractérisés par leur orthogonalité par rapport à la mesure uniforme sur l'intervalle [−1, 1] et par le fait qu'ils sont normalisés de sorte que leur valeur en 1 soit 1. La constante par laquelle on multiplie un polynôme pour que sa valeur en 1 soit 1 est une constante de normalisation.

Les fonctions orthonormales sont normalisées de telle sorte que par rapport à un certain produit scalaire fonctions hyperboliques cosh et sinh à partir des longueurs des côtés adjacents et opposés d'un triangle hyperbolique .