Distribution normale

En théorie des probabilités et en statistique , une distribution normale ou gaussienne est un type de distribution de probabilité continue pour une variable aléatoire à valeur réelle . La forme générale de sa fonction de densité de probabilité est

Le paramètre est la moyenne ou l'espérance de la distribution (ainsi que sa médiane et son mode ), tandis que le paramètre est la variance . L' écart type de la distribution est (sigma). Une variable aléatoire avec une distribution gaussienne est dite normalement distribuée et est appelée écart normal .

Les distributions normales sont importantes en statistique et sont souvent utilisées dans les sciences naturelles et sociales pour représenter des variables aléatoires à valeur réelle dont les distributions ne sont pas connues. Leur importance est en partie due au théorème central limite . Il stipule que, dans certaines conditions, la moyenne de nombreux échantillons (observations) d'une variable aléatoire avec une moyenne et une variance finies est elle-même une variable aléatoire, dont la distribution converge vers une distribution normale à mesure que le nombre d'échantillons augmente. Par conséquent, les quantités physiques qui sont censées être la somme de nombreux processus indépendants, comme les erreurs de mesure , ont souvent des distributions presque normales.

De plus, les distributions gaussiennes présentent des propriétés uniques qui sont précieuses dans les études analytiques. Par exemple, toute combinaison linéaire d'un ensemble fixe d'écarts normaux indépendants est un écart normal. De nombreux résultats et méthodes, tels que la propagation de l'incertitude et l'ajustement des paramètres par les moindres carrés , peuvent être dérivés analytiquement sous forme explicite lorsque les variables concernées sont distribuées normalement.

Une distribution normale est parfois appelée de manière informelle une courbe en cloche . Cependant, de nombreuses autres distributions sont en forme de cloche (telles que les distributions de Cauchy , de Student et logistiques ). (Pour d'autres noms, voir Dénomination .)

La distribution de probabilité univariée est généralisée pour les vecteurs dans la distribution normale multivariée et pour les matrices dans la distribution normale matricielle .

Le cas le plus simple d'une distribution normale est connu sous le nom de distribution normale standard ou distribution normale unitaire . Il s'agit d'un cas particulier lorsque et , et il est décrit par cette fonction de densité de probabilité (ou densité) : La variable a une moyenne de 0 et une variance et un écart type de 1. La densité a son pic à et points d'inflexion à et .

Bien que la densité ci-dessus soit plus communément connue sous le nom de normale standard, quelques auteurs ont utilisé ce terme pour décrire d'autres versions de la distribution normale. Carl Friedrich Gauss , par exemple, a défini une fois la normale standard comme ayant une variance de ⁠ ⁠ , et Stephen Stigler a défini une fois la normale standard comme ayant une forme fonctionnelle simple et une variance de

Chaque distribution normale est une version de la distribution normale standard, dont le domaine a été étiré d'un facteur (l'écart type) puis transposé par (la valeur moyenne) :

La densité de probabilité doit être mise à l'échelle de sorte que l' intégrale soit toujours égale à 1.

Si est un écart-type normal , alors aura une distribution normale avec une valeur attendue et un écart-type . Cela revient à dire que la distribution normale standard peut être mise à l'échelle/étirée par un facteur de et décalée de pour produire une distribution normale différente, appelée . Inversement, si est un écart-type normal avec des paramètres et , alors cette distribution peut être redimensionnée et décalée via la formule pour la convertir en distribution normale standard. Cette variable est également appelée la forme standardisée de .

La densité de probabilité de la distribution gaussienne standard (distribution normale standard, avec moyenne nulle et variance unitaire) est souvent désignée par la lettre grecque ( phi ). La forme alternative de la lettre grecque phi, , est également utilisée assez souvent.

La distribution normale est souvent désignée par ou . Ainsi, lorsqu'une variable aléatoire est normalement distribuée avec une moyenne et un écart type , on peut écrire

Certains auteurs préconisent d'utiliser la précision comme paramètre définissant la largeur de la distribution, au lieu de l'écart type ou de la variance . La précision est normalement définie comme l'inverse de la variance, . La formule de la distribution devient alors

Ce choix est censé présenter des avantages dans les calculs numériques lorsque est très proche de zéro, et simplifie les formules dans certains contextes, comme dans l' inférence bayésienne de variables avec une distribution normale multivariée .

Alternativement, l'inverse de l'écart type pourrait être défini comme la précision , auquel cas l'expression de la distribution normale devient

Selon Stigler, cette formulation est avantageuse en raison d’une formule beaucoup plus simple et plus facile à retenir, et de formules approximatives simples pour les quantiles de la distribution.

Les distributions normales forment une famille exponentielle avec des paramètres naturels et et des statistiques naturelles x et x ² . Les paramètres d'espérance duale pour la distribution normale sont η ₁ = μ et η ₂ = μ ² + σ ² .

La fonction de distribution cumulative (CDF) de la distribution normale standard, généralement désignée par la lettre grecque majuscule , est l'intégrale

La fonction d'erreur associée donne la probabilité d'une variable aléatoire, avec une distribution normale de moyenne 0 et une variance 1/2, se situant dans la plage . C'est-à-dire :

Ces intégrales ne peuvent pas être exprimées en termes de fonctions élémentaires et sont souvent qualifiées de fonctions spéciales . Cependant, de nombreuses approximations numériques sont connues ; voir ci-dessous pour plus d'informations.

Les deux fonctions sont étroitement liées, à savoir

Pour une distribution normale générique avec densité , moyenne et variance , la fonction de distribution cumulative est

Le complément de la fonction de distribution cumulative normale standard, , est souvent appelé la fonction Q , en particulier dans les manuels d'ingénierie. Elle donne la probabilité que la valeur d'une variable aléatoire normale standard dépasse : . D'autres définitions de la fonction , qui sont toutes de simples transformations de , sont également utilisées occasionnellement. $x)P(X>x)$x)}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/bfaae98effc2a25e28a050e520e5f78d3b9a17f8">

Le graphique de la fonction de distribution cumulative normale standard présente une symétrie de rotation double autour du point (0,1/2) ; c'est-à-dire . Sa primitive (intégrale indéfinie) peut être exprimée comme suit :

La fonction de distribution cumulative de la distribution normale standard peut être étendue par intégration par parties dans une série :

où désigne la factorielle double .

Une extension asymptotique de la fonction de distribution cumulative pour x grand peut également être obtenue en utilisant l'intégration par parties. Pour plus d'informations, voir Fonction d'erreur#Asymptotic expansion .

Une approximation rapide de la fonction de distribution cumulative de la distribution normale standard peut être trouvée en utilisant une approximation de série de Taylor :

La nature récursive de la famille des dérivées peut être utilisée pour construire facilement un développement en série de Taylor à convergence rapide en utilisant des entrées récursives sur tout point de valeur connue de la distribution, :

où:

Une application du développement de la série de Taylor ci-dessus consiste à utiliser la méthode de Newton pour inverser le calcul. Autrement dit, si nous avons une valeur pour la fonction de distribution cumulative , , mais que nous ne connaissons pas le x nécessaire pour obtenir le , nous pouvons utiliser la méthode de Newton pour trouver x et utiliser le développement de la série de Taylor ci-dessus pour minimiser le nombre de calculs. La méthode de Newton est idéale pour résoudre ce problème car la première dérivée de , qui est une intégrale de la distribution standard normale, est la distribution standard normale et est facilement disponible pour être utilisée dans la solution de la méthode de Newton.

Pour résoudre, sélectionnez une solution approximative connue, , à la valeur souhaitée . peut être une valeur d'une table de distribution ou une estimation intelligente suivie d'un calcul de utilisant n'importe quel moyen de calcul souhaité. Utilisez cette valeur de et le développement en série de Taylor ci-dessus pour minimiser les calculs.

Répétez le processus suivant jusqu'à ce que la différence entre la valeur calculée et la valeur souhaitée , que nous appellerons , soit inférieure à une erreur choisie acceptablement petite, telle que 10 ⁻⁵ , 10 ⁻¹⁵ , etc. :

où

Lorsque les calculs répétés convergent vers une erreur inférieure à la valeur acceptable petite choisie, x sera la valeur nécessaire pour obtenir une de la valeur souhaitée, .

Environ 68 % des valeurs tirées d'une distribution normale se situent à un écart type σ de la moyenne ; environ 95 % des valeurs se situent à deux écarts types ; et environ 99,7 % se situent à trois écarts types. Ce fait est connu sous le nom de règle 68-95-99,7 (empirique) ou règle des 3 sigma .

Plus précisément, la probabilité qu'un écart normal se situe dans la plage comprise entre et est donnée par À 12 chiffres significatifs, les valeurs de sont :

OEIS : A178647 2 0,954 499 736 104 0,045 500 263 896 OEIS : A110894 3 0,997 300 203 937 0,002 699 796 063 OEIS : A270712 4 0,999 936 657 516 0,000 063 342 484 5 0,999 999 426 697 0,000 000 573 303 6 0,999 999 998 027 0,000 000 001 973

Pour les grandes , on peut utiliser l'approximation .

La fonction quantile d'une distribution est l'inverse de la fonction de distribution cumulative. La fonction quantile de la distribution normale standard est appelée fonction probit et peut être exprimée en termes de fonction d'erreur inverse : Pour une variable aléatoire normale avec moyenne et variance , la fonction quantile est Le quantile de la distribution normale standard est communément noté . Ces valeurs sont utilisées dans les tests d'hypothèses , la construction d' intervalles de confiance et les tracés Q–Q . Une variable aléatoire normale dépassera avec une probabilité et se situera en dehors de l'intervalle avec une probabilité . En particulier, le quantile est de 1,96 ; par conséquent, une variable aléatoire normale se situera en dehors de l'intervalle dans seulement 5 % des cas.

Le tableau suivant donne le quantile tel que se situera dans la plage avec une probabilité spécifiée . Ces valeurs sont utiles pour déterminer l'intervalle de tolérance pour les moyennes d'échantillons et d'autres estimateurs statistiques avec des distributions normales (ou asymptotiquement normales). Le tableau suivant montre , non tel que défini ci-dessus.

Pour les petits , la fonction quantile a le développement asymptotique utile

La distribution normale est la seule distribution dont les cumulants au-delà des deux premiers (c'est-à-dire autres que la moyenne et la variance ) sont nuls. C'est aussi la distribution continue avec l' entropie maximale pour une moyenne et une variance spécifiées. Geary a montré, en supposant que la moyenne et la variance sont finies, que la distribution normale est la seule distribution où la moyenne et la variance calculées à partir d'un ensemble de tirages indépendants sont indépendantes l'une de l'autre.

La distribution normale est une sous-classe des distributions elliptiques . La distribution normale est symétrique par rapport à sa moyenne et est non nulle sur toute la ligne réelle. En tant que telle, elle peut ne pas être un modèle adapté aux variables intrinsèquement positives ou fortement asymétriques, telles que le poids d'une personne ou le prix d'une action . Ces variables peuvent être mieux décrites par d'autres distributions, telles que la distribution log-normale ou la distribution de Pareto .

La valeur de la densité normale est pratiquement nulle lorsque la valeur se situe à plus de quelques écarts types de la moyenne (par exemple, une dispersion de trois écarts types couvre la totalité de la distribution totale, sauf 0,27 %). Par conséquent, ce modèle peut ne pas être approprié lorsque l'on s'attend à une fraction significative de valeurs aberrantes (valeurs qui se situent à de nombreux écarts types de la moyenne) et les moindres carrés et autres méthodes d'inférence statistique qui sont optimales pour les variables normalement distribuées deviennent souvent très peu fiables lorsqu'elles sont appliquées à de telles données. Dans ces cas, il convient de supposer une distribution à queue plus lourde et d'appliquer les méthodes d'inférence statistique robustes appropriées .

La distribution gaussienne appartient à la famille des distributions stables qui sont les attracteurs de sommes de distributions indépendantes et identiquement distribuées, que la moyenne ou la variance soit finie ou non. À l'exception de la distribution gaussienne qui est un cas limite, toutes les distributions stables ont des queues lourdes et une variance infinie. C'est l'une des rares distributions stables dont les fonctions de densité de probabilité peuvent être exprimées analytiquement, les autres étant la distribution de Cauchy et la distribution de Lévy .

La distribution normale avec densité (moyenne et variance ) a les propriétés suivantes : $0{\sigma }^2>0$0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/ebe66d229cd7ffe26117b0210589335cd0ef9a1a">

• Elle est symétrique autour du point qui est à la fois le mode , la médiane et la moyenne de la distribution.
• Il est unimodal : sa première dérivée est positive pour négative pour et nulle seulement à$\backslash mu\; ,x>\mu ,$\mu ,}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/a9759302b1b0bf87dd4b7d54889c49523c2d19a1">
• L'aire délimitée par la courbe et l' axe des abscisses est égale à un (c'est-à-dire égale à un).
• Sa première dérivée est
• Sa deuxième dérivée est
• Sa densité a deux points d'inflexion (où la dérivée seconde de est nulle et change de signe), situés à un écart type de la moyenne, à savoir à et
• Sa densité est log-concave .
• Sa densité est infiniment différentiable , voire superlisse d'ordre 2.

De plus, la densité de la distribution normale standard (c'est-à-dire et ) possède également les propriétés suivantes :

• Sa première dérivée est
• Sa deuxième dérivée est
• Plus généralement, sa n- ième dérivée est où est le n- ième polynôme d'Hermite (probabiliste) .
• La probabilité qu'une variable distribuée normalement avec des valeurs connues et se trouve dans un ensemble particulier peut être calculée en utilisant le fait que la fraction a une distribution normale standard.

Les moments simples et absolus d'une variable sont respectivement les valeurs attendues de et de . Si la valeur attendue de est nulle, ces paramètres sont appelés moments centraux ; sinon, ces paramètres sont appelés moments non centraux. En général, nous nous intéressons uniquement aux moments d'ordre entier .

Si a une distribution normale, les moments non centraux existent et sont finis pour tout nombre dont la partie réelle est supérieure à −1. Pour tout entier non négatif , les moments centraux simples sont : Ici désigne la factorielle double , c'est-à-dire le produit de tous les nombres de à 1 qui ont la même parité que

Les moments absolus centraux coïncident avec les moments simples pour tous les ordres pairs, mais sont non nuls pour les ordres impairs. Pour tout entier non négatif

$-1.p>-1.$-1.}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/60bec6c456d39575d4d0bda8ef6126df6965184b">

Ces expressions restent valables même si n'est pas un entier. Voir aussi polynômes d'Hermite généralisés .

L'espérance de conditionnée par l'événement qui se situe dans un intervalle est donnée par où et sont respectivement la densité et la fonction de distribution cumulative de . On parle alors de rapport de Mills inverse . Notez que ci-dessus, la densité de est utilisée à la place de la densité normale standard comme dans le rapport de Mills inverse, donc ici nous avons à la place de .

La transformée de Fourier d'une densité normale avec moyenne et variance est

où est l' unité imaginaire . Si la moyenne est , le premier facteur est 1, et la transformée de Fourier est, à un facteur constant près, une densité normale sur le domaine fréquentiel , de moyenne 0 et de variance . En particulier, la distribution normale standard est une fonction propre de la transformée de Fourier.

En théorie des probabilités, la transformée de Fourier de la distribution de probabilité d'une variable aléatoire à valeur réelle est étroitement liée à la fonction caractéristique de cette variable, qui est définie comme la valeur attendue de , en fonction de la variable réelle (le paramètre de fréquence de la transformée de Fourier). Cette définition peut être étendue analytiquement à une variable à valeur complexe . La relation entre les deux est :

La fonction génératrice des moments d'une variable aléatoire réelle est la valeur attendue de , en fonction du paramètre réel . Pour une distribution normale avec densité , moyenne et variance , la fonction génératrice des moments existe et est égale à

⁠ ⁠ , le coefficient de ⁠ ⁠ dans la fonction génératrice de moments (exprimé sous la forme d'une série exponentielle de puissances en ⁠ ⁠ ) est la valeur attendue de la distribution normale ⁠ ⁠ .

La fonction génératrice du cumul est le logarithme de la fonction génératrice du moment, à savoir

Les coefficients de cette série exponentielle de puissance définissent les cumulants, mais comme il s'agit d'un polynôme quadratique en ⁠ ⁠ , seuls les deux premiers cumulants sont non nuls, à savoir la moyenne et la variance ⁠ ⁠ .

Certains auteurs préfèrent plutôt travailler avec la fonction caractéristique E[ e ^itX ] = e ^{iμt − σ 2 t 2 /2} et ln E[ e ^itX ] = iμt − ⁠1/2σ ² t ² . ​

Dans la méthode de Stein, l'opérateur de Stein et la classe d'une variable aléatoire sont et la classe de toutes les fonctions absolument continues .

Dans la limite où tend vers zéro, la densité de probabilité tend finalement vers zéro à tout , mais croît sans limite si , tandis que son intégrale reste égale à 1. Par conséquent, la distribution normale ne peut pas être définie comme une fonction ordinaire lorsque .

Cependant, on peut définir la distribution normale à variance nulle comme une fonction généralisée ; plus précisément, comme une fonction delta de Dirac traduite par la moyenne , c'est-à-dire Sa fonction de distribution cumulative est alors la fonction échelon de Heaviside traduite par la moyenne , à savoir

De toutes les distributions de probabilité sur les nombres réels avec une moyenne finie et une variance finie spécifiées , la distribution normale est celle avec une entropie maximale . Pour voir cela, soit une variable aléatoire continue avec une densité de probabilité . L'entropie de est définie comme

où est compris comme étant nul lorsque . Cette fonctionnelle peut être maximisée, sous réserve que la distribution soit correctement normalisée et ait une moyenne et une variance spécifiées, en utilisant le calcul variationnel . Une fonction avec trois multiplicateurs de Lagrange est définie :

À l'entropie maximale, une petite variation de produira une variation de qui est égale à 0 :

Étant donné que cela doit être vrai pour tout petit , le facteur multiplicateur doit être nul et la résolution pour donne :

Les contraintes de Lagrange qui sont correctement normalisées et ont la moyenne et la variance spécifiées sont satisfaites si et seulement si , et sont choisis de telle sorte que L'entropie d'une distribution normale est égale à qui est indépendante de la moyenne .

Le théorème central limite stipule que dans certaines conditions (assez courantes), la somme de nombreuses variables aléatoires aura une distribution approximativement normale. Plus précisément, où sont des variables aléatoires indépendantes et identiquement distribuées avec la même distribution arbitraire, une moyenne nulle et une variance et est leur moyenne mise à l'échelle par Alors, à mesure que augmente, la distribution de probabilité de tendra vers la distribution normale avec une moyenne nulle et une variance nulle .

Le théorème peut être étendu à des variables qui ne sont pas indépendantes et/ou pas identiquement distribuées si certaines contraintes sont imposées sur le degré de dépendance et les moments des distributions.

De nombreuses statistiques de test , scores et estimateurs rencontrés dans la pratique contiennent des sommes de certaines variables aléatoires, et un nombre encore plus important d'estimateurs peuvent être représentés comme des sommes de variables aléatoires grâce à l'utilisation de fonctions d'influence . Le théorème central limite implique que ces paramètres statistiques auront des distributions asymptotiquement normales.

Le théorème central limite implique également que certaines distributions peuvent être approximées par la distribution normale, par exemple :

• La distribution binomiale est approximativement normale avec une moyenne et une variance grandes et pas trop proches de 0 ou 1.
• La distribution de Poisson avec paramètre est approximativement normale avec moyenne et variance , pour les grandes valeurs de .
• La distribution du chi carré est approximativement normale avec une moyenne et une variance de , pour les grandes valeurs .
• La distribution t de Student est approximativement normale avec une moyenne de 0 et une variance de 1 lorsqu'elle est grande.

La précision de ces approximations dépend de l'objectif visé et du taux de convergence vers la distribution normale. En général, ces approximations sont moins précises dans les extrémités de la distribution.

Une limite supérieure générale pour l'erreur d'approximation dans le théorème central limite est donnée par le théorème de Berry-Esseen , les améliorations de l'approximation sont données par les développements d'Edgeworth .

Ce théorème peut également être utilisé pour justifier la modélisation de la somme de nombreuses sources de bruit uniformes comme un bruit gaussien . Voir AWGN .

La densité de probabilité , la distribution cumulative et la distribution cumulative inverse de toute fonction d'une ou plusieurs variables normales indépendantes ou corrélées peuvent être calculées avec la méthode numérique du lancer de rayons (code Matlab). Dans les sections suivantes, nous examinons quelques cas particuliers.

Si est distribué normalement avec moyenne et variance , alors

• L'exponentielle de est distribuée log-normalement : .
• Le sigmoïde standard de est distribué selon une loi logit-normale : .
• La valeur absolue de a une distribution normale pliée : . Si cela est connu comme la distribution semi-normale .
• La valeur absolue des résidus normalisés, , a une distribution chi avec un degré de liberté : .
• Le carré de a une distribution chi-carré non centrale avec un degré de liberté : . Si , la distribution est simplement appelée chi-carré .
• La vraisemblance logarithmique d'une variable normale est simplement le logarithme de sa fonction de densité de probabilité : Puisqu'il s'agit d'un carré mis à l'échelle et décalé d'une variable normale standard, elle est distribuée comme une variable chi-carré mise à l'échelle et décalée .
• La distribution de la variable restreinte à un intervalle est appelée distribution normale tronquée .

• Si et sont deux variables aléatoires normales indépendantes , de moyennes , et de variances , , alors leur somme sera également distribuée normalement, ^[preuve] de moyenne et de variance .
• En particulier, si et sont des écarts normaux indépendants avec une moyenne et une variance nulles , alors et sont également indépendants et normalement distribués, avec une moyenne et une variance nulles . Il s'agit d'un cas particulier de l' identité de polarisation .
• Si , sont deux écarts normaux indépendants de moyenne et de variance , et , sont des nombres réels arbitraires, alors la variable est également distribuée normalement de moyenne et de variance . Il s'ensuit que la distribution normale est stable (d'exposant ).
• Si , sont des distributions normales, alors leur moyenne géométrique normalisée est une distribution normale avec et (voir ici pour une visualisation).

Si et sont deux variables aléatoires normales standard indépendantes avec une moyenne de 0 et une variance de 1, alors

• Leur somme et leur différence sont distribuées normalement avec une moyenne nulle et une variance de deux : .
• Leur produit suit la distribution des produits avec fonction de densité où est la fonction de Bessel modifiée de seconde espèce . Cette distribution est symétrique autour de zéro, non bornée en , et possède la fonction caractéristique .
• Leur rapport suit la distribution standard de Cauchy : .
• Leur norme euclidienne a une distribution de Rayleigh .

• Toute combinaison linéaire d’écarts normaux indépendants est un écart normal.
• Si les variables aléatoires normales standard sont indépendantes, alors la somme de leurs carrés a la distribution du chi carré avec degrés de liberté
• Si les variables aléatoires sont indépendantes et normalement distribuées avec des moyennes et des variances , alors leur moyenne d'échantillon est indépendante de l' écart type d'échantillon , ce qui peut être démontré en utilisant le théorème de Basu ou le théorème de Cochran . Le rapport de ces deux quantités aura la distribution t de Student avec degrés de liberté :
• Si , sont des variables aléatoires normales standard indépendantes, alors le rapport de leurs sommes de carrés normalisées aura la distribution F avec ( n , m ) degrés de liberté :

• Une forme quadratique d'un vecteur normal, c'est-à-dire une fonction quadratique de plusieurs variables normales indépendantes ou corrélées, est une variable chi-carré généralisée .

La distribution normale divisée est définie de la manière la plus directe en termes de jonction de sections mises à l'échelle des fonctions de densité de différentes distributions normales et de remise à l'échelle de la densité pour l'intégrer à une seule. La distribution normale tronquée résulte de la remise à l'échelle d'une section d'une seule fonction de densité.

Pour tout entier positif , toute distribution normale avec moyenne et variance est la distribution de la somme des écarts normaux indépendants, chacun avec moyenne et variance . Cette propriété est appelée divisibilité infinie .

Inversement, si et sont des variables aléatoires indépendantes et que leur somme a une distribution normale, alors et doivent tous deux être des écarts normaux.

Ce résultat est connu sous le nom de théorème de décomposition de Cramér et équivaut à dire que la convolution de deux distributions est normale si et seulement si les deux sont normales. Le théorème de Cramér implique qu'une combinaison linéaire de variables indépendantes non gaussiennes n'aura jamais une distribution exactement normale, même si elle peut s'en approcher arbitrairement.

Le théorème de Kac-Bernstein stipule que si et sont indépendants et et sont également indépendants, alors X et Y doivent nécessairement avoir des distributions normales.

Plus généralement, si sont des variables aléatoires indépendantes, alors deux combinaisons linéaires distinctes et seront indépendantes si et seulement si toutes sont normales et , où désigne la variance de .

La notion de distribution normale, l'une des plus importantes de la théorie des probabilités, a été étendue bien au-delà du cadre standard du cas univarié (c'est-à-dire unidimensionnel) (Cas 1). Toutes ces extensions sont également appelées lois normales ou gaussiennes , ce qui fait qu'il existe une certaine ambiguïté dans les noms.

• La distribution normale multivariée décrit la loi gaussienne dans l' espace euclidien à k dimensions . Un vecteur X ∈ R ^k est distribué normalement à plusieurs variables si une combinaison linéaire de ses composantes Σ^kj
  _{= 1}a _j X _j a une distribution normale (univariée). La variance de X est unematrice symétrique définie positive V k×k . La distribution normale multivariée est un cas particulier des distributions elliptiques . Ainsi, ses lieux d'isodensité dans le cas k = 2 sont des ellipses et dans le cas de k arbitraire sont des ellipsoïdes .
• Distribution gaussienne rectifiée : une version rectifiée de la distribution normale avec tous les éléments négatifs réinitialisés à 0
• La distribution normale complexe traite des vecteurs normaux complexes. Un vecteur complexe X ∈ C ^k est dit normal si ses composantes réelle et imaginaire possèdent conjointement une distribution normale multivariée de dimension 2 k . La structure variance-covariance de X est décrite par deux matrices : la matrice de variance Γ et la matrice de relations C .
• La distribution normale matricielle décrit le cas de matrices distribuées normalement.
• Les processus gaussiens sont des processus stochastiques normalement distribués . Ils peuvent être considérés comme des éléments d'un espace de Hilbert de dimension infinie H et sont donc les analogues de vecteurs normaux multivariés pour le cas k = ∞ . Un élément aléatoire h ∈ H est dit normal si pour toute constante a ∈ H le produit scalaire ( a , h ) a une distribution normale (univariée). La structure de variance d'un tel élément aléatoire gaussien peut être décrite en termes de l' opérateur de covariance linéaire K : H → H . Plusieurs processus gaussiens sont devenus suffisamment populaires pour avoir leurs propres noms :
  • Mouvement brownien ,
  • Pont brownien ,
  • Procédé d'Ornstein-Uhlenbeck .
• La distribution q gaussienne est une construction mathématique abstraite qui représente un analogue q de la distribution normale.
• La distribution q-gaussienne est un analogue de la distribution gaussienne, dans le sens où elle maximise l' entropie de Tsallis , et est un type de distribution de Tsallis . Cette distribution est différente de la distribution q-gaussienne ci-dessus.
• La distribution κ -gaussienne de Kaniadakis est une généralisation de la distribution gaussienne qui découle des statistiques de Kaniadakis , étant l'une des distributions de Kaniadakis .

Une variable aléatoire X a une distribution normale en deux parties si elle a une distribution

où μ est la moyenne et σ ₁ ² et σ ₂ ² sont les variances de la distribution à gauche et à droite de la moyenne respectivement.

La moyenne, la variance et le troisième moment central de cette distribution ont été déterminés

où E( X ), V( X ) et T( X ) sont respectivement la moyenne, la variance et le troisième moment central.

L'une des principales utilisations pratiques de la loi gaussienne est de modéliser les distributions empiriques de nombreuses variables aléatoires différentes rencontrées dans la pratique. Dans ce cas, une extension possible serait une famille de distributions plus riche, ayant plus de deux paramètres et pouvant donc s'adapter plus précisément à la distribution empirique. Les exemples de telles extensions sont :

• Distribution de Pearson — une famille de distributions de probabilité à quatre paramètres qui étendent la loi normale pour inclure différentes valeurs d'asymétrie et de kurtosis.
• La distribution normale généralisée , également connue sous le nom de distribution de puissance exponentielle, permet des queues de distribution avec des comportements asymptotiques plus épais ou plus fins.

Il arrive souvent que nous ne connaissions pas les paramètres de la distribution normale, mais que nous souhaitions plutôt les estimer . En d'autres termes, si nous disposons d'un échantillon d'une population normale, nous souhaitons connaître les valeurs approximatives des paramètres et . L'approche standard de ce problème est la méthode du maximum de vraisemblance , qui nécessite la maximisation de la fonction de vraisemblance logarithmique : estimations de vraisemblance maximale :

Alors c'est comme suit :

L'estimateur est appelé moyenne de l'échantillon , car il s'agit de la moyenne arithmétique de toutes les observations. La statistique est complète et suffisante pour , et donc, selon le théorème de Lehmann-Scheffé , est l' estimateur uniformément minimal de variance sans biais (UMVU). Dans les échantillons finis, il est distribué normalement : La variance de cet estimateur est égale à l' élément μμ de la matrice d'information inverse de Fisher . Cela implique que l'estimateur est efficace sur un échantillon fini . D'une importance pratique est le fait que l' erreur type de est proportionnelle à , c'est-à-dire que si l'on souhaite diminuer l'erreur type d'un facteur 10, il faut augmenter le nombre de points dans l'échantillon d'un facteur 100. Ce fait est largement utilisé pour déterminer la taille des échantillons pour les sondages d'opinion et le nombre d'essais dans les simulations de Monte Carlo .

Du point de vue de la théorie asymptotique , est cohérent , c'est-à-dire qu'il converge en probabilité vers . L'estimateur est également asymptotiquement normal , ce qui est un simple corollaire du fait qu'il est normal dans les échantillons finis :

L'estimateur est appelé variance de l'échantillon , car il s'agit de la variance de l'échantillon ( ). En pratique, un autre estimateur est souvent utilisé à la place de . Cet autre estimateur est noté , et est également appelé variance de l'échantillon , ce qui représente une certaine ambiguïté dans la terminologie ; sa racine carrée est appelée écart type de l'échantillon . L'estimateur diffère de en ayant ( n − 1) au lieu de n dans le dénominateur (la soi-disant correction de Bessel ) : La différence entre et devient négligeable pour les grands n ' s. Dans les échantillons finis cependant, la motivation derrière l'utilisation de est qu'il s'agit d'un estimateur non biaisé du paramètre sous-jacent , alors que est biaisé. De plus, par le théorème de Lehmann-Scheffé l'estimateur est uniformément à variance minimale non biaisé ( UMVU ), ce qui en fait le « meilleur » estimateur parmi tous les estimateurs non biaisés. Cependant, il peut être démontré que l'estimateur biaisé est meilleur que le en termes de critère d'erreur quadratique moyenne (MSE). Dans les échantillons finis , et ont une distribution khi-carré échelonnée avec ( n − 1) degrés de liberté : La première de ces expressions montre que la variance de est égale à , ce qui est légèrement supérieur à l' élément σσ de la matrice d'information inverse de Fisher . Ainsi, n'est pas un estimateur efficace pour , et de plus, comme est UMVU, nous pouvons conclure que l'estimateur efficace pour échantillon fini n'existe pas.

En appliquant la théorie asymptotique, les deux estimateurs et sont cohérents, c'est-à-dire qu'ils convergent en probabilité vers lorsque la taille de l'échantillon . Les deux estimateurs sont également tous deux asymptotiquement normaux : en particulier, les deux estimateurs sont asymptotiquement efficaces pour .

Selon le théorème de Cochran , pour les distributions normales, la moyenne et la variance de l'échantillon s ² sont indépendantes , ce qui signifie qu'il n'y a aucun avantage à considérer leur distribution conjointe . Il existe également un théorème inverse : si dans un échantillon, la moyenne et la variance de l'échantillon sont indépendantes, alors l'échantillon doit provenir de la distribution normale. L'indépendance entre et s peut être utilisée pour construire la statistique t : Cette quantité t a la distribution t de Student avec ( n − 1) degrés de liberté, et c'est une statistique auxiliaire (indépendante de la valeur des paramètres). L'inversion de la distribution de cette statistique t nous permettra de construire l' intervalle de confiance pour μ ; de même, l'inversion de la distribution χ ² de la statistique s ² nous donnera l'intervalle de confiance pour σ ² : où t _k,p et χ 2
k, psont les p ièmes quantiles des distributions t et χ ² respectivement. Ces intervalles de confiance ont un niveau de confiance de 1 − α , ce qui signifie que les vraies valeurs μ et σ ² se situent en dehors de ces intervalles avec une probabilité (ou un niveau de signification ) α . Dans la pratique, on prend généralement α = 5 % , ce qui donne des intervalles de confiance à 95 %. L'intervalle de confiance pour σ peut être trouvé en prenant la racine carrée des limites de l'intervalle pour σ ² .

Des formules approximatives peuvent être dérivées des distributions asymptotiques de et s ² : Les formules approximatives deviennent valables pour les grandes valeurs de n et sont plus pratiques pour le calcul manuel puisque les quantiles normaux standards z _{α /2} ne dépendent pas de n . En particulier, la valeur la plus courante de α = 5 % donne | z _0,025 | = 1,96 .

Les tests de normalité évaluent la probabilité que l'ensemble de données donné { x ₁ , ..., x _n } provienne d'une distribution normale. En général, l' hypothèse nulle H ₀ est que les observations sont distribuées normalement avec une moyenne μ et une variance σ ² non spécifiées , par opposition à l'hypothèse alternative H _a selon laquelle la distribution est arbitraire. De nombreux tests (plus de 40) ont été conçus pour ce problème. Les plus importants d'entre eux sont décrits ci-dessous :

Les graphiques diagnostiques sont plus attrayants intuitivement mais subjectifs en même temps, car ils s’appuient sur un jugement humain informel pour accepter ou rejeter l’hypothèse nulle.

• Le graphique Q–Q , également appelé graphique de probabilité normale ou graphique de Rankit , est un graphique des valeurs triées de l'ensemble de données par rapport aux valeurs attendues des quantiles correspondants de la distribution normale standard. Il s'agit donc d'un graphique de points de la forme (Φ ⁻¹ ( p _k ), x _{( k )} ), où les points de tracé p _k sont égaux à p _k = ( k − α )/( n + 1 − 2 α ) et α est une constante d'ajustement, qui peut être comprise entre 0 et 1. Si l'hypothèse nulle est vraie, les points tracés doivent se trouver approximativement sur une ligne droite.
• Diagramme P–P – similaire au diagramme Q–Q, mais utilisé beaucoup moins fréquemment. Cette méthode consiste à tracer les points (Φ( z _{( k )} ), p _k ), où . Pour des données distribuées normalement, ce tracé doit se trouver sur une ligne à 45° entre (0, 0) et (1, 1).

Tests d'ajustement :

Tests basés sur les moments :

• Test K-carré de D'Agostino
• Test de Jarque-Bera
• Test de Shapiro-Wilk : il repose sur le fait que la droite du graphique Q–Q a une pente de σ . Le test compare l'estimation par les moindres carrés de cette pente avec la valeur de la variance de l'échantillon et rejette l'hypothèse nulle si ces deux quantités diffèrent significativement.

Tests basés sur la fonction de distribution empirique :

• Test d'Anderson-Darling
• Test de Lilliefors (une adaptation du test de Kolmogorov–Smirnov )

L’analyse bayésienne des données distribuées normalement est compliquée par les nombreuses possibilités différentes qui peuvent être envisagées :

• La moyenne, la variance ou aucune des deux peuvent être considérées comme une quantité fixe.
• Lorsque la variance est inconnue, l'analyse peut être effectuée directement en termes de variance, ou en termes de précision , l'inverse de la variance. La raison pour laquelle les formules sont exprimées en termes de précision est que l'analyse de la plupart des cas est simplifiée.
• Les cas univariés et multivariés doivent être pris en compte.
• Des distributions a priori conjuguées ou impropres peuvent être appliquées aux variables inconnues.
• Un ensemble supplémentaire de cas se produit dans la régression linéaire bayésienne , où dans le modèle de base, les données sont supposées être distribuées normalement et des priors normaux sont placés sur les coefficients de régression . L'analyse qui en résulte est similaire aux cas de base de données indépendantes distribuées de manière identique .

Les formules pour les cas de régression non linéaire sont résumées dans l' article précédent conjugué .

La formule auxiliaire suivante est utile pour simplifier les équations de mise à jour postérieure , qui deviennent autrement assez fastidieuses.

Cette équation réécrit la somme de deux équations du second degré en x en développant les carrés, en regroupant les termes en x et en complétant le carré . Notez ce qui suit à propos des facteurs constants complexes attachés à certains termes :

1. Le facteur a la forme d’une moyenne pondérée de y et z .
2. a et b s'additionnent directement, donc pour combiner a et b eux-mêmes, il est nécessaire d'inverser, d'additionner et d'inverser à nouveau le résultat pour revenir aux unités d'origine. C'est exactement le type d'opération effectuée par la moyenne harmonique , il n'est donc pas surprenant que soit la moitié de la moyenne harmonique de a et b .

Une formule similaire peut être écrite pour la somme de deux vecteurs quadratiques : Si x , y , z sont des vecteurs de longueur k , et A et B sont des matrices symétriques et inversibles de taille , alors

où

La forme x ′ A x est appelée forme quadratique et est un scalaire : en d'autres termes, elle additionne toutes les combinaisons possibles de produits de paires d'éléments de x , avec un coefficient distinct pour chacune. De plus, comme , seule la somme importe pour tous les éléments hors diagonale de A , et il n'y a aucune perte de généralité à supposer que A est symétrique . De plus, si A est symétrique, alors la forme

Une autre formule utile est la suivante : où

Pour un ensemble de points de données normalement distribués iid X de taille n où chaque point individuel x suit avec une variance connue σ ² , la distribution a priori conjuguée est également normalement distribuée.

Ceci peut être démontré plus facilement en réécrivant la variance comme la précision , c'est-à-dire en utilisant τ = 1/σ ² . Alors si et nous procédons comme suit.

Premièrement, la fonction de vraisemblance est (en utilisant la formule ci-dessus pour la somme des différences par rapport à la moyenne) :

Ensuite, nous procédons comme suit :

Dans la dérivation ci-dessus, nous avons utilisé la formule ci-dessus pour la somme de deux équations du second degré et éliminé tous les facteurs constants n'impliquant pas μ . Le résultat est le noyau d'une distribution normale, avec moyenne et précision , c'est-à-dire

Cela peut être écrit comme un ensemble d'équations de mise à jour bayésiennes pour les paramètres postérieurs en termes de paramètres antérieurs :

Autrement dit, pour combiner n points de données avec une précision totale de nτ (ou de manière équivalente, une variance totale de n / σ ² ) et une moyenne de valeurs , dériver une nouvelle précision totale simplement en ajoutant la précision totale des données à la précision totale antérieure, et former une nouvelle moyenne par une moyenne pondérée par la précision , c'est-à-dire une moyenne pondérée de la moyenne des données et de la moyenne antérieure, chacune pondérée par la précision totale associée. Cela a du sens si la précision est considérée comme indiquant la certitude des observations : dans la distribution de la moyenne postérieure, chacune des composantes d'entrée est pondérée par sa certitude, et la certitude de cette distribution est la somme des certitudes individuelles. (Pour l'intuition de cela, comparez l'expression « le tout est (ou n'est pas) plus grand que la somme de ses parties ». En outre, considérez que la connaissance de l'a posteriori provient d'une combinaison de la connaissance de l'a priori et de la vraisemblance, il est donc logique que nous en soyons plus certains que de l'une ou l'autre de ses composantes.)

La formule ci-dessus révèle pourquoi il est plus pratique de faire une analyse bayésienne des priors conjugués pour la distribution normale en termes de précision. La précision postérieure est simplement la somme des précisions a priori et de vraisemblance, et la moyenne postérieure est calculée via une moyenne pondérée par la précision, comme décrit ci-dessus. Les mêmes formules peuvent être écrites en termes de variance en réciproquant toutes les précisions, ce qui donne les formules les plus laides

Pour un ensemble de points de données X de taille n, distribués normalement iid , où chaque point individuel x suit une moyenne μ connue, la loi a priori conjuguée de la variance a une loi gamma inverse ou une loi khi-carré inverse échelonnée . Les deux sont équivalentes, à l'exception de leurs paramétrisations différentes . Bien que la loi gamma inverse soit plus couramment utilisée, nous utilisons la loi khi-carré inverse échelonnée pour des raisons de commodité. La loi a priori pour σ ² est la suivante :

La fonction de vraisemblance ci-dessus, écrite en termes de variance, est :

où

Alors:

Ce qui précède est également une distribution inverse du chi carré à l'échelle où

ou de manière équivalente

En reparamétrant en termes de distribution gamma inverse , le résultat est :

Pour un ensemble de points de données X de taille n, distribués normalement , où chaque point individuel x suit une moyenne μ inconnue et une variance σ ^{2 inconnue, une} loi a priori conjuguée combinée (multivariée) est placée sur la moyenne et la variance, consistant en une distribution normale-inverse-gamma . Logiquement, cela se présente comme suit :

1. À partir de l'analyse du cas avec une moyenne inconnue mais une variance connue, nous voyons que les équations de mise à jour impliquent suffisamment de statistiques calculées à partir des données constituées de la moyenne des points de données et de la variance totale des points de données, calculée à son tour à partir de la variance connue divisée par le nombre de points de données.
2. À partir de l'analyse du cas avec variance inconnue mais moyenne connue, nous voyons que les équations de mise à jour impliquent suffisamment de statistiques sur les données constituées du nombre de points de données et de la somme des écarts au carré .
3. Gardez à l'esprit que les valeurs de mise à jour postérieures servent de distribution a priori lorsque d'autres données sont traitées. Ainsi, nous devrions logiquement penser à nos priors en termes de statistiques suffisantes qui viennent d'être décrites, en gardant à l'esprit autant que possible la même sémantique.
4. Pour traiter le cas où la moyenne et la variance sont inconnues, nous pourrions placer des priors indépendants sur la moyenne et la variance, avec des estimations fixes de la moyenne, de la variance totale, du nombre de points de données utilisés pour calculer la variance a priori et de la somme des écarts au carré. Notez cependant qu'en réalité, la variance totale de la moyenne dépend de la variance inconnue, et la somme des écarts au carré qui entre dans la variance a priori (semble dépendre) de la moyenne inconnue. En pratique, cette dernière dépendance est relativement peu importante : le déplacement de la moyenne réelle déplace les points générés d'une quantité égale, et en moyenne, les écarts au carré resteront les mêmes. Ce n'est cependant pas le cas avec la variance totale de la moyenne : à mesure que la variance inconnue augmente, la variance totale de la moyenne augmente proportionnellement, et nous aimerions capturer cette dépendance.
5. Cela suggère que nous créons une prior conditionnelle de la moyenne sur la variance inconnue, avec un hyperparamètre spécifiant la moyenne des pseudo-observations associées à la prior, et un autre paramètre spécifiant le nombre de pseudo-observations. Ce nombre sert de paramètre d'échelle sur la variance, permettant de contrôler la variance globale de la moyenne par rapport au paramètre de variance réel. La prior de la variance a également deux hyperparamètres, l'un spécifiant la somme des écarts au carré des pseudo-observations associées à la prior, et l'autre spécifiant une fois de plus le nombre de pseudo-observations. Chacune des priors a un hyperparamètre spécifiant le nombre de pseudo-observations, et dans chaque cas, cela contrôle la variance relative de cette prior. Ceux-ci sont donnés sous forme de deux hyperparamètres distincts afin que la variance (alias la confiance) des deux priors puisse être contrôlée séparément.
6. Cela conduit immédiatement à la distribution gamma inverse-normale , qui est le produit des deux distributions qui viennent d'être définies, avec des priors conjugués utilisés (une distribution gamma inverse sur la variance et une distribution normale sur la moyenne, conditionnelle à la variance) et avec les mêmes quatre paramètres qui viennent d'être définis.

Les priors sont normalement définis comme suit :

Les équations de mise à jour peuvent être dérivées et se présentent comme suit :

Les nombres respectifs de pseudo-observations s'ajoutent au nombre d'observations réelles. Le nouvel hyperparamètre moyen est à nouveau une moyenne pondérée, cette fois-ci pondérée par les nombres relatifs d'observations. Enfin, la mise à jour de est similaire au cas avec une moyenne connue, mais dans ce cas, la somme des écarts au carré est prise par rapport à la moyenne des données observées plutôt qu'à la moyenne réelle, et par conséquent, un nouveau terme d'interaction doit être ajouté pour prendre en compte la source d'erreur supplémentaire provenant de l'écart entre la moyenne a priori et la moyenne des données.

L'occurrence d'une distribution normale dans les problèmes pratiques peut être grossièrement classée en quatre catégories :

1. Distributions exactement normales ;
2. Lois approximativement normales, par exemple lorsque cette approximation est justifiée par le théorème central limite ; et
3. Distributions modélisées comme normales – la distribution normale étant la distribution avec une entropie maximale pour une moyenne et une variance données.
4. Problèmes de régression – la distribution normale étant trouvée après que les effets systématiques ont été suffisamment bien modélisés.

Certaines quantités en physique sont distribuées normalement, comme l'a démontré James Clerk Maxwell . Voici quelques exemples de telles quantités :

• Fonction de densité de probabilité d'un état fondamental dans un oscillateur harmonique quantique .
• Position d'une particule qui subit une diffusion . Si initialement la particule est située à un point spécifique (c'est-à-dire que sa distribution de probabilité est la fonction delta de Dirac ), alors après le temps t sa position est décrite par une distribution normale de variance t , qui satisfait l' équation de diffusion . Si la position initiale est donnée par une certaine fonction de densité , alors la densité à l'instant t est la convolution de g et de la fonction de densité de probabilité normale.

Les distributions approximativement normales se produisent dans de nombreuses situations, comme l'explique le théorème central limite . Lorsque le résultat est produit par de nombreux petits effets agissant de manière additive et indépendante , sa distribution sera proche de la normale. L'approximation normale ne sera pas valide si les effets agissent de manière multiplicative (au lieu de manière additive), ou s'il existe une seule influence externe qui a une ampleur considérablement plus grande que le reste des effets.

• Dans les problèmes de comptage, où le théorème central limite inclut une approximation discrète-continue et où des distributions infiniment divisibles et décomposables sont impliquées, telles que
  • Variables aléatoires binomiales , associées à des variables de réponse binaires ;
  • Variables aléatoires de Poisson , associées à des événements rares ;
• Le rayonnement thermique présente une distribution de Bose-Einstein sur des échelles de temps très courtes et une distribution normale sur des échelles de temps plus longues en raison du théorème central limite.

Je ne peux reconnaître que l'apparition de la courbe normale – la courbe laplacienne des erreurs – comme un phénomène très anormal. On s'en rapproche grossièrement dans certaines distributions ; pour cette raison, et en raison de sa belle simplicité, nous pouvons peut-être l'utiliser comme première approximation, en particulier dans les recherches théoriques.

—  Pearson (1901)

Il existe des méthodes statistiques permettant de tester empiriquement cette hypothèse ; voir la section Tests de normalité ci-dessus.

• En biologie , les logarithmes de diverses variables ont tendance à avoir une distribution normale, c'est-à-dire qu'ils ont tendance à avoir une distribution log-normale (après séparation des sous-populations mâles/femelles), avec des exemples incluant :
  • Mesures de la taille des tissus vivants (longueur, hauteur, surface cutanée, poids) ;
  • La longueur des appendices inertes (cheveux, griffes, ongles, dents) des spécimens biologiques, dans le sens de la croissance ; on peut supposer que l'épaisseur de l'écorce des arbres entre également dans cette catégorie ;
  • Certaines mesures physiologiques, telles que la pression artérielle des adultes.
• En finance, en particulier dans le modèle Black-Scholes , les variations du logarithme des taux de change, des indices de prix et des indices boursiers sont supposées normales (ces variables se comportent comme des intérêts composés , et non comme des intérêts simples, et sont donc multiplicatives). Certains mathématiciens comme Benoît Mandelbrot ont avancé que les distributions de type log-Levy , qui possèdent des queues lourdes, seraient un modèle plus approprié, en particulier pour l'analyse des krachs boursiers . L'utilisation de l'hypothèse de distribution normale dans les modèles financiers a également été critiquée par Nassim Nicholas Taleb dans ses travaux.
• Les erreurs de mesure dans les expériences physiques sont souvent modélisées par une distribution normale. Cette utilisation d'une distribution normale n'implique pas que l'on suppose que les erreurs de mesure sont distribuées normalement, mais plutôt que l'utilisation de la distribution normale produit les prévisions les plus prudentes possibles compte tenu uniquement de la connaissance de la moyenne et de la variance des erreurs.
• Dans les tests standardisés , les résultats peuvent être répartis selon une distribution normale en sélectionnant le nombre et la difficulté des questions (comme dans le test de QI ) ou en transformant les scores bruts du test en scores de sortie en les ajustant à la distribution normale. Par exemple, la plage traditionnelle de 200 à 800 du SAT est basée sur une distribution normale avec une moyenne de 500 et un écart type de 100.

• De nombreux scores sont dérivés de la distribution normale, notamment les rangs centiles (percentiles ou quantiles), les équivalents de courbe normale , les stanines , les scores z et les scores T. De plus, certaines procédures statistiques comportementales supposent que les scores sont normalement distribués ; par exemple, les tests t et les ANOVA . La notation par courbe en cloche attribue des notes relatives en fonction d'une distribution normale des scores.
• En hydrologie, la distribution des débits fluviaux ou des précipitations de longue durée, par exemple les totaux mensuels et annuels, est souvent considérée comme pratiquement normale selon le théorème central limite . L'image bleue, réalisée avec CumFreq , illustre un exemple d'ajustement de la distribution normale aux précipitations classées d'octobre montrant la ceinture de confiance à 90 % basée sur la distribution binomiale . Les données de précipitations sont représentées en traçant des positions dans le cadre de l' analyse de fréquence cumulative .

John Ioannidis a soutenu que l'utilisation d'écarts types normalement distribués comme normes pour valider les résultats de recherche laisse sans test les prédictions falsifiables sur des phénomènes qui ne sont pas normalement distribués. Cela inclut, par exemple, les phénomènes qui n'apparaissent que lorsque toutes les conditions nécessaires sont réunies et que l'un ne peut pas se substituer à l'autre de manière additionnelle et les phénomènes qui ne sont pas distribués de manière aléatoire. Ioannidis soutient que la validation centrée sur l'écart type donne une fausse apparence de validité aux hypothèses et aux théories où certaines prédictions falsifiables, mais pas toutes, sont normalement distribuées, car la partie des prédictions falsifiables contre lesquelles il existe des preuves peut et, dans certains cas, se situer dans les parties non normalement distribuées de la gamme des prédictions falsifiables, ainsi que le rejet sans fondement des hypothèses pour lesquelles aucune des prédictions falsifiables n'est normalement distribuée comme si elles étaient infalsifiables alors qu'en fait elles font des prédictions falsifiables. Ioannidis soutient que de nombreux cas de théories mutuellement exclusives acceptées comme validées par des revues de recherche sont dus à l'incapacité des revues à prendre en compte les falsifications empiriques de prédictions non distribuées normalement, et non pas parce que les théories mutuellement exclusives sont vraies, ce qui ne peut pas être le cas, bien que deux théories mutuellement exclusives puissent toutes deux être fausses et une troisième correcte.

Dans les simulations informatiques, notamment dans les applications de la méthode de Monte-Carlo , il est souvent souhaitable de générer des valeurs qui sont distribuées normalement. Les algorithmes répertoriés ci-dessous génèrent tous les écarts normaux standard, car un N ( μ , σ ² ) peut être généré comme X = μ + σZ , où Z est la normale standard. Tous ces algorithmes reposent sur la disponibilité d'un générateur de nombres aléatoires U capable de produire des variables aléatoires uniformes .

• La méthode la plus simple est basée sur la propriété de transformation intégrale de probabilité : si U est distribué uniformément sur (0,1), alors Φ ⁻¹ ( U ) aura la distribution normale standard. L'inconvénient de cette méthode est qu'elle repose sur le calcul de la fonction probit Φ ⁻¹ , qui ne peut pas être effectué analytiquement. Certaines méthodes approximatives sont décrites dans Hart (1968) et dans l' article d'erf . Wichura donne un algorithme rapide pour calculer cette fonction à 16 décimales, qui est utilisé par R pour calculer des variables aléatoires de la distribution normale.
• Une approche approximative facile à programmer qui s'appuie sur le théorème central limite est la suivante : générer 12 écarts uniformes U (0,1), les additionner tous et soustraire 6 – la variable aléatoire résultante aura approximativement une distribution normale standard. En réalité, la distribution sera Irwin–Hall , qui est une approximation polynomiale d'ordre 11 en 12 sections de la distribution normale. Cet écart aléatoire aura une plage limitée de (−6, 6). Notez que dans une vraie distribution normale, seulement 0,00034 % de tous les échantillons seront en dehors de ±6σ.
• La méthode Box-Muller utilise deux nombres aléatoires indépendants U et V distribués uniformément sur (0,1). Les deux variables aléatoires X et Y auront alors toutes deux la distribution normale standard et seront indépendantes . Cette formulation est due au fait que pour un vecteur aléatoire normal bivarié ( X , Y ) la norme au carré X ² + Y ² aura la distribution du khi carré à deux degrés de liberté, qui est une variable aléatoire exponentielle facilement générée correspondant à la quantité −2 ln( U ) dans ces équations ; et l'angle est distribué uniformément autour du cercle, choisi par la variable aléatoire V .
• La méthode polaire de Marsaglia est une modification de la méthode Box-Muller qui ne nécessite pas le calcul des fonctions sinus et cosinus. Dans cette méthode, U et V sont tirés de la distribution uniforme (−1,1), puis S = U ² + V ² est calculé. Si S est supérieur ou égal à 1, alors la méthode recommence, sinon les deux quantités sont renvoyées. Là encore, X et Y sont des variables aléatoires normales standard indépendantes.
• La méthode Ratio est une méthode de rejet. L'algorithme se déroule comme suit :
  • Générer deux écarts uniformes indépendants U et V ;
  • Calculer X = √ 8/ e ( V − 0,5)/ U ;
  • Facultatif : si X ² ≤ 5 − 4 e ^1/4 U alors accepter X et terminer l’algorithme ;
  • Facultatif : si X ² ≥ 4 e ^−1,35 / U + 1,4 alors rejeter X et recommencer à partir de l’étape 1 ;
  • Si X ² ≤ −4 ln U alors acceptez X , sinon recommencez l'algorithme.

  Les deux étapes facultatives permettent d'éviter dans la plupart des cas l'évaluation du logarithme lors de la dernière étape. Ces étapes peuvent être grandement améliorées de manière à ce que le logarithme soit rarement évalué.

• L' algorithme de ziggourat est plus rapide que la transformation de Box-Muller et reste exact. Dans environ 97 % des cas, il utilise seulement deux nombres aléatoires, un entier aléatoire et un uniforme aléatoire, une multiplication et un test si. Dans seulement 3 % des cas, où la combinaison de ces deux nombres sort du « cœur de la ziggourat » (une sorte d'échantillonnage de rejet utilisant des logarithmes), des exponentielles et des nombres aléatoires plus uniformes doivent être utilisés.
• L'arithmétique entière peut être utilisée pour échantillonner à partir de la distribution normale standard. Cette méthode est exacte dans le sens où elle satisfait les conditions d' approximation idéale ; c'est-à-dire qu'elle équivaut à échantillonner un nombre réel à partir de la distribution normale standard et à l'arrondir au nombre à virgule flottante représentable le plus proche.
• ont également été menées sur le lien entre la transformation rapide de Hadamard et la distribution normale, puisque la transformation utilise simplement l'addition et la soustraction et que, par le théorème central limite, des nombres aléatoires de presque toutes les distributions seront transformés en distribution normale. À cet égard, une série de transformations de Hadamard peut être combinée avec des permutations aléatoires pour transformer des ensembles de données arbitraires en données distribuées normalement.

La fonction de distribution cumulative normale standard est largement utilisée dans le calcul scientifique et statistique.

Les valeurs Φ( x ) peuvent être estimées de manière très précise par diverses méthodes, telles que l'intégration numérique , les séries de Taylor , les séries asymptotiques et les fractions continues . Différentes approximations sont utilisées en fonction du niveau de précision souhaité.

• Zelen et Severo (1964) donnent l'approximation de Φ( x ) pour x > 0 avec l'erreur absolue | ε ( x ) | < 7,5·10 ⁻⁸ (algorithme 26.2.17) : où ϕ ( x ) est la fonction de densité de probabilité normale standard, et b ₀ = 0,2316419, b ₁ = 0,319381530, b ₂ = −0,356563782, b ₃ = 1,781477937, b ₄ = −1,821255978, b ₅ = 1,330274429.
• Hart (1968) énumère quelques dizaines d'approximations – au moyen de fonctions rationnelles, avec ou sans exponentielles – pour la fonction erfc() . Ses algorithmes varient en degré de complexité et en précision résultante, avec une précision absolue maximale de 24 chiffres. Un algorithme de West (2009) combine l'algorithme 5666 de Hart avec une approximation de fraction continue dans la queue pour fournir un algorithme de calcul rapide avec une précision de 16 chiffres.
• Cody (1969) après avoir rappelé que la solution Hart68 n'est pas adaptée à erf, donne une solution pour erf et erfc, avec une limite d'erreur relative maximale, via l'approximation rationnelle de Chebyshev .
• Marsaglia (2004) a proposé un algorithme simple basé sur le développement en série de Taylor pour calculer Φ( x ) avec une précision arbitraire. L'inconvénient de cet algorithme est un temps de calcul relativement lent (par exemple, il faut plus de 300 itérations pour calculer la fonction avec 16 chiffres de précision lorsque x = 10 ).
• La bibliothèque scientifique GNU calcule les valeurs de la fonction de distribution cumulative normale standard en utilisant les algorithmes de Hart et les approximations avec les polynômes de Chebyshev .
• Dia (2023) propose l'approximation suivante de avec une erreur relative maximale inférieure à en valeur absolue : pour et pour ,

Shore (1982) a introduit des approximations simples qui peuvent être incorporées dans les modèles d'optimisation stochastique de l'ingénierie et de la recherche opérationnelle, comme l'ingénierie de la fiabilité et l'analyse des stocks. En notant p = Φ( z ) , l'approximation la plus simple pour la fonction quantile est :

Cette approximation donne pour z une erreur absolue maximale de 0,026 (pour 0,5 ≤ p ≤ 0,9999 , correspondant à 0 ≤ z ≤ 3,719 ). Pour p < 1/2, remplacez p par 1 − p et changez de signe. Une autre approximation, un peu moins précise, est l'approximation à paramètre unique :

Ce dernier avait servi à dériver une approximation simple pour l'intégrale de perte de la distribution normale, définie par

Cette approximation est particulièrement précise pour la queue droite (erreur maximale de 10 ⁻³ pour z≥1,4). Des approximations très précises pour la fonction de distribution cumulative, basées sur la méthodologie de modélisation des réponses (RMM, Shore, 2011, 2012), sont présentées dans Shore (2005).

D'autres approximations peuvent être trouvées à l'adresse suivante : Fonction d'erreur#Approximation avec des fonctions élémentaires . En particulier, une petite erreur relative sur l'ensemble du domaine pour la fonction de distribution cumulative et la fonction quantile est obtenue via une formule explicitement inversible par Sergei Winitzki en 2008.

Certains auteurs attribuent la découverte de la distribution normale à de Moivre , qui en 1738 publia dans la seconde édition de sa Doctrine des Chances l'étude des coefficients dans le développement binomial de ( a + b ) ⁿ . De Moivre prouva que le terme moyen dans ce développement a pour grandeur approximative , et que « Si m ou ⁠1/2⁠ n étant une quantité infiniment grande, alors le logarithme du rapport qu'un terme éloigné du milieu par l'intervalle ℓ a au terme moyen est . " Bien que ce théorème puisse être interprété comme la première expression obscure de la loi de probabilité normale, Stigler souligne que de Moivre lui-même n'a pas interprété ses résultats comme autre chose que la règle approximative des coefficients binomiaux, et en particulier de Moivre manquait du concept de la fonction de densité de probabilité.

En 1823, Gauss publie sa monographie « Theoria combinationis observationum erroribus minimis obnoxiae » où il introduit, entre autres, plusieurs concepts statistiques importants, tels que la méthode des moindres carrés , la méthode du maximum de vraisemblance et la distribution normale . Gauss utilise M , M ′ , M ′′, ... pour désigner les mesures d'une quantité inconnue V , et cherche l'estimateur le plus probable de cette quantité : celui qui maximise la probabilité φ ( M − V )· φ ( M′ − V )· φ ( M′ − V )·... d'obtenir les résultats expérimentaux observés. Dans sa notation φΔ est la fonction de densité de probabilité des erreurs de mesure de grandeur Δ. Ne sachant pas ce qu'est la fonction φ , Gauss exige que sa méthode se réduise à la réponse bien connue : la moyenne arithmétique des valeurs mesurées. Partant de ces principes, Gauss démontre que la seule loi qui rationalise le choix de la moyenne arithmétique comme estimateur du paramètre de localisation, est la loi normale des erreurs : où h est « la mesure de la précision des observations ». En utilisant cette loi normale comme modèle générique des erreurs dans les expériences, Gauss formule ce que l'on appelle aujourd'hui la méthode des moindres carrés pondérés non linéaires .

Bien que Gauss ait été le premier à suggérer la loi de distribution normale, Laplace a apporté des contributions importantes. C'est Laplace qui a posé le premier le problème de l'agrégation de plusieurs observations en 1774, bien que sa propre solution ait conduit à la distribution laplacienne . C'est Laplace qui a calculé le premier la valeur de l' intégrale ∫ e ^{− t 2} dt = √ π en 1782, fournissant la constante de normalisation pour la distribution normale. Pour cette réalisation, Gauss a reconnu la priorité de Laplace. Enfin, c'est Laplace qui en 1810 a prouvé et présenté à l'académie le théorème central limite fondamental , qui a souligné l'importance théorique de la distribution normale.

Il est intéressant de noter qu'en 1809, un mathématicien irlando-américain, Robert Adrain, a publié deux dérivations perspicaces mais erronées de la loi de probabilité normale, simultanément et indépendamment de Gauss. Ses travaux sont restés largement inaperçus auprès de la communauté scientifique, jusqu'à ce qu'ils soient exhumés en 1871 par Abbe .

Au milieu du XIXe siècle, Maxwell a démontré que la distribution normale n'est pas seulement un outil mathématique pratique, mais peut également se produire dans des phénomènes naturels : Le nombre de particules dont la vitesse, résolue dans une certaine direction, se situe entre x et x + dx est

Aujourd'hui, ce concept est généralement connu en anglais sous le nom de distribution normale ou distribution gaussienne . D'autres noms moins courants incluent la distribution de Gauss, la distribution de Laplace-Gauss, la loi d'erreur, la loi de facilité d'erreurs, la deuxième loi de Laplace et la loi gaussienne.

Gauss lui-même semble avoir inventé le terme en référence aux « équations normales » impliquées dans ses applications, normal ayant son sens technique d'orthogonal plutôt que d'habituel. Cependant, à la fin du 19e siècle, certains auteurs ont commencé à utiliser le nom de distribution normale , où le mot « normal » était utilisé comme adjectif – le terme étant désormais considéré comme un reflet du fait que cette distribution était considérée comme typique, commune – et donc normale. Peirce (l'un de ces auteurs) a un jour défini « normal » ainsi : « ... le « normal » n'est pas la moyenne (ou tout autre type de moyenne) de ce qui se produit réellement, mais de ce qui se produirait, à long terme, dans certaines circonstances. » Au tournant du 20e siècle, Pearson a popularisé le terme normal comme désignation de cette distribution.

Il y a de nombreuses années, j'ai appelé la courbe de Laplace-Gauss la courbe normale , un nom qui, bien qu'il évite une question internationale de priorité, a l'inconvénient de conduire les gens à croire que toutes les autres distributions de fréquence sont, dans un sens ou dans un autre, « anormales ».

—  Pearson (1920)

C'est également Pearson qui a été le premier à écrire la distribution en termes d'écart type σ selon la notation moderne. Peu de temps après, en 1915, Fisher a ajouté le paramètre de localisation à la formule de la distribution normale, l'exprimant de la manière dont elle est écrite de nos jours :

Le terme « normale standard », qui désigne la distribution normale avec une moyenne nulle et une variance unitaire, est devenu d'usage général vers les années 1950, apparaissant dans les manuels populaires de P. G. Hoel (1947) Introduction to Mathematical Statistics et A. M. Mood (1950) Introduction to the Theory of Statistics .