Estimation du maximum de vraisemblance

En statistique , l'estimation du maximum de vraisemblance ( EMV ) est une méthode d' estimation des paramètres d'une distribution de probabilité supposée , à partir de certaines données observées. On y parvient en maximisant une fonction de vraisemblance de sorte que, selon le modèle statistique supposé , les données observées soient les plus probables. Le point dans l' espace des paramètres qui maximise la fonction de vraisemblance est appelé estimation du maximum de vraisemblance. La logique du maximum de vraisemblance est à la fois intuitive et flexible, et en tant que telle, la méthode est devenue un moyen dominant d' inférence statistique .

Si la fonction de vraisemblance est différentiable , le test de dérivée pour trouver les maxima peut être appliqué. Dans certains cas, les conditions de premier ordre de la fonction de vraisemblance peuvent être résolues analytiquement ; par exemple, l' estimateur des moindres carrés ordinaires pour un modèle de régression linéaire maximise la vraisemblance lorsque les erreurs aléatoires sont supposées avoir des distributions normales avec la même variance.

Du point de vue de l'inférence bayésienne , l'estimation MLE est généralement équivalente à une estimation a posteriori maximale (MAP) avec une distribution a priori uniforme dans la région d'intérêt. En inférence fréquentiste , l'estimation MLE est un cas particulier d' estimateur d'extremum , la fonction objective étant la vraisemblance.

Nous modélisons un ensemble d'observations comme un échantillon aléatoire à partir d'une distribution de probabilité conjointe inconnue qui est exprimée en termes d'un ensemble de paramètres . Le but de l'estimation du maximum de vraisemblance est de déterminer les paramètres pour lesquels les données observées ont la probabilité conjointe la plus élevée. Nous écrivons les paramètres régissant la distribution conjointe sous forme de vecteur de sorte que cette distribution tombe dans une famille paramétrique où est appelé l' espace des paramètres , un sous-ensemble de dimension finie de l'espace euclidien . L'évaluation de la densité conjointe au niveau de l'échantillon de données observé donne une fonction à valeur réelle,

qui est appelée fonction de vraisemblance . Pour des variables aléatoires indépendantes et identiquement distribuées , sera le produit de fonctions de densité univariées :

L'objectif de l'estimation du maximum de vraisemblance est de trouver les valeurs des paramètres du modèle qui maximisent la fonction de vraisemblance sur l'espace des paramètres, c'est-à-dire

Intuitivement, cela sélectionne les valeurs des paramètres qui rendent les données observées les plus probables. La valeur spécifique qui maximise la fonction de vraisemblance est appelée estimation du maximum de vraisemblance. De plus, si la fonction ainsi définie est mesurable , elle est alors appelée estimateur du maximum de vraisemblance . Il s'agit généralement d'une fonction définie sur l' espace d'échantillons , c'est-à-dire prenant un échantillon donné comme argument. Une condition suffisante mais non nécessaire à son existence est que la fonction de vraisemblance soit continue sur un espace de paramètres compact . Pour un ouvert , la fonction de vraisemblance peut augmenter sans jamais atteindre une valeur supérieure.

En pratique, il est souvent pratique de travailler avec le logarithme naturel de la fonction de vraisemblance, appelé log-vraisemblance :

Étant donné que le logarithme est une fonction monotone , le maximum de se produit à la même valeur de que le maximum de Si est différentiable dans des conditions suffisantes pour l'apparition d'un maximum (ou d'un minimum) sont

connues sous le nom d'équations de vraisemblance. Pour certains modèles, ces équations peuvent être résolues explicitement, mais en général, aucune solution sous forme fermée au problème de maximisation n'est connue ou disponible, et une MLE ne peut être trouvée que par optimisation numérique . Un autre problème est que dans les échantillons finis, il peut exister plusieurs racines pour les équations de vraisemblance. Le fait que la racine identifiée des équations de vraisemblance soit effectivement un maximum (local) dépend du fait que la matrice des dérivées partielles et partielles croisées du second ordre, la matrice dite hessienne

est semi-définie négative à , car cela indique une concavité locale . Par commodité, la plupart des distributions de probabilité courantes – en particulier la famille exponentielle – sont logarithmiquement concaves .

Bien que le domaine de la fonction de vraisemblance (l' espace des paramètres ) soit généralement un sous-ensemble de dimension finie de l'espace euclidien , des restrictions supplémentaires doivent parfois être incorporées dans le processus d'estimation. L'espace des paramètres peut être exprimé comme suit :

où est une fonction à valeur vectorielle mappée dans Estimer le vrai paramètre appartenant à alors, en pratique, signifie trouver le maximum de la fonction de vraisemblance soumise à la contrainte

Théoriquement, l'approche la plus naturelle à ce problème d'optimisation sous contraintes est la méthode de substitution, qui consiste à « compléter » les restrictions à un ensemble de telle manière qu'il s'agisse d'une fonction bijective de à elle-même, et à reparamétrer la fonction de vraisemblance en définissant En raison de l'équivariance de l'estimateur du maximum de vraisemblance, les propriétés du MLE s'appliquent également aux estimations restreintes. Par exemple, dans une distribution normale multivariée , la matrice de covariance doit être définie positive ; cette restriction peut être imposée en remplaçant où est une matrice triangulaire supérieure réelle et est sa transposée .

En pratique, les restrictions sont généralement imposées en utilisant la méthode de Lagrange qui, compte tenu des contraintes définies ci-dessus, conduit aux équations de vraisemblance restreintes

où est un vecteur colonne de multiplicateurs de Lagrange et est la matrice jacobienne k × r des dérivées partielles. Naturellement, si les contraintes ne sont pas contraignantes au maximum, les multiplicateurs de Lagrange devraient être nuls. Cela permet à son tour un test statistique de la « validité » de la contrainte, connu sous le nom de test du multiplicateur de Lagrange .

L'estimation du maximum de vraisemblance non paramétrique peut être réalisée en utilisant la vraisemblance empirique .

Un estimateur de vraisemblance maximale est un estimateur d'extremum obtenu en maximisant, en fonction de θ , la fonction objective . Si les données sont indépendantes et identiquement distribuées , alors on a

il s'agit de l'analogue de l'échantillon de vraisemblance logarithmique attendue , où cette espérance est prise par rapport à la densité réelle.

Les estimateurs du maximum de vraisemblance n'ont pas de propriétés optimales pour les échantillons finis, dans le sens où (lorsqu'ils sont évalués sur des échantillons finis) d'autres estimateurs peuvent avoir une plus grande concentration autour de la vraie valeur du paramètre. Cependant, comme d'autres méthodes d'estimation, l'estimation du maximum de vraisemblance possède un certain nombre de propriétés limitatives intéressantes : lorsque la taille de l'échantillon augmente jusqu'à l'infini, les séquences d'estimateurs du maximum de vraisemblance ont les propriétés suivantes :

• Cohérence : la séquence des MLE converge en probabilité vers la valeur estimée.
• Equivariance : Si est l'estimateur du maximum de vraisemblance pour , et si est une transformée bijective de , alors l'estimateur du maximum de vraisemblance pour est . La propriété d'équivariance peut être généralisée aux transformées non bijectives, bien qu'elle s'applique dans ce cas au maximum d'une fonction de vraisemblance induite qui n'est pas la vraie vraisemblance en général.
• Efficacité , c'est-à-dire qu'il atteint la borne inférieure de Cramér-Rao lorsque la taille de l'échantillon tend vers l'infini. Cela signifie qu'aucun estimateur cohérent n'a une erreur quadratique moyenne asymptotique inférieure à l'erreur quadratique moyenne moyenne (EMM) (ou à d'autres estimateurs atteignant cette borne), ce qui signifie également que l'EMM a une normalité asymptotique .
• Efficacité du second ordre après correction du biais.

Dans les conditions décrites ci-dessous, l'estimateur du maximum de vraisemblance est cohérent . La cohérence signifie que si les données ont été générées par et que nous avons un nombre suffisamment grand d'observations n , alors il est possible de trouver la valeur de θ ₀ avec une précision arbitraire. En termes mathématiques, cela signifie que lorsque n tend vers l'infini, l'estimateur converge en probabilité vers sa vraie valeur :

Dans des conditions légèrement plus fortes, l'estimateur converge presque sûrement (ou fortement ) :

Dans les applications pratiques, les données ne sont jamais générées par . Il s'agit plutôt d'un modèle, souvent sous forme idéalisée, du processus généré par les données. Il est courant en statistique de dire que tous les modèles sont faux . Ainsi, la véritable cohérence ne se produit pas dans les applications pratiques. Néanmoins, la cohérence est souvent considérée comme une propriété souhaitable pour un estimateur.

Pour établir la cohérence, les conditions suivantes sont suffisantes.

La condition de dominance peut être utilisée dans le cas d' observations iid . Dans le cas non iid, la convergence uniforme en probabilité peut être vérifiée en montrant que la séquence est stochastiquement équicontinue . Si l'on veut démontrer que l'estimateur ML converge vers θ ₀ presque sûrement , alors une condition plus forte de convergence uniforme presque sûrement doit être imposée :

De plus, si (comme supposé ci-dessus) les données ont été générées par , alors sous certaines conditions, il peut également être démontré que l'estimateur du maximum de vraisemblance converge dans une distribution vers une distribution normale. Plus précisément,

où I est la matrice d'information de Fisher .

L'estimateur du maximum de vraisemblance sélectionne la valeur du paramètre qui donne aux données observées la plus grande probabilité possible (ou densité de probabilité, dans le cas continu). Si le paramètre est constitué d'un certain nombre de composantes, nous définissons alors leurs estimateurs du maximum de vraisemblance distincts, comme la composante correspondante du MLE du paramètre complet. Conformément à cela, si est le MLE pour , et si est une transformation de , alors le MLE pour est par définition

Il maximise ce que l'on appelle la vraisemblance du profil :

Le MLE est également équivariant par rapport à certaines transformations des données. Si où est un à un et ne dépend pas des paramètres à estimer, alors les fonctions de densité satisfont

et donc les fonctions de vraisemblance pour et ne diffèrent que par un facteur qui ne dépend pas des paramètres du modèle.

Par exemple, les paramètres MLE de la distribution log-normale sont les mêmes que ceux de la distribution normale ajustée au logarithme des données. En fait, dans le cas log-normal si , alors suit une distribution log-normale . La densité de Y suit avec la normale standard et , pour . $0y>0$0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/c973e3cbfee5d7ab9ca2348b578b6ec19a8c019a">

Comme supposé ci-dessus, si les données ont été générées d' ici là dans certaines conditions, il peut également être démontré que l'estimateur du maximum de vraisemblance converge dans une distribution vers une distribution normale. Il est √ n -cohérent et asymptotiquement efficace, ce qui signifie qu'il atteint la limite de Cramér–Rao . Plus précisément,

où est la matrice d'information de Fisher :

En particulier, cela signifie que le biais de l'estimateur du maximum de vraisemblance est égal à zéro jusqu'à l'ordre ⁠1/√ n ⁠ .

Cependant, lorsque l'on considère les termes d'ordre supérieur dans le développement de la distribution de cet estimateur, il s'avère que θ _mle présente un biais d'ordre 1 ⁄ n . Ce biais est égal à (composante par composante)

où (avec des exposants) désigne le ( j, k )-ième composant de la matrice d'information inverse de Fisher , et

En utilisant ces formules, il est possible d'estimer le biais du second ordre de l'estimateur du maximum de vraisemblance et de corriger ce biais en le soustrayant :

Cet estimateur est impartial jusqu'aux termes de la commande ⁠1/ n ⁠ , et est appelé estimateur du maximum de vraisemblance avec correction du biais .

Cet estimateur à biais corrigé est efficace au second ordre (au moins dans la famille des exponentielle courbes), ce qui signifie qu'il présente une erreur quadratique moyenne minimale parmi tous les estimateurs à biais corrigés au second ordre, jusqu'aux termes de l'ordre ⁠1/ n ² Il est possible de poursuivre ce processus, c'est-à-dire de dériver le terme de correction du biais du troisième ordre, et ainsi de suite. Cependant, l'estimateur du maximum de vraisemblance n'est pas efficace au troisième ordre.

Un estimateur de vraisemblance maximale coïncide avec l' estimateur bayésien le plus probable étant donné une distribution a priori uniforme sur les paramètres . En effet, l' estimation a posteriori maximale est le paramètre θ qui maximise la probabilité de θ étant donné les données, donnée par le théorème de Bayes :

où est la loi a priori pour le paramètre θ et où est la probabilité des données moyennées sur tous les paramètres. Comme le dénominateur est indépendant de θ , l'estimateur bayésien est obtenu en maximisant par rapport à θ . Si nous supposons en outre que la loi a priori est une loi uniforme, l'estimateur bayésien est obtenu en maximisant la fonction de vraisemblance . Ainsi, l'estimateur bayésien coïncide avec l'estimateur du maximum de vraisemblance pour une loi a priori uniforme .

Dans de nombreuses applications pratiques de l’apprentissage automatique , l’estimation du maximum de vraisemblance est utilisée comme modèle pour l’estimation des paramètres.

La théorie de décision bayésienne consiste à concevoir un classificateur qui minimise le risque total attendu, en particulier lorsque les coûts (la fonction de perte) associés à différentes décisions sont égaux, le classificateur minimise l'erreur sur l'ensemble de la distribution.

Ainsi, la règle de décision de Bayes est énoncée comme suit :

« décider si autrement décider »$\backslash ;\backslash operatorname\; \{\backslash mathbb\; \{P\}\; \}\; (w\_\{2\}|x)~;~P\left(w_1|x\right)>P\left(w_2|x\right);$\; om_opérateur {\mathbb {P} } (w_{2}|x)~;~}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/efa06a173896d7791a83dffb2726b21eec60e2e0">

où se trouvent les prédictions de différentes classes. Du point de vue de la minimisation des erreurs, on peut également l'énoncer comme

où

si nous décidons et si nous décidons

En appliquant le théorème de Bayes

et si nous supposons en outre la fonction de perte zéro ou un, qui est une même perte pour toutes les erreurs, la règle de décision de Bayes peut être reformulée comme suit :

où est la prédiction et est la probabilité a priori .

Trouver que maximise la vraisemblance est asymptotiquement équivalent à trouver celui qui définit une distribution de probabilité ( ) qui a une distance minimale, en termes de divergence de Kullback–Leibler , à la distribution de probabilité réelle à partir de laquelle nos données ont été générées (c'est-à-dire générées par ). Dans un monde idéal, P et Q sont les mêmes (et la seule chose inconnue est que définit P), mais même s'ils ne le sont pas et que le modèle que nous utilisons est mal spécifié, le MLE nous donnera toujours la distribution « la plus proche » (dans la restriction d'un modèle Q qui dépend de ) de la distribution réelle .

Considérons un cas où n tickets numérotés de 1 à n sont placés dans une boîte et l'un d'eux est sélectionné au hasard ( voir distribution uniforme ) ; ainsi, la taille de l'échantillon est de 1. Si n est inconnu, alors l'estimateur de vraisemblance maximale de n est le nombre m sur le ticket tiré. (La vraisemblance est de 0 pour n < m , 1 ⁄ n pour n ≥ m , et elle est maximale lorsque n = m . Notez que l'estimation de vraisemblance maximale de n se produit à l'extrême inférieur des valeurs possibles { m , m + 1, ...}, plutôt que quelque part au « milieu » de la plage de valeurs possibles, ce qui entraînerait moins de biais.) La valeur attendue du nombre m sur le ticket tiré, et donc la valeur attendue de , est ( n + 1)/2. Par conséquent, avec une taille d'échantillon de 1, l'estimateur de vraisemblance maximale pour n sous-estimera systématiquement n de ( n − 1)/2.

Supposons que l'on souhaite déterminer à quel point une pièce de monnaie injuste est biaisée. Appelons p la probabilité d'obtenir « face » . L'objectif devient alors de déterminer p .

Supposons que la pièce soit lancée 80 fois : c'est-à-dire que l'échantillon pourrait être quelque chose comme x ₁ = H, x ₂ = T, ..., x ₈₀ = T, et le décompte du nombre de faces « H » est observé.

La probabilité d'obtenir pile est de 1 − p (donc ici p est θ ci-dessus). Supposons que le résultat soit 49 faces et 31 piles , et supposons que la pièce ait été prise dans une boîte contenant trois pièces : une qui donne pile avec une probabilité p = 1 ⁄ 3 , une qui donne pile avec une probabilité p = 1 ⁄ 2 et une autre qui donne pile avec une probabilité p = 2 ⁄ 3 . Les pièces ont perdu leurs étiquettes, donc on ne sait pas de laquelle il s'agissait. En utilisant l'estimation du maximum de vraisemblance, la pièce qui a la plus grande probabilité peut être trouvée, compte tenu des données qui ont été observées. En utilisant la fonction de masse de probabilité de la distribution binomiale avec une taille d'échantillon égale à 80, un nombre de succès égal à 49 mais pour différentes valeurs de p (la « probabilité de succès »), la fonction de vraisemblance (définie ci-dessous) prend l'une des trois valeurs suivantes :

La vraisemblance est maximisée lorsque p = 2 ⁄ 3 , et il s'agit donc de l' estimation de vraisemblance maximale pour p .

Supposons maintenant qu'il n'y ait qu'une seule pièce mais que sa valeur p aurait pu être n'importe quelle valeur 0 ≤ p ≤ 1. La fonction de vraisemblance à maximiser est

et la maximisation est sur toutes les valeurs possibles 0 ≤ p ≤ 1 .

Une façon de maximiser cette fonction est de la différencier par rapport à p et de la mettre à zéro :

Il s'agit d'un produit de trois termes. Le premier terme est égal à 0 lorsque p = 0. Le deuxième est égal à 0 lorsque p = 1. Le troisième est égal à zéro lorsque p = 49 ⁄ 80 . La solution qui maximise la vraisemblance est clairement p = 49 ⁄ 80 (puisque p = 0 et p = 1 donnent une vraisemblance de 0). Ainsi, l' estimateur du maximum de vraisemblance pour p est égal à 49 ⁄ 80 .

Ce résultat est facilement généralisable en remplaçant 49 par une lettre telle que s pour représenter le nombre observé de « succès » de nos essais de Bernoulli , et 80 par une lettre telle que n pour représenter le nombre d'essais de Bernoulli. Le même calcul donne exactement s ⁄ n qui est l'estimateur du maximum de vraisemblance pour toute séquence de n essais de Bernoulli aboutissant à s « succès ».

Pour la distribution normale qui a une fonction de densité de probabilité

la fonction de densité de probabilité correspondante pour un échantillon de n variables aléatoires normales indépendantes identiquement distribuées (la vraisemblance) est

Cette famille de distributions a deux paramètres : θ = ( μ , σ ) ; nous maximisons donc la vraisemblance, , sur les deux paramètres simultanément, ou si possible, individuellement.

Étant donné que la fonction logarithmique elle-même est une fonction continue strictement croissante sur l' étendue de la vraisemblance, les valeurs qui maximisent la vraisemblance maximiseront également son logarithme (la logarithme de vraisemblance elle-même n'est pas nécessairement strictement croissante). La logarithme de vraisemblance peut s'écrire comme suit :

(Remarque : la vraisemblance logarithmique est étroitement liée à l’entropie de l’information et à l’information de Fisher .)

Nous calculons maintenant les dérivées de cette log-vraisemblance comme suit.

où est la moyenne de l'échantillon . Ceci est résolu par

Il s'agit bien du maximum de la fonction, puisqu'il s'agit du seul point de retournement de μ et que la dérivée seconde est strictement inférieure à zéro. Son espérance est égale au paramètre μ de la distribution donnée,

ce qui signifie que l’estimateur du maximum de vraisemblance est sans biais.

De même, nous différencions la log-vraisemblance par rapport à σ et l'équivalence est zéro :

qui est résolu par

En insérant l'estimation que nous obtenons

Pour calculer sa valeur attendue, il est pratique de réécrire l'expression en termes de variables aléatoires à moyenne nulle ( erreur statistique ) . L'expression de l'estimation dans ces variables donne

En simplifiant l'expression ci-dessus, en utilisant les faits que et , nous pouvons obtenir

Cela signifie que l'estimateur est biaisé pour . On peut également montrer que est biaisé pour , mais que et sont cohérents.

Formellement, nous disons que l' estimateur du maximum de vraisemblance pour est

Dans ce cas, les MLE pourraient être obtenus individuellement. En général, ce n'est pas le cas et les MLE devraient être obtenus simultanément.

La vraisemblance logarithmique normale à son maximum prend une forme particulièrement simple :

Cette log-vraisemblance maximale peut être démontrée comme étant la même pour des moindres carrés plus généraux , même pour des moindres carrés non linéaires . Elle est souvent utilisée pour déterminer des intervalles de confiance et des régions de confiance approximatifs basés sur la vraisemblance , qui sont généralement plus précis que ceux utilisant la normalité asymptotique décrite ci-dessus.

Il se peut que les variables soient corrélées, c'est-à-dire non indépendantes. Deux variables aléatoires ne sont indépendantes que si leur fonction de densité de probabilité conjointe est le produit des fonctions de densité de probabilité individuelles, c'est-à-dire

Supposons que l'on construise un vecteur gaussien d'ordre n à partir de variables aléatoires , où chaque variable a une moyenne donnée par . De plus, soit la matrice de covariance notée . La fonction de densité de probabilité conjointe de ces n variables aléatoires suit alors une distribution normale multivariée donnée par :

Dans le cas bivarié , la fonction de densité de probabilité conjointe est donnée par :

Dans ce cas et dans d'autres cas où une fonction de densité conjointe existe, la fonction de vraisemblance est définie comme ci-dessus, dans la section « principes », en utilisant cette densité.

s ne sont pas indépendants, la probabilité conjointe d'un vecteur est appelée multinomiale et a la forme :

Chaque case prise séparément par rapport à toutes les autres cases est un binôme et c'est une extension de celui-ci.

La log-vraisemblance de ceci est :

Il faut prendre en compte la contrainte et utiliser les multiplicateurs de Lagrange :

En posant toutes les dérivées à 0, l'estimation la plus naturelle est obtenue

Maximiser la vraisemblance logarithmique, avec et sans contraintes, peut être un problème insoluble sous forme fermée, nous devons alors utiliser des procédures itératives.

Sauf cas particuliers, les équations de vraisemblance

ne peuvent pas être résolus explicitement pour un estimateur . Au lieu de cela, ils doivent être résolus de manière itérative : à partir d'une estimation initiale de (disons ), on cherche à obtenir une suite convergente . De nombreuses méthodes pour ce type de problème d'optimisation sont disponibles, mais les plus couramment utilisées sont des algorithmes basés sur une formule de mise à jour de la forme

où le vecteur indique la direction de descente de la r -ième « étape », et le scalaire capture la « longueur de l'étape », également connue sous le nom de taux d'apprentissage .

(Remarque : ici, il s'agit d'un problème de maximisation, donc le signe avant le gradient est inversé)

La méthode de descente de gradient nécessite de calculer le gradient à la r-ième itération, mais il n'est pas nécessaire de calculer l'inverse de la dérivée du second ordre, c'est-à-dire la matrice hessienne. Par conséquent, elle est plus rapide en termes de calcul que la méthode Newton-Raphson.

où est le score et est l' inverse de la matrice hessienne de la fonction de vraisemblance logarithmique, tous deux évalués à la r ième itération. Mais comme le calcul de la matrice hessienne est coûteux en termes de calcul , de nombreuses alternatives ont été proposées. L' algorithme populaire de Berndt–Hall–Hall–Hausman approxime la matrice hessienne avec le produit extérieur du gradient attendu, de telle sorte que

D'autres méthodes quasi-Newton utilisent des mises à jour sécantes plus élaborées pour donner une approximation de la matrice hessienne.

La formule DFP trouve une solution symétrique, définie positive et la plus proche de la valeur approximative actuelle de la dérivée du second ordre :

où

BFGS donne également une solution symétrique et définie positive :

où

La convergence de la méthode BFGS n'est pas garantie à moins que la fonction ne présente un développement de Taylor quadratique proche d'un optimum. Cependant, BFGS peut avoir des performances acceptables même pour les instances d'optimisation non lisses

Une autre méthode courante consiste à remplacer la matrice de Hesse par la matrice d'information de Fisher , , ce qui nous donne l'algorithme de notation de Fisher. Cette procédure est standard dans l'estimation de nombreuses méthodes, telles que les modèles linéaires généralisés .

Bien que populaires, les méthodes quasi-Newtoniennes peuvent converger vers un point stationnaire qui n'est pas nécessairement un maximum local ou global, mais plutôt un minimum local ou un point selle . Par conséquent, il est important d'évaluer la validité de la solution obtenue aux équations de vraisemblance, en vérifiant que l'hessien, évalué à la solution, est à la fois défini négatif et bien conditionné .

Les premiers utilisateurs de la méthode du maximum de vraisemblance sont Carl Friedrich Gauss , Pierre-Simon Laplace , Thorvald N. Thiele et Francis Ysidro Edgeworth . C'est cependant Ronald Fisher , entre 1912 et 1922, qui a créé à lui seul la version moderne de la méthode.

L'estimation du maximum de vraisemblance a finalement dépassé la justification heuristique dans une preuve publiée par Samuel S. Wilks en 1938, maintenant appelée théorème de Wilks . Le théorème montre que l'erreur dans le logarithme des valeurs de vraisemblance pour les estimations à partir de multiples observations indépendantes est asymptotiquement distribuée par χ ² , ce qui permet de déterminer facilement une région de confiance autour de toute estimation des paramètres. La seule partie difficile de la preuve de Wilks dépend de la valeur attendue de la matrice d'information de Fisher , qui est fournie par un théorème prouvé par Fisher. Wilks a continué à améliorer la généralité du théorème tout au long de sa vie, avec sa preuve la plus générale publiée en 1962.

Des analyses du développement de l'estimation du maximum de vraisemblance ont été fournies par un certain nombre d'auteurs.