Fonction de vraisemblance

Une fonction de vraisemblance (souvent appelée simplement vraisemblance ) mesure la qualité avec laquelle un modèle statistique explique les données observées en calculant la probabilité de voir ces données sous différentes valeurs de paramètres du modèle. Elle est construite à partir de la distribution de probabilité conjointe de la variable aléatoire qui (vraisemblablement) a généré les observations. Lorsqu'elle est évaluée sur les points de données réels, elle devient une fonction uniquement des paramètres du modèle.

Dans l'estimation du maximum de vraisemblance , l' argument qui maximise la fonction de vraisemblance sert d' estimation ponctuelle pour le paramètre inconnu, tandis que l' information de Fisher (souvent approximée par la matrice hessienne de vraisemblance au maximum) donne une indication de la précision de l'estimation .

En revanche, dans les statistiques bayésiennes , l'estimation d'intérêt est l' inverse de la vraisemblance, la probabilité postérieure du paramètre étant donné les données observées, qui est calculée via la règle de Bayes .

La fonction de vraisemblance, paramétrée par un paramètre (éventuellement multivarié) , est généralement définie différemment pour les distributions de probabilité discrètes et continues (une définition plus générale est discutée ci-dessous). Étant donnée une densité de probabilité ou une fonction de masse

où est une réalisation de la variable aléatoire , la fonction de vraisemblance s'écrit souvent

En d'autres termes, lorsque l'on considère que c'est une fonction de avec un nombre fixe, c'est une fonction de densité de probabilité, et lorsque l'on considère que c'est une fonction de avec un nombre fixe, c'est une fonction de vraisemblance. Dans le paradigme fréquentiste , la notation ou est souvent utilisée pour indiquer que c'est une quantité inconnue fixe plutôt qu'une variable aléatoire conditionnée.

La fonction de vraisemblance ne précise pas la probabilité que la réponse soit vraie, compte tenu de l'échantillon observé . Une telle interprétation est une erreur courante, aux conséquences potentiellement désastreuses (voir l'erreur du procureur ).

Soit une variable aléatoire discrète avec une fonction de masse de probabilité dépendant d'un paramètre . Alors la fonction

considérée comme une fonction de , est la fonction de vraisemblance , étant donné le résultat de la variable aléatoire . Parfois, la probabilité de « la valeur de pour la valeur du paramètre » s'écrit comme P ( X = x | θ ) ou P ( X = x ; θ ) . La vraisemblance est la probabilité qu'un résultat particulier soit observé lorsque la valeur vraie du paramètre est , équivalente à la masse de probabilité sur ; ce n'est pas une densité de probabilité sur le paramètre . La vraisemblance, , ne doit pas être confondue avec , qui est la probabilité a posteriori de étant donné les données .

Considérons un modèle statistique simple de tirage au sort d'une pièce : un paramètre unique qui exprime le « caractère équitable » de la pièce. Le paramètre est la probabilité qu'une pièce tombe sur face (« H ») lorsqu'elle est lancée. peut prendre n'importe quelle valeur comprise entre 0,0 et 1,0. Pour une pièce parfaitement équitable , .

Imaginez que vous lancez une pièce de monnaie deux fois et que vous observez deux faces en deux lancers (« HH »). En supposant que chaque lancer de pièce successif est iid , alors la probabilité d'observer HH est

De manière équivalente, la probabilité d'observer « HH » en supposant est

Ce n’est pas la même chose que de dire que , une conclusion qui ne pourrait être atteinte que par le théorème de Bayes étant donné la connaissance des probabilités marginales et .

Supposons maintenant que la pièce ne soit pas une pièce équitable, mais plutôt que . La probabilité d'obtenir deux faces sur deux lancers est alors

Ainsi

Plus généralement, pour chaque valeur de , nous pouvons calculer la vraisemblance correspondante. Le résultat de ces calculs est présenté dans la Figure 1. L'intégrale de [0, 1] est 1/3 ; les vraisemblances n'ont pas besoin d'être intégrées ou d'avoir une somme égale à un sur l'espace des paramètres.

Soit une variable aléatoire suivant une distribution de probabilité absolument continue avec une fonction de densité (une fonction de ) qui dépend d'un paramètre . Alors la fonction

considérée comme une fonction de , est la fonction de vraisemblance (de , étant donné le résultat ). Encore une fois, n'est pas une fonction de densité ou de masse de probabilité sur , bien qu'elle soit une fonction de étant donné l'observation .

L'utilisation de la densité de probabilité pour spécifier la fonction de vraisemblance ci-dessus est justifiée comme suit. Étant donnée une observation , la vraisemblance pour l'intervalle , où est une constante, est donnée par . Observez que puisque est positif et constant. Parce que $0h>0$0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/1d0e64989e5d2d0a6bbb414bd390c0dadb2bc514">

où est la fonction de densité de probabilité, il s'ensuit que

Le premier théorème fondamental du calcul stipule que

Alors

Par conséquent, maximiser la densité de probabilité revient à maximiser la vraisemblance de l’observation spécifique .

En théorie des probabilités fondée sur la mesure , la fonction de densité est définie comme la dérivée de Radon-Nikodym de la distribution de probabilité par rapport à une mesure dominante commune. La fonction de vraisemblance est cette densité interprétée comme une fonction du paramètre, plutôt que de la variable aléatoire. Ainsi, nous pouvons construire une fonction de vraisemblance pour toute distribution, qu'elle soit discrète, continue, mixte ou autre. (Les vraisemblances ne sont comparables, par exemple pour l'estimation des paramètres, que s'il s'agit de dérivées de Radon-Nikodym par rapport à la même mesure dominante.)

La discussion ci-dessus sur la vraisemblance des variables aléatoires discrètes utilise la mesure de comptage , selon laquelle la densité de probabilité de tout résultat est égale à la probabilité de ce résultat.

Ce qui précède peut être étendu de manière simple pour permettre de prendre en compte des distributions qui contiennent à la fois des composantes discrètes et continues. Supposons que la distribution se compose d'un certain nombre de masses de probabilité discrètes et d'une densité , où la somme de tous les 's ajoutés à l'intégrale de est toujours un. En supposant qu'il soit possible de distinguer une observation correspondant à l'une des masses de probabilité discrètes de celle qui correspond à la composante de densité, la fonction de vraisemblance pour une observation de la composante continue peut être traitée de la manière indiquée ci-dessus. Pour une observation de la composante discrète, la fonction de vraisemblance pour une observation de la composante discrète est simplement où est l'indice de la masse de probabilité discrète correspondant à l'observation , car maximiser la masse de probabilité (ou probabilité) à revient à maximiser la vraisemblance de l'observation spécifique.

Le fait que la fonction de vraisemblance puisse être définie d'une manière qui inclut des contributions qui ne sont pas proportionnelles (la densité et la masse de probabilité) découle de la manière dont la fonction de vraisemblance est définie à une constante de proportionnalité près, où cette « constante » peut changer avec l'observation , mais pas avec le paramètre .

Dans le contexte de l'estimation des paramètres, la fonction de vraisemblance est généralement supposée obéir à certaines conditions, appelées conditions de régularité. Ces conditions sont supposées dans diverses preuves impliquant des fonctions de vraisemblance et doivent être vérifiées dans chaque application particulière. Pour l'estimation du maximum de vraisemblance, l'existence d'un maximum global de la fonction de vraisemblance est de la plus haute importance. Selon le théorème des valeurs extrêmes , il suffit que la fonction de vraisemblance soit continue sur un espace de paramètres compact pour que l'estimateur du maximum de vraisemblance existe. Alors que l'hypothèse de continuité est généralement respectée, l'hypothèse de compacité sur l'espace des paramètres ne l'est souvent pas, car les limites des vraies valeurs des paramètres peuvent être inconnues. Dans ce cas, la concavité de la fonction de vraisemblance joue un rôle clé.

Plus précisément, si la fonction de vraisemblance est deux fois continûment différentiable sur l' espace des paramètres de dimension k supposé être un sous-ensemble ouvert connexe de, il existe un maximum unique si la matrice des seconds partiels est définie négative pour tout pour lequel le gradient s'annule, et si la fonction de vraisemblance tend vers une constante sur la frontière de l'espace des paramètres, c'est-à-dire qui peut inclure les points à l'infini si est non borné. Mäkeläinen et ses co-auteurs prouvent ce résultat en utilisant la théorie de Morse tout en faisant appel de manière informelle à une propriété de col de montagne. Mascarenhas réitère sa preuve en utilisant le théorème du col de montagne .

Dans les preuves de cohérence et de normalité asymptotique de l'estimateur du maximum de vraisemblance, des hypothèses supplémentaires sont faites sur les densités de probabilité qui forment la base d'une fonction de vraisemblance particulière. Ces conditions ont été établies pour la première fois par Chanda. En particulier, pour presque tous , et pour tous existent pour tous afin de garantir l'existence d'un développement de Taylor . Deuxièmement, pour presque tous et pour tout il doit être que où est tel que Cette délimitation des dérivées est nécessaire pour permettre la différentiation sous le signe intégral . Et enfin, on suppose que la matrice d'information , est définie positive et est finie. Cela garantit que le score a une variance finie.

Les conditions ci-dessus sont suffisantes, mais pas nécessaires. En d'autres termes, un modèle qui ne satisfait pas à ces conditions de régularité peut ou non avoir un estimateur de vraisemblance maximale des propriétés mentionnées ci-dessus. De plus, dans le cas d'observations non indépendantes ou non identiques, des propriétés supplémentaires peuvent devoir être supposées.

Dans les statistiques bayésiennes, des conditions de régularité presque identiques sont imposées à la fonction de vraisemblance afin de prouver la normalité asymptotique de la probabilité postérieure , et donc de justifier une approximation de Laplace de la probabilité postérieure dans de grands échantillons.

Un rapport de vraisemblance est le rapport de deux vraisemblances spécifiées, souvent écrit comme suit :

Le rapport de vraisemblance est au cœur des statistiques vraisemblances : la loi de vraisemblance stipule que le degré auquel les données (considérées comme des preuves) soutiennent une valeur de paramètre par rapport à une autre est mesuré par le rapport de vraisemblance.

En inférence fréquentiste , le rapport de vraisemblance est la base d'une statistique de test , le test dit du rapport de vraisemblance . D'après le lemme de Neyman-Pearson , il s'agit du test le plus puissant pour comparer deux hypothèses simples à un niveau de signification donné . De nombreux autres tests peuvent être considérés comme des tests du rapport de vraisemblance ou des approximations de ceux-ci. La distribution asymptotique du rapport de vraisemblance logarithmique, considéré comme une statistique de test, est donnée par le théorème de Wilks .

Le rapport de vraisemblance est également d'une importance capitale dans l'inférence bayésienne , où il est connu sous le nom de facteur de Bayes , et est utilisé dans la règle de Bayes . Énoncée en termes de cotes , la règle de Bayes stipule que les cotes postérieures de deux alternatives, ⁠ ⁠ et ⁠ ⁠ , étant donné un événement ⁠ ⁠ , sont les cotes antérieures , multipliées par le rapport de vraisemblance. Sous forme d'équation :

Le rapport de vraisemblance n'est pas directement utilisé dans les statistiques basées sur l'AIC. On utilise plutôt la vraisemblance relative des modèles (voir ci-dessous).

En médecine fondée sur des preuves , les rapports de vraisemblance sont utilisés dans les tests de diagnostic pour évaluer la valeur de la réalisation d'un test de diagnostic .

Étant donné que la valeur réelle de la fonction de vraisemblance dépend de l'échantillon, il est souvent pratique de travailler avec une mesure standardisée. Supposons que l' estimation de vraisemblance maximale pour le paramètre θ soit . Les plausibilités relatives d'autres valeurs de θ peuvent être trouvées en comparant les vraisemblances de ces autres valeurs avec la vraisemblance de . La vraisemblance relative de θ est définie comme étant Ainsi, la vraisemblance relative est le rapport de vraisemblance (discuté ci-dessus) avec le dénominateur fixe . Cela correspond à la normalisation de la vraisemblance pour avoir un maximum de 1.

Une région de vraisemblance est l'ensemble de toutes les valeurs de θ dont la vraisemblance relative est supérieure ou égale à un seuil donné. En termes de pourcentages, une région de vraisemblance de p % pour θ est définie comme étant

Si θ est un seul paramètre réel, une région de vraisemblance de p % comprendra généralement un intervalle de valeurs réelles. Si la région comprend un intervalle, elle est alors appelée intervalle de vraisemblance .

Les intervalles de vraisemblance, et plus généralement les régions de vraisemblance, sont utilisés pour l'estimation d'intervalles dans les statistiques vraisemblistes : ils sont similaires aux intervalles de confiance dans les statistiques fréquentistes et aux intervalles de crédibilité dans les statistiques bayésiennes. Les intervalles de vraisemblance sont interprétés directement en termes de vraisemblance relative, et non en termes de probabilité de couverture (fréquentisme) ou de probabilité a posteriori (bayésianisme).

Étant donné un modèle, les intervalles de vraisemblance peuvent être comparés aux intervalles de confiance. Si θ est un seul paramètre réel, alors dans certaines conditions, un intervalle de vraisemblance de 14,65 % (environ 1:7 de vraisemblance) pour θ sera le même qu'un intervalle de confiance de 95 % (probabilité de couverture de 19/20). Dans une formulation légèrement différente adaptée à l'utilisation des log-vraisemblances (voir le théorème de Wilks ), la statistique de test est deux fois la différence des log-vraisemblances et la distribution de probabilité de la statistique de test est approximativement une distribution du chi carré avec des degrés de liberté (dl) égaux à la différence des dl entre les deux modèles (par conséquent, l' intervalle de vraisemblance e ⁻² est le même que l'intervalle de confiance de 0,954 ; en supposant que la différence des dl soit de 1).

Dans de nombreux cas, la vraisemblance est une fonction de plusieurs paramètres mais l'intérêt se concentre sur l'estimation d'un seul, ou au plus de quelques-uns d'entre eux, les autres étant considérés comme des paramètres nuisibles . Plusieurs approches alternatives ont été développées pour éliminer ces paramètres nuisibles, de sorte qu'une vraisemblance peut être écrite comme une fonction du seul paramètre (ou des paramètres) d'intérêt : les principales approches sont les vraisemblances de profil, conditionnelle et marginale. Ces approches sont également utiles lorsqu'une surface de vraisemblance de grande dimension doit être réduite à un ou deux paramètres d'intérêt afin de permettre un graphe .

Il est possible de réduire les dimensions en concentrant la fonction de vraisemblance pour un sous-ensemble de paramètres en exprimant les paramètres nuisibles comme des fonctions des paramètres d'intérêt et en les remplaçant dans la fonction de vraisemblance. En général, pour une fonction de vraisemblance dépendant du vecteur de paramètres qui peut être partitionné en , et où une correspondance peut être déterminée explicitement, la concentration réduit la charge de calcul du problème de maximisation d'origine.

Par exemple, dans une régression linéaire avec des erreurs distribuées normalement, , le vecteur de coefficients pourrait être partitionné en (et par conséquent la matrice de conception ). La maximisation par rapport à donne une fonction de valeur optimale . En utilisant ce résultat, l'estimateur du maximum de vraisemblance pour peut alors être dérivé comme où est la matrice de projection de . Ce résultat est connu sous le nom de théorème de Frisch–Waugh–Lovell .

Étant donné que graphiquement, la procédure de concentration équivaut à découper la surface de vraisemblance le long de la crête des valeurs du paramètre de nuisance qui maximise la fonction de vraisemblance, créant ainsi un profil isométrique de la fonction de vraisemblance pour un , le résultat de cette procédure est également connu sous le nom de vraisemblance du profil . En plus d'être représentée graphiquement, la vraisemblance du profil peut également être utilisée pour calculer des intervalles de confiance qui ont souvent de meilleures propriétés sur petit échantillon que celles basées sur des erreurs standard asymptotiques calculées à partir de la vraisemblance totale.

Il est parfois possible de trouver une statistique suffisante pour les paramètres de nuisance, et le conditionnement sur cette statistique donne une vraisemblance qui ne dépend pas des paramètres de nuisance.

Un exemple se produit dans les tableaux 2×2, où le conditionnement sur les quatre totaux marginaux conduit à une vraisemblance conditionnelle basée sur la distribution hypergéométrique non centrale . Cette forme de conditionnement est également la base du test exact de Fisher .

Parfois, nous pouvons éliminer les paramètres gênants en considérant une vraisemblance basée sur une partie seulement des informations contenues dans les données, par exemple en utilisant l'ensemble des rangs plutôt que les valeurs numériques. Un autre exemple se produit dans les modèles mixtes linéaires , où la prise en compte d'une vraisemblance pour les résidus uniquement après ajustement des effets fixes conduit à une estimation de la vraisemblance maximale résiduelle des composantes de la variance.

Une vraisemblance partielle est une adaptation de la vraisemblance totale telle que seule une partie des paramètres (les paramètres d'intérêt) y apparaît. C'est un élément clé du modèle à risques proportionnels : en utilisant une restriction sur la fonction de risque, la vraisemblance ne contient pas la forme du risque au cours du temps.

La vraisemblance, étant donné deux ou plusieurs événements indépendants , est le produit des vraisemblances de chacun des événements individuels : Cela découle de la définition de l'indépendance en probabilité : les probabilités que deux événements indépendants se produisent, étant donné un modèle, sont le produit des probabilités.

Ceci est particulièrement important lorsque les événements proviennent de variables aléatoires indépendantes et identiquement distribuées , telles que des observations indépendantes ou un échantillonnage avec remise . Dans une telle situation, la fonction de vraisemblance se décompose en un produit de fonctions de vraisemblance individuelles.

Le produit vide a une valeur de 1, ce qui correspond à une vraisemblance, étant donné l'absence d'événement, de 1 : avant toute donnée, la vraisemblance est toujours de 1. Ceci est similaire à une loi a priori uniforme dans les statistiques bayésiennes, mais dans les statistiques vraisemblances, ce n'est pas une loi a priori impropre car les vraisemblances ne sont pas intégrées.

La fonction de log-vraisemblance est le logarithme de la fonction de vraisemblance, souvent désignée par un l minuscule ou ⁠ ⁠ , pour contraster avec le L majuscule ou pour la vraisemblance. Étant donné que les logarithmes sont des fonctions strictement croissantes , maximiser la vraisemblance équivaut à maximiser le log-vraisemblance. Mais à des fins pratiques, il est plus pratique de travailler avec la fonction de log-vraisemblance dans l' estimation du maximum de vraisemblance , en particulier parce que la plupart des distributions de probabilité courantes — notamment la famille exponentielle — ne sont que logarithmiquement concaves , et que la concavité de la fonction objective joue un rôle clé dans la maximisation .

Étant donné l'indépendance de chaque événement, la log-vraisemblance globale de l'intersection est égale à la somme des log-vraisemblances des événements individuels. Cela est analogue au fait que la log-vraisemblance globale est la somme des log-vraisemblances des événements individuels. En plus de la commodité mathématique qui en découle, le processus d'addition de la log-vraisemblance a une interprétation intuitive, souvent exprimée comme un « soutien » des données. Lorsque les paramètres sont estimés à l'aide de la log-vraisemblance pour l' estimation du maximum de vraisemblance , chaque point de données est utilisé en étant ajouté à la log-vraisemblance totale. Comme les données peuvent être considérées comme une preuve qui étaye les paramètres estimés, ce processus peut être interprété comme un « soutien par des preuves indépendantes » et la log-vraisemblance est le « poids de la preuve ». En interprétant la log-vraisemblance négative comme un contenu d'information ou une surprise , le support (log-vraisemblance) d'un modèle, étant donné un événement, est l'inverse de la surprise de l'événement, étant donné le modèle : un modèle est soutenu par un événement dans la mesure où l'événement n'est pas surprenant, étant donné le modèle.

Un logarithme d'un rapport de vraisemblance est égal à la différence des log-vraisemblances :

De même que la vraisemblance, étant donné l'absence d'événement, est de 1, la log-vraisemblance, étant donné l'absence d'événement, est de 0, ce qui correspond à la valeur de la somme vide : sans aucune donnée, il n'y a aucun support pour aucun modèle.

Le graphique de la log-vraisemblance est appelé courbe de support (dans le cas univarié ). Dans le cas multivarié, le concept se généralise en une surface de support sur l' espace des paramètres . Il a une relation avec le support d'une distribution , mais en est distinct .

Le terme a été inventé par AWF Edwards dans le contexte des tests d'hypothèses statistiques , c'est-à-dire pour déterminer si les données « soutiennent » ou non une hypothèse (ou une valeur de paramètre) testée plus que toute autre.

La fonction de vraisemblance logarithmique représentée est utilisée dans le calcul du score (le gradient de la vraisemblance logarithmique) et de l'information de Fisher (la courbure de la vraisemblance logarithmique). Ainsi, le graphique a une interprétation directe dans le contexte de l'estimation du maximum de vraisemblance et des tests du rapport de vraisemblance .

Si la fonction de log-vraisemblance est lisse , son gradient par rapport au paramètre, appelé score et noté , existe et permet l'application du calcul différentiel . La méthode de base pour maximiser une fonction différentiable est de trouver les points stationnaires (les points où la dérivée est nulle) ; puisque la dérivée d'une somme est simplement la somme des dérivées, mais que la dérivée d'un produit nécessite la règle du produit , il est plus facile de calculer les points stationnaires de la log-vraisemblance d'événements indépendants que pour la vraisemblance d'événements indépendants.

Les équations définies par le point stationnaire de la fonction score servent d'équations d'estimation pour l'estimateur du maximum de vraisemblance. En ce sens, l'estimateur du maximum de vraisemblance est implicitement défini par la valeur à de la fonction inverse , où est l' espace euclidien à d dimensions , et est l'espace des paramètres. En utilisant le théorème de la fonction inverse , on peut montrer que est bien défini dans un voisinage ouvert autour de avec une probabilité allant vers un, et est une estimation cohérente de . En conséquence, il existe une séquence telle que asymptotiquement presque sûrement , et . Un résultat similaire peut être établi en utilisant le théorème de Rolle .

La seconde dérivée évaluée à , connue sous le nom d' information de Fisher , détermine la courbure de la surface de vraisemblance, et indique ainsi la précision de l'estimation.

La logarithme de vraisemblance est également particulièrement utile pour les familles exponentielles de distributions, qui incluent de nombreuses distributions de probabilité paramétriques courantes . La fonction de distribution de probabilité (et donc la fonction de vraisemblance) pour les familles exponentielles contient des produits de facteurs impliquant l'exponentiation . Le logarithme d'une telle fonction est une somme de produits, encore une fois plus facile à différencier que la fonction d'origine.

Une famille exponentielle est une famille dont la fonction de densité de probabilité est de la forme (pour certaines fonctions, en écrivant pour le produit scalaire ) :

Chacun de ces termes a une interprétation, mais le simple fait de passer de la probabilité à la vraisemblance et de prendre les logarithmes donne la somme :

Les et correspondent chacun à un changement de coordonnées , donc dans ces coordonnées, la log-vraisemblance d'une famille exponentielle est donnée par la formule simple :

En d'autres termes, la log-vraisemblance d'une famille exponentielle est le produit interne du paramètre naturel ⁠ ⁠ et de la statistique suffisante ⁠ ⁠ , moins le facteur de normalisation ( fonction de partition logarithmique ) ⁠ ⁠ . Ainsi, par exemple, l'estimation de la vraisemblance maximale peut être calculée en prenant les dérivées de la statistique suffisante T et de la fonction de partition logarithmique A .

La distribution gamma est une famille exponentielle à deux paramètres, et . La fonction de vraisemblance est

Trouver l'estimation de la vraisemblance maximale pour une seule valeur observée semble plutôt intimidant. Son logarithme est beaucoup plus simple à utiliser :

Pour maximiser la log-vraisemblance, nous prenons d'abord la dérivée partielle par rapport à :

S'il y a un certain nombre d'observations indépendantes , alors la log-vraisemblance conjointe sera la somme des log-vraisemblances individuelles, et la dérivée de cette somme sera une somme des dérivées de chaque log-vraisemblance individuelle :

Pour compléter la procédure de maximisation pour la log-vraisemblance conjointe, l'équation est mise à zéro et résolue pour :

Ici, on désigne l’estimation de vraisemblance maximale et il s’agit de la moyenne de l’échantillon des observations.

Le terme « vraisemblance » est utilisé en anglais depuis au moins la fin du moyen anglais . Son utilisation formelle pour désigner une fonction spécifique en statistique mathématique a été proposée par Ronald Fisher , dans deux articles de recherche publiés en 1921 et 1922. L'article de 1921 a introduit ce qu'on appelle aujourd'hui un « intervalle de vraisemblance » ; l'article de 1922 a introduit le terme « méthode du maximum de vraisemblance ». Citant Fisher :

« En 1922, j'ai proposé le terme de « vraisemblance », étant donné que, par rapport au paramètre, il ne s'agit pas d'une probabilité et qu'il n'obéit pas aux lois de la probabilité, alors qu'en même temps il entretient avec le problème du choix rationnel entre les valeurs possibles du paramètre une relation semblable à celle que la probabilité entretient avec le problème de la prédiction des événements dans les jeux de hasard. . . . Alors que, toutefois, par rapport au jugement psychologique, la vraisemblance a une certaine ressemblance avec la probabilité, les deux concepts sont entièrement distincts. . . . »

Le concept de vraisemblance ne doit pas être confondu avec la probabilité telle que mentionnée par Sir Ronald Fisher

Je souligne cela parce que, malgré l’accent que j’ai toujours mis sur la différence entre probabilité et vraisemblance, il existe encore une tendance à traiter la vraisemblance comme s’il s’agissait d’une sorte de probabilité. Le premier résultat est donc qu’il existe deux mesures différentes de la croyance rationnelle adaptées à différents cas. Connaissant la population, nous pouvons exprimer notre connaissance incomplète de l’échantillon, ou notre attente à son égard, en termes de probabilité ; connaissant l’échantillon, nous pouvons exprimer notre connaissance incomplète de la population en termes de vraisemblance.

L'invention de la vraisemblance statistique par Fisher était une réaction contre une forme antérieure de raisonnement appelée probabilité inverse . Son utilisation du terme « vraisemblance » a fixé le sens du terme dans les statistiques mathématiques.

AWF Edwards (1972) a établi la base axiomatique de l'utilisation du rapport de vraisemblance logarithmique comme mesure du soutien relatif d'une hypothèse par rapport à une autre. La fonction de soutien est alors le logarithme naturel de la fonction de vraisemblance. Les deux termes sont utilisés en phylogénétique , mais n'ont pas été adoptés dans un traitement général du sujet des preuves statistiques.

Il n'existe pas de consensus parmi les statisticiens sur ce que devraient être les fondements des statistiques . Quatre principaux paradigmes ont été proposés pour ces fondements : le fréquentisme , le bayésianisme , le vraisemblancenisme et le modèle basé sur l'AIC . Pour chacun des fondements proposés, l'interprétation de la vraisemblance est différente. Les quatre interprétations sont décrites dans les sous-sections ci-dessous.

En inférence bayésienne , bien que l'on puisse parler de la vraisemblance d'une proposition ou d' une variable aléatoire étant donnée une autre variable aléatoire : par exemple la vraisemblance d'une valeur de paramètre ou d'un modèle statistique (voir vraisemblance marginale ), étant donné des données spécifiées ou d'autres preuves, la fonction de vraisemblance reste la même entité, avec les interprétations supplémentaires de (i) une densité conditionnelle des données étant donné le paramètre (puisque le paramètre est alors une variable aléatoire) et (ii) une mesure ou une quantité d'informations apportées par les données sur la valeur du paramètre ou même le modèle. En raison de l'introduction d'une structure de probabilité sur l'espace des paramètres ou sur l'ensemble des modèles, il est possible qu'une valeur de paramètre ou un modèle statistique ait une grande valeur de vraisemblance pour des données données, et pourtant ait une faible probabilité , ou vice versa. C'est souvent le cas dans les contextes médicaux. Suivant la règle de Bayes , la vraisemblance, lorsqu'elle est considérée comme une densité conditionnelle, peut être multipliée par la densité de probabilité a priori du paramètre, puis normalisée, pour donner une densité de probabilité a posteriori . Plus généralement, la vraisemblance d'une quantité inconnue étant donné une autre quantité inconnue est proportionnelle à la probabilité de donnée .

En statistique fréquentiste, la fonction de vraisemblance est elle-même une statistique qui résume un échantillon unique d'une population, dont la valeur calculée dépend d'un choix de plusieurs paramètres θ ₁ ... θ _p , où p est le nombre de paramètres dans un modèle statistique déjà sélectionné . La valeur de la vraisemblance sert de facteur de mérite pour le choix utilisé pour les paramètres, et l'ensemble de paramètres avec la vraisemblance maximale est le meilleur choix, compte tenu des données disponibles.

Le calcul spécifique de la vraisemblance est la probabilité que l'échantillon observé soit assigné, en supposant que le modèle choisi et les valeurs des différents paramètres θ donnent une approximation précise de la distribution de fréquence de la population dont l'échantillon observé a été tiré. D'un point de vue heuristique, il est logique qu'un bon choix de paramètres soit celui qui donne à l'échantillon réellement observé la probabilité post-hoc maximale possible de se produire. Le théorème de Wilks quantifie la règle heuristique en montrant que la différence entre le logarithme de la vraisemblance généré par les valeurs des paramètres de l'estimation et le logarithme de la vraisemblance généré par les valeurs des paramètres « vrais » (mais inconnus) de la population est asymptotiquement distribuée selon la méthode χ ² .

L'estimation de vraisemblance maximale de chaque échantillon indépendant est une estimation distincte de l'ensemble de paramètres « réels » décrivant la population échantillonnée. Les estimations successives de nombreux échantillons indépendants se regrouperont avec l'ensemble de valeurs de paramètres « réels » de la population caché quelque part au milieu d'elles. La différence entre les logarithmes des vraisemblances des ensembles de paramètres maximum et adjacents peut être utilisée pour dessiner une région de confiance sur un graphique dont les coordonnées sont les paramètres θ ₁ ... θ _p . La région entoure l'estimation de vraisemblance maximale, et tous les points (ensembles de paramètres) dans cette région diffèrent au plus en log-vraisemblance d'une valeur fixe. La distribution χ ² donnée par le théorème de Wilks convertit les différences de log-vraisemblance de la région en « confiance » dans laquelle se trouve l'ensemble de paramètres « réels » de la population. L'art de choisir la différence de log-vraisemblance fixe consiste à rendre la confiance suffisamment élevée tout en gardant la région suffisamment petite (plage étroite d'estimations).

Au fur et à mesure que davantage de données sont observées, au lieu d'être utilisées pour faire des estimations indépendantes, elles peuvent être combinées avec les échantillons précédents pour former un seul échantillon combiné, et ce grand échantillon peut être utilisé pour une nouvelle estimation de vraisemblance maximale. Au fur et à mesure que la taille de l'échantillon combiné augmente, la taille de la région de vraisemblance avec la même confiance diminue. Finalement, soit la taille de la région de confiance est très proche d'un seul point, soit la population entière a été échantillonnée ; dans les deux cas, l'ensemble de paramètres estimés est essentiellement le même que l'ensemble de paramètres de la population.

Dans le cadre du paradigme AIC , la vraisemblance est interprétée dans le contexte de la théorie de l’information .