Divergence de Kullback-Leibler

En statistique mathématique , la divergence de Kullback–Leibler ( KL ) (également appelée entropie relative et divergence I ), notée , est un type de distance statistique : une mesure de la différence entre une distribution de probabilité de modèle Q et une vraie distribution de probabilité P. Mathématiquement , elle est définie comme

Une interprétation simple de la divergence KL de P par rapport à Q est la surprise excédentaire attendue en utilisant Q comme modèle au lieu de P lorsque la distribution réelle est P. Bien qu'il s'agisse d'une mesure de la différence entre deux distributions, et qu'il s'agisse donc en quelque sorte d'une « distance », il ne s'agit pas réellement d'une métrique , qui est le type de distance le plus familier et le plus formel. En particulier, elle n'est pas symétrique dans les deux distributions (contrairement à la variation de l'information ) et ne satisfait pas l' inégalité triangulaire . Au lieu de cela, en termes de géométrie de l'information , il s'agit d'un type de divergence , d'une généralisation de la distance au carré , et pour certaines classes de distributions (notamment une famille exponentielle ), elle satisfait un théorème de Pythagore généralisé (qui s'applique aux distances au carré).

L'entropie relative est toujours un nombre réel non négatif, de valeur 0 si et seulement si les deux distributions en question sont identiques. Elle a diverses applications, à la fois théoriques, telles que la caractérisation de l' entropie relative (de Shannon) dans les systèmes d'information, le caractère aléatoire dans les séries temporelles continues et le gain d'informations lors de la comparaison de modèles statistiques d' inférence ; et pratiques, telles que les statistiques appliquées, la mécanique des fluides , les neurosciences , la bioinformatique et l'apprentissage automatique .

Considérons deux distributions de probabilité P et Q. En général, P représente les données, les observations ou une distribution de probabilité mesurée. La distribution Q représente plutôt une théorie, un modèle, une description ou une approximation de P. La divergence de Kullback-Leibler est alors interprétée comme la différence moyenne du nombre de bits requis pour coder des échantillons de P en utilisant un code optimisé pour Q plutôt qu'un code optimisé pour P. Notez que les rôles de P et Q peuvent être inversés dans certaines situations où cela est plus facile à calculer, comme avec l' algorithme d'espérance-maximisation (EM) et les calculs de limite inférieure de preuve (ELBO) .

L'entropie relative a été introduite par Solomon Kullback et Richard Leibler dans Kullback & Leibler (1951) comme « l'information moyenne pour la discrimination entre et par observation de », où l'on compare deux mesures de probabilité , et sont les hypothèses que l'on sélectionne à partir de la mesure (respectivement). Ils ont noté cela par , et ont défini la « 'divergence' entre et » comme la quantité symétrisée , qui avait déjà été définie et utilisée par Harold Jeffreys en 1948. Dans Kullback (1959), la forme symétrisée est à nouveau appelée « divergence », et les entropies relatives dans chaque direction sont appelées « divergences dirigées » entre deux distributions ; Kullback préférait le terme information de discrimination . Le terme « divergence » s'oppose à une distance (métrique), car la divergence symétrisée ne satisfait pas l'inégalité triangulaire. De nombreuses références à des utilisations antérieures de la divergence symétrisée et à d'autres distances statistiques sont données dans Kullback (1959, pp. 6–7, §1.3 Divergence). La « divergence dirigée » asymétrique est désormais connue sous le nom de divergence de Kullback–Leibler, tandis que la « divergence » symétrisée est désormais appelée divergence de Jeffreys .

Pour les distributions de probabilité discrètes P et Q définies sur le même espace échantillon , l'entropie relative de Q à P est définie comme étant

ce qui équivaut à

En d'autres termes, il s'agit de l' espérance de la différence logarithmique entre les probabilités P et Q , où l'espérance est prise en utilisant les probabilités P.

L'entropie relative n'est définie de cette façon que si, pour tout x , implique ( continuité absolue ). Sinon, elle est souvent définie comme , mais la valeur est possible même si partout, à condition que soit infinie en étendue. Des commentaires analogues s'appliquent aux cas de mesure continue et générale définis ci-dessous.

Chaque fois que est nul, la contribution du terme correspondant est interprétée comme nulle car

Pour les distributions P et Q d'une variable aléatoire continue , l'entropie relative est définie comme étant l'intégrale

où p et q désignent les densités de probabilité de P et Q.

Plus généralement, si P et Q sont des mesures de probabilité sur un espace mesurable et que P est absolument continue par rapport à Q , alors l'entropie relative de Q à P est définie comme

où est la dérivée de Radon–Nikodym de P par rapport à Q , c'est-à-dire l'unique fonction r sur Q définie presque partout telle que qui existe parce que P est absolument continue par rapport à Q . On suppose également que l'expression du côté droit existe. De manière équivalente (par la règle de la chaîne ), cela peut s'écrire comme

qui est l' entropie de P par rapport à Q . Continuant dans ce cas, si est une mesure sur pour laquelle les densités p et q avec et existent (ce qui signifie que P et Q sont tous deux absolument continus par rapport à ), alors l'entropie relative de Q à P est donnée par

Il faut noter qu'une telle mesure pour laquelle les densités peuvent être définies existe toujours, car on peut prendre bien qu'en pratique ce soit généralement une mesure comme la mesure de comptage pour les distributions discrètes, ou la mesure de Lebesgue ou une variante pratique de celle-ci comme la mesure gaussienne ou la mesure uniforme sur la sphère , la mesure de Haar sur un groupe de Lie , etc. pour les distributions continues. Les logarithmes dans ces formules sont généralement pris en base 2 si les informations sont mesurées en unités de bits , ou en base e si les informations sont mesurées en nats . La plupart des formules impliquant l'entropie relative sont valables quelle que soit la base du logarithme.

Il existe différentes conventions pour désigner le terme en mots. On parle souvent de divergence entre P et Q , mais cela ne traduit pas l'asymétrie fondamentale de la relation. Parfois, comme dans cet article, on peut le décrire comme la divergence de P par rapport à Q ou comme la divergence de Q par rapport à P. Cela reflète l' asymétrie dans l'inférence bayésienne , qui part d' un Q antérieur et se met à jour vers le P postérieur . Une autre façon courante de désigner le terme est l'entropie relative de P par rapport à Q ou le gain d'information de P par rapport à Q.

Kullback donne l'exemple suivant (tableau 2.1, exemple 2.1). Soient P et Q les distributions présentées dans le tableau et la figure. P est la distribution du côté gauche de la figure, une distribution binomiale avec et . Q est la distribution du côté droit de la figure, une distribution uniforme discrète avec les trois résultats possibles0 ,1 ,2 (c'est-à-dire ), chacun avec une probabilité .

Les entropies relatives et sont calculées comme suit. Cet exemple utilise le logarithme naturel de base e , désigné ln pour obtenir des résultats en nats (voir unités d'information ) :

Dans le domaine des statistiques, le lemme de Neyman-Pearson stipule que le moyen le plus puissant de distinguer les deux distributions P et Q sur la base d'une observation Y (tirée de l'une d'elles) est d'utiliser le logarithme du rapport de leurs vraisemblances : . La divergence KL est la valeur attendue de cette statistique si Y est effectivement tirée de P . Kullback a motivé la statistique comme un logarithme du rapport de vraisemblance attendu.

Dans le contexte de la théorie du codage , peut être construit en mesurant le nombre attendu de bits supplémentaires requis pour coder des échantillons de P en utilisant un code optimisé pour Q plutôt que le code optimisé pour P.

Dans le contexte de l'apprentissage automatique , on parle souvent de gain d'information obtenu si P était utilisé à la place de Q , qui est actuellement utilisé. Par analogie avec la théorie de l'information, on parle d' entropie relative de P par rapport à Q.

Exprimée dans le langage de l'inférence bayésienne , c'est une mesure de l'information obtenue en révisant ses croyances de la distribution de probabilité a priori Q à la distribution de probabilité a posteriori P. En d'autres termes, il s'agit de la quantité d'information perdue lorsque Q est utilisée pour approximer P. ]

Dans les applications, P représente généralement la « vraie » distribution des données, des observations ou une distribution théorique calculée avec précision, tandis que Q représente généralement une théorie, un modèle, une description ou une approximation de P. Afin de trouver une distribution Q la plus proche de P , nous pouvons minimiser la divergence KL et calculer une projection d'informations .

Bien qu'il s'agisse d'une distance statistique , ce n'est pas une métrique , le type de distance le plus courant, mais plutôt une divergence . Alors que les métriques sont symétriques et généralisent la distance linéaire , satisfaisant l' inégalité triangulaire , les divergences sont asymétriques et généralisent la distance au carré , satisfaisant dans certains cas un théorème de Pythagore généralisé . En général , elle n'est pas égale à , et l'asymétrie est une partie importante de la géométrie. La forme infinitésimale de l'entropie relative, en particulier son Hessien , donne un tenseur métrique qui est égal à la métrique d'information de Fisher ; voir § Métrique d'information de Fisher. La métrique d'information de Fisher sur une certaine distribution de probabilité permet de déterminer le gradient naturel pour les algorithmes d'optimisation géométrique de l'information. Sa version quantique est la métrique d'étude de Fubini. L'entropie relative satisfait un théorème de Pythagore généralisé pour les familles exponentielles (géométriquement interprétées comme des variétés dualement plates ), et cela permet de minimiser l'entropie relative par des moyens géométriques, par exemple par projection d'informations et dans l'estimation du maximum de vraisemblance .

L'entropie relative est la divergence de Bregman générée par l'entropie négative, mais elle est aussi de la forme d'une f -divergence . Pour les probabilités sur un alphabet fini , elle est unique en ce qu'elle fait partie de ces deux classes de divergences statistiques . L'application de la divergence de Bregman peut être trouvée dans la descente miroir.

Prenons l'exemple d'un investisseur qui cherche à optimiser sa croissance dans un jeu équitable dont les résultats sont mutuellement exclusifs (par exemple une « course de chevaux » dans laquelle les cotes officielles s'élèvent à un). Le taux de rendement attendu par un tel investisseur est égal à l'entropie relative entre les probabilités estimées par l'investisseur et les cotes officielles. Il s'agit d'un cas particulier d'un lien beaucoup plus général entre les rendements financiers et les mesures de divergence.

Les risques financiers sont liés à la géométrie de l'information. Les opinions des investisseurs, la vision dominante du marché et les scénarios risqués forment des triangles sur la variété pertinente des distributions de probabilité. La forme des triangles détermine les principaux risques financiers (tant qualitativement que quantitativement). Par exemple, les triangles obtus dans lesquels les opinions des investisseurs et les scénarios de risque apparaissent sur des « côtés opposés » par rapport au marché décrivent les risques négatifs, les triangles aigus décrivent l'exposition positive et la situation à angle droit au milieu correspond au risque nul. En étendant ce concept, l'entropie relative peut être utilisée hypothétiquement pour identifier le comportement des investisseurs informés, si l'on considère que cela est représenté par l'ampleur et les écarts par rapport aux attentes antérieures des flux de fonds, par exemple .

En théorie de l'information, le théorème de Kraft-McMillan établit que tout schéma de codage directement décodable pour coder un message afin d'identifier une valeur parmi un ensemble de possibilités X peut être considéré comme représentant une distribution de probabilité implicite sur X , où est la longueur du code pour en bits. Par conséquent, l'entropie relative peut être interprétée comme la longueur de message supplémentaire attendue par donnée qui doit être communiquée si un code optimal pour une distribution Q donnée (erronée) est utilisé, par rapport à l'utilisation d'un code basé sur la vraie distribution P : il s'agit de l' entropie excédentaire .

où est l' entropie croisée de Q par rapport à P et est l' entropie de P (qui est la même que l'entropie croisée de P avec lui-même).

L'entropie relative peut être considérée géométriquement comme une distance statistique , une mesure de la distance entre la distribution Q et la distribution P. Géométriquement, c'est une divergence : une forme asymétrique généralisée de la distance au carré. L'entropie croisée est elle-même une telle mesure (formellement une fonction de perte ), mais elle ne peut pas être considérée comme une distance, car elle n'est pas nulle. Cela peut être corrigé en soustrayant pour la rendre plus proche de notre notion de distance, comme la perte excédentaire . La fonction résultante est asymétrique, et bien qu'elle puisse être symétrisée (voir § Divergence symétrisée), la forme asymétrique est plus utile. Voir § Interprétations pour plus d'informations sur l'interprétation géométrique.

L'entropie relative est liée à la « fonction de taux » dans la théorie des grands écarts .

Arthur Hobson a prouvé que l'entropie relative est la seule mesure de différence entre les distributions de probabilité qui satisfait certaines propriétés souhaitées, qui sont l'extension canonique de celles apparaissant dans une caractérisation couramment utilisée de l'entropie . Par conséquent, l'information mutuelle est la seule mesure de dépendance mutuelle qui obéit à certaines conditions connexes, car elle peut être définie en termes de divergence de Kullback-Leibler .

• L'entropie relative est toujours non négative , un résultat connu sous le nom d'inégalité de Gibbs , avec comme mesure zéro si et seulement si .

En particulier, si et , alors - presque partout . L'entropie définit ainsi une valeur minimale pour l'entropie croisée , le nombre attendu de bits requis lors de l'utilisation d'un code basé sur Q plutôt que sur P ; et la divergence de Kullback–Leibler représente donc le nombre attendu de bits supplémentaires qui doivent être transmis pour identifier une valeur x tirée de X , si un code est utilisé correspondant à la distribution de probabilité Q , plutôt qu'à la « vraie » distribution P .

• Il n'existe pas de limite supérieure pour le cas général. Cependant, il est démontré que si P et Q sont deux distributions de probabilité discrètes construites en distribuant la même quantité discrète, alors la valeur maximale de peut être calculée.
• L'entropie relative reste bien définie pour les distributions continues, et de plus est invariante sous les transformations de paramètres . Par exemple, si une transformation est effectuée de la variable x à la variable , alors, puisque et où est la valeur absolue de la dérivée ou plus généralement de la Jacobienne , l'entropie relative peut être réécrite : où et . Bien qu'il ait été supposé que la transformation était continue, ce n'est pas nécessairement le cas. Cela montre également que l'entropie relative produit une quantité dimensionnellement cohérente , puisque si x est une variable dimensionnée, et sont également dimensionnées, puisque eg est sans dimension. L'argument du terme logarithmique est et reste sans dimension, comme il se doit. Il peut donc être considéré comme à certains égards une quantité plus fondamentale que certaines autres propriétés de la théorie de l'information (telles que l'auto-information ou l'entropie de Shannon ), qui peuvent devenir indéfinies ou négatives pour les probabilités non discrètes.
• L'entropie relative est additive pour les distributions indépendantes de la même manière que l'entropie de Shannon. Si sont des distributions indépendantes, et , et de même pour les distributions indépendantes alors
• L'entropie relative est convexe dans la paire de mesures de probabilité , c'est-à-dire si et sont deux paires de mesures de probabilité alors

Le résultat suivant, dû à Donsker et Varadhan, est connu sous le nom de formule variationnelle de Donsker et Varadhan .

Supposons que nous ayons deux distributions normales multivariées , avec des moyennes et avec des matrices de covariance (non singulières). Si les deux distributions ont la même dimension, k , alors l'entropie relative entre les distributions est la suivante :

Le logarithme du dernier terme doit être pris en base e puisque tous les termes, à l'exception du dernier, sont des logarithmes en base e d'expressions qui sont soit des facteurs de la fonction de densité, soit qui apparaissent naturellement. L'équation donne donc un résultat mesuré en nats . En divisant l'expression entière ci-dessus par , on obtient la divergence en bits .

Dans une mise en œuvre numérique, il est utile d'exprimer le résultat en termes de décompositions de Cholesky telles que et . Ensuite, avec M et y solutions aux systèmes linéaires triangulaires , et ,

Un cas particulier, et une quantité courante en inférence variationnelle , est l'entropie relative entre une distribution normale multivariée diagonale et une distribution normale standard (avec une moyenne nulle et une variance unitaire) :

Pour deux distributions normales univariées p et q, ce qui précède se simplifie en

Dans le cas de distributions normales co-centrées avec , cela se simplifie en :

Considérons deux distributions uniformes, avec le support de inclus dans ( ). Le gain d'information est alors :

Intuitivement, le gain d'information vers une distribution uniforme k fois plus étroite contient des bits. Cela est lié à l'utilisation des bits en informatique, où des bits seraient nécessaires pour identifier un élément d'un flux k de longueur.

Bien que l'entropie relative soit une distance statistique , ce n'est pas une mesure sur l'espace des distributions de probabilité, mais plutôt une divergence . Alors que les mesures sont symétriques et généralisent la distance linéaire , satisfaisant l' inégalité triangulaire , les divergences sont asymétriques en général et généralisent la distance au carré , satisfaisant dans certains cas un théorème de Pythagore généralisé . En général , n'est pas égal à , et bien que cela puisse être symétrisé (voir § Divergence symétrisée), l'asymétrie est une partie importante de la géométrie.

Elle génère une topologie sur l'espace des distributions de probabilités . Plus concrètement, si est une suite de distributions telles que

alors on dit que

L'inégalité de Pinsker implique que

où ce dernier représente la convergence habituelle en variation totale .

L'entropie relative est directement liée à la métrique d'information de Fisher . Cela peut être explicité comme suit. Supposons que les distributions de probabilité P et Q soient toutes deux paramétrées par un paramètre (éventuellement multidimensionnel) . Considérons alors deux valeurs proches de et de sorte que le paramètre ne diffère que d'une petite quantité de la valeur du paramètre . Plus précisément, jusqu'au premier ordre, on a (en utilisant la convention de sommation d'Einstein )

avec un petit changement de dans la direction j , et le taux de changement correspondant dans la distribution de probabilité. Puisque l'entropie relative a un minimum absolu 0 pour , c'est-à-dire , elle ne change que vers le second ordre dans les petits paramètres . Plus formellement, comme pour tout minimum, les premières dérivées de la divergence s'annulent

et par le développement de Taylor on a jusqu'au deuxième ordre

où la matrice hessienne de la divergence

doit être semi-défini positif . En laissant varier (et en supprimant le sous-indice 0) l'Hessien définit une métrique riemannienne (éventuellement dégénérée) sur l' espace des paramètres θ , appelée métrique d'information de Fisher.

Lorsque satisfait les conditions de régularité suivantes :

où ξ est indépendant de ρ

alors:

Une autre mesure de la théorie de l'information est la variation de l'information , qui est en gros une symétrisation de l'entropie conditionnelle . Il s'agit d'une mesure sur l'ensemble des partitions d'un espace de probabilité discret .

MAUVE est une mesure de l'écart statistique entre deux distributions de texte, comme la différence entre un texte généré par un modèle et un texte écrit par un humain. Cette mesure est calculée à l'aide des divergences de Kullback-Leibler entre les deux distributions dans un espace d'intégration quantifié d'un modèle de base.

De nombreuses autres quantités de la théorie de l’information peuvent être interprétées comme des applications de l’entropie relative à des cas spécifiques.

L' auto-information , également connue sous le nom de contenu informatif d'un signal, d'une variable aléatoire ou d'un événement, est définie comme le logarithme négatif de la probabilité que le résultat donné se produise.

Lorsqu'elle est appliquée à une variable aléatoire discrète , l'auto-information peut être représentée comme

est l'entropie relative de la distribution de probabilité d'un delta de Kronecker représentant la certitude que — c'est-à-dire le nombre de bits supplémentaires qui doivent être transmis pour identifier i si seule la distribution de probabilité est disponible pour le récepteur, et non le fait que .

L' information mutuelle ,

est l'entropie relative de la distribution de probabilité conjointe issue du produit des deux distributions de probabilité marginales , c'est-à-dire le nombre attendu de bits supplémentaires qui doivent être transmis pour identifier X et Y s'ils sont codés en utilisant uniquement leurs distributions marginales au lieu de la distribution conjointe. De manière équivalente, si la probabilité conjointe est connue, il s'agit du nombre attendu de bits supplémentaires qui doivent en moyenne être envoyés pour identifier Y si la valeur de X n'est pas déjà connue du récepteur.

L' entropie de Shannon ,

est le nombre de bits qui devraient être transmis pour identifier X à partir de N possibilités également probables, moins l'entropie relative de la distribution uniforme sur les variables aléatoires de X , , à partir de la vraie distribution — c'est- à-dire moins le nombre attendu de bits sauvegardés, qui auraient dû être envoyés si la valeur de X avait été codée selon la distribution uniforme plutôt que selon la vraie distribution . Cette définition de l'entropie de Shannon constitue la base de la généralisation alternative d' ET Jaynes aux distributions continues, la densité limite de points discrets (par opposition à l' entropie différentielle habituelle ), qui définit l'entropie continue comme

ce qui équivaut à :

L' entropie conditionnelle ,

est le nombre de bits qui devraient être transmis pour identifier X parmi N possibilités également probables, moins l'entropie relative de la distribution du produit de la vraie distribution conjointe — c'est-à-dire moins le nombre attendu de bits sauvegardés qui auraient dû être envoyés si la valeur de X avait été codée selon la distribution uniforme plutôt que selon la distribution conditionnelle de X étant donné Y.

Lorsque nous avons un ensemble d'événements possibles, provenant de la distribution p , nous pouvons les encoder (avec une compression de données sans perte ) en utilisant l'encodage entropique . Cela compresse les données en remplaçant chaque symbole d'entrée de longueur fixe par un code unique, de longueur variable et sans préfixe correspondant (par exemple : les événements (A, B, C) avec des probabilités p = (1/2, 1/4, 1/4) peuvent être codés comme les bits (0, 10, 11)). Si nous connaissons la distribution p à l'avance, nous pouvons concevoir un codage qui serait optimal (par exemple : en utilisant le codage de Huffman ). Cela signifie que les messages que nous codons auront la longueur la plus courte en moyenne (en supposant que les événements codés sont échantillonnés à partir de p ), qui sera égale à l'entropie de Shannon de p (notée ). Cependant, si nous utilisons une distribution de probabilité différente ( q ) lors de la création du schéma d'encodage entropique, alors un plus grand nombre de bits sera utilisé (en moyenne) pour identifier un événement à partir d'un ensemble de possibilités. Ce nouveau nombre (plus grand) est mesuré par l' entropie croisée entre p et q .

L' entropie croisée entre deux distributions de probabilité ( p et q ) mesure le nombre moyen de bits nécessaires pour identifier un événement à partir d'un ensemble de possibilités, si un schéma de codage est utilisé sur la base d'une distribution de probabilité donnée q , plutôt que de la « vraie » distribution p . L'entropie croisée pour deux distributions p et q sur le même espace de probabilité est ainsi définie comme suit.

Pour une dérivation explicite de ceci, voir la section Motivation ci-dessus.

Dans ce scénario, les entropies relatives (kl-divergence) peuvent être interprétées comme le nombre supplémentaire de bits, en moyenne, qui sont nécessaires (au-delà de ) pour coder les événements en raison de l'utilisation de q pour construire le schéma de codage au lieu de p .

En statistique bayésienne , l'entropie relative peut être utilisée comme mesure du gain d'information en passant d'une distribution a priori à une distribution postérieure : . Si un nouveau fait est découvert, il peut être utilisé pour mettre à jour la distribution postérieure de X de vers une nouvelle distribution postérieure en utilisant le théorème de Bayes :

Cette distribution a une nouvelle entropie :

qui peut être inférieure ou supérieure à l'entropie d'origine . Cependant, du point de vue de la nouvelle distribution de probabilité, on peut estimer que l'utilisation du code d'origine basé sur au lieu d'un nouveau code basé sur aurait ajouté un nombre attendu de bits :

à la longueur du message. Cela représente donc la quantité d'informations utiles, ou de gain d'informations, sur X , qui a été apprise en découvrant .

Si une donnée supplémentaire, , arrive par la suite, la distribution de probabilité pour x peut être mise à jour à nouveau, pour donner une nouvelle meilleure estimation de . Si l'on réexamine le gain d'information obtenu en utilisant plutôt que , il s'avère qu'il peut être supérieur ou inférieur à l'estimation précédente :

et donc le gain d'information combiné n'obéit pas à l'inégalité triangulaire :

Tout ce que l'on peut dire, c'est qu'en moyenne , en faisant la moyenne en utilisant , les deux côtés seront en moyenne.

Un objectif commun dans la conception expérimentale bayésienne est de maximiser l'entropie relative attendue entre le prior et le posterior. Lorsque les posterior sont approximés comme étant des distributions gaussiennes, une conception maximisant l'entropie relative attendue est appelée d-optimale de Bayes .

L'entropie relative peut également être interprétée comme l' information de discrimination attendue pour plus de : l'information moyenne par échantillon permettant de discriminer en faveur d'une hypothèse par rapport à une hypothèse , lorsque l'hypothèse est vraie. Un autre nom donné à cette quantité par IJ Good est le poids attendu des preuves pour plus de à attendre de chaque échantillon.

Le poids attendu des preuves pour plus de n'est pas le même que le gain d'information attendu par échantillon sur la distribution de probabilité des hypothèses,

Chacune des deux quantités peut être utilisée comme fonction d’utilité dans la conception expérimentale bayésienne, pour choisir une prochaine question optimale à étudier : mais elles conduiront en général à des stratégies expérimentales assez différentes.

Sur l’échelle d’entropie du gain d’information , il y a très peu de différence entre la quasi-certitude et la certitude absolue : le codage selon une quasi-certitude ne nécessite guère plus de bits que le codage selon une certitude absolue. En revanche, sur l’ échelle logit impliquée par le poids de la preuve, la différence entre les deux est énorme – infinie peut-être ; cela pourrait refléter la différence entre être presque sûr (au niveau probabiliste) que, par exemple, l’ hypothèse de Riemann est correcte, et être certain qu’elle est correcte parce qu’on a une preuve mathématique. Ces deux échelles différentes de fonction de perte pour l’incertitude sont toutes deux utiles, selon la façon dont chacune reflète les circonstances particulières du problème en question.

L'idée de l'entropie relative comme information de discrimination a conduit Kullback à proposer le principe deInformation de discrimination minimale (MDI) : étant donné de nouveaux faits, une nouvelle distributionfdoit être choisie, qui soit aussi difficile à distinguer de la distribution d'origineque possible ; de sorte que les nouvelles données produisent un gain d'information aussi faibleque possible.

Par exemple, si l'on avait une distribution antérieure sur x et a , et que l'on apprenait par la suite que la vraie distribution de a était , alors l'entropie relative entre la nouvelle distribution conjointe pour x et a , , et la distribution antérieure serait :

c'est-à-dire la somme de l'entropie relative de la distribution a priori pour a à partir de la distribution mise à jour , plus la valeur attendue (en utilisant la distribution de probabilité ) de l'entropie relative de la distribution conditionnelle a priori à partir de la nouvelle distribution conditionnelle . (Notez que souvent la valeur attendue ultérieure est appelée entropie relative conditionnelle (ou divergence conditionnelle de Kullback–Leibler ) et notée par ) Ceci est minimisé si sur l'ensemble du support de ; et nous notons que ce résultat incorpore le théorème de Bayes, si la nouvelle distribution est en fait une fonction δ représentant la certitude que a a une valeur particulière.

Le MDI peut être considéré comme une extension du principe de raison insuffisante de Laplace et du principe d'entropie maximale de ET Jaynes . En particulier, il s'agit de l'extension naturelle du principe d'entropie maximale des distributions discrètes aux distributions continues, pour lesquelles l'entropie de Shannon cesse d'être si utile (voir entropie différentielle ), mais l'entropie relative continue d'être tout aussi pertinente.

Dans la littérature technique, le MDI est parfois appelé le principe d'entropie croisée minimale (MCE) ou Minxent en abrégé. La minimisation de l'entropie relative de m à p par rapport à m équivaut à minimiser l'entropie croisée de p et m , car

ce qui est approprié si l'on essaie de choisir une approximation adéquate de p . Cependant, ce n'est pas souvent la tâche que l'on essaie d'accomplir. Au lieu de cela, c'est tout aussi souvent m qui est une mesure de référence fixe a priori, et p que l'on essaie d'optimiser en minimisant sous une certaine contrainte. Cela a conduit à une certaine ambiguïté dans la littérature, certains auteurs tentant de résoudre l'incohérence en redéfinissant l'entropie croisée comme étant , plutôt que .

Les surprises s'ajoutent là où les probabilités se multiplient. La surprise pour un événement de probabilité p est définie comme . Si k est alors la surprise est en nats, bits, ou de telle sorte que, par exemple, il y a N bits de surprise pour obtenir toutes les « faces » sur un tirage au sort de N pièces.

Les états de meilleure estimation (par exemple pour les atomes dans un gaz) sont déduits en maximisant la surprise moyenne S ( entropie ) pour un ensemble donné de paramètres de contrôle (comme la pression P ou le volume V ). Cette maximisation de l'entropie contrainte , à la fois classiquement et quantiquement, minimise la disponibilité de Gibbs en unités d'entropie où Z est une multiplicité contrainte ou une fonction de partition .

Lorsque la température T est fixe, l'énergie libre ( ) est également minimisée. Ainsi, si et le nombre de molécules N sont constants, l' énergie libre de Helmholtz (où U est l'énergie et S l'entropie) est minimisée lorsqu'un système « s'équilibre ». Si T et P sont maintenus constants (par exemple pendant les processus dans votre corps), l' énergie libre de Gibbs est minimisée à la place. La variation de l'énergie libre dans ces conditions est une mesure du travail disponible qui pourrait être effectué dans le processus. Ainsi, le travail disponible pour un gaz idéal à température et pression constantes est où et (voir aussi l'inégalité de Gibbs ).

Plus généralement le travail disponible par rapport à une certaine température ambiante est obtenu en multipliant la température ambiante par l'entropie relative ou la surprise nette définie comme la valeur moyenne de où est la probabilité d'un état donné dans des conditions ambiantes. Par exemple, le travail disponible pour équilibrer un gaz idéal monoatomique aux valeurs ambiantes de et est donc , où l'entropie relative

Les contours résultants de l'entropie relative constante, montrés à droite pour une mole d'argon à température et pression standard, par exemple, imposent des limites à la conversion du chaud en froid comme dans la climatisation alimentée par flamme ou dans le dispositif non alimenté pour convertir l'eau bouillante en eau glacée discuté ici. Ainsi, l'entropie relative mesure la disponibilité thermodynamique en bits.

Pour les matrices de densité P et Q sur un espace de Hilbert , l' entropie relative quantique de Q à P est définie comme étant

En science de l'information quantique, le minimum de tous les états séparables Q peut également être utilisé comme mesure d' intrication dans l'état P.

De la même manière que l'entropie relative de la « réalité par rapport à l'ambiante » mesure la disponibilité thermodynamique, l'entropie relative de la « réalité par rapport à un modèle » est également utile même si les seuls indices dont nous disposons sur la réalité sont des mesures expérimentales. Dans le premier cas, l'entropie relative décrit la distance à l'équilibre ou (en multipliant par la température ambiante) la quantité de travail disponible , tandis que dans le second cas, elle vous informe des surprises que la réalité vous réserve ou, en d'autres termes, de ce que le modèle doit encore apprendre .

Bien que cet outil d'évaluation des modèles par rapport à des systèmes accessibles expérimentalement puisse être appliqué dans n'importe quel domaine, son application à la sélection d'un modèle statistique via le critère d'information d'Akaike est particulièrement bien décrite dans des articles et un livre de Burnham et Anderson. En un mot, l'entropie relative de la réalité à partir d'un modèle peut être estimée, à un terme additif constant près, par une fonction des écarts observés entre les données et les prédictions du modèle (comme l' écart quadratique moyen ). Les estimations de cette divergence pour des modèles qui partagent le même terme additif peuvent à leur tour être utilisées pour sélectionner parmi les modèles.

Lorsqu'on essaie d'adapter des modèles paramétrés aux données, il existe différents estimateurs qui tentent de minimiser l'entropie relative, tels que les estimateurs de vraisemblance maximale et d'espacement maximal .

Kullback et Leibler (1951) ont également considéré la fonction symétrisée :

qu'ils appelèrent la « divergence », bien qu'aujourd'hui la « divergence KL » désigne la fonction asymétrique (voir § Etymologie pour l'évolution du terme). Cette fonction est symétrique et non négative, et avait déjà été définie et utilisée par Harold Jeffreys en 1948 ; elle est donc appelée la divergence de Jeffreys .

Cette quantité a parfois été utilisée pour la sélection de caractéristiques dans les problèmes de classification , où P et Q sont les pdf conditionnels d'une caractéristique dans deux classes différentes. Dans les secteurs bancaire et financier, cette quantité est appelée indice de stabilité de la population ( PSI ) et est utilisée pour évaluer les changements de distribution des caractéristiques du modèle au fil du temps.

Une alternative est donnée via la -divergence,

qui peut être interprété comme le gain d'information attendu sur X en découvrant de quelle distribution de probabilité X est tiré, P ou Q , s'ils ont actuellement des probabilités et respectivement.

La valeur donne la divergence Jensen–Shannon , définie par

où M est la moyenne des deux distributions,

On peut aussi l'interpréter comme la capacité d'un canal d'information bruité à deux entrées donnant les distributions de sortie P et Q . La divergence de Jensen–Shannon, comme toutes les f -divergences, est localement proportionnelle à la métrique d'information de Fisher . Elle est similaire à la métrique de Hellinger (au sens où elle induit la même connexion affine sur une variété statistique ).

De plus, la divergence Jensen–Shannon peut être généralisée en utilisant des mélanges statistiques abstraits M s'appuyant sur une moyenne abstraite M.

Il existe de nombreuses autres mesures importantes de la distance de probabilité . Certaines d'entre elles sont particulièrement liées à l'entropie relative. Par exemple :

• La distance de variation totale , . Ceci est lié à la divergence par l'inégalité de Pinsker : l'inégalité de Pinsker est vide pour toutes les distributions où , puisque la distance de variation totale est au plus égale à 1 . Pour de telles distributions, une borne alternative peut être utilisée, en raison de Bretagnolle et Huber (voir aussi Tsybakov ) :$2D_{KL}(P\parallel Q)>2$2}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/e6c01379b20dbcee29f2d5b238cbf1fafaf926ea">
• La famille des divergences de Rényi généralise l'entropie relative. Selon la valeur d'un certain paramètre, , diverses inégalités peuvent être déduites.

D'autres mesures notables de distance incluent la distance de Hellinger , l'intersection d'histogrammes , la statistique du Chi carré , la distance de forme quadratique , la distance de correspondance , la distance de Kolmogorov-Smirnov et la distance du terrassement .

Tout comme l'entropie absolue sert de base théorique à la compression des données , l'entropie relative sert de base théorique à la différenciation des données : l'entropie absolue d'un ensemble de données dans ce sens étant les données nécessaires à sa reconstruction (taille compressée minimale), tandis que l'entropie relative d'un ensemble de données cible, étant donné un ensemble de données source, est les données nécessaires à la reconstruction de la cible étant donné la source (taille minimale d'un patch ).