Famille exponentielle

En probabilités et statistiques , une famille exponentielle est un ensemble paramétrique de distributions de probabilité d'une certaine forme, spécifiée ci-dessous. Cette forme spéciale est choisie pour des raisons de commodité mathématique, notamment pour permettre à l'utilisateur de calculer les espérances et les covariances à l'aide d'une différentiation basée sur certaines propriétés algébriques utiles, ainsi que pour la généralité, car les familles exponentielles sont en un sens des ensembles de distributions très naturels à considérer. Le terme classe exponentielle est parfois utilisé à la place de « famille exponentielle », ou de l'ancien terme famille de Koopman-Darmois . Parfois vaguement appelée « la » famille exponentielle, cette classe de distributions est distincte car elles possèdent toutes une variété de propriétés souhaitables, la plus importante étant l'existence d'une statistique suffisante .

Le concept de familles exponentielles est attribué à EJG Pitman , G. Darmois , et BO Koopman en 1935-1936. Les familles exponentielles de distributions fournissent un cadre général pour sélectionner une paramétrisation alternative possible d'une famille paramétrique de distributions, en termes de paramètres naturels, et pour définir des statistiques d'échantillon utiles , appelées statistiques naturelles suffisantes de la famille.

Les termes « distribution » et « famille » sont souvent utilisés de manière vague : Plus précisément, une famille exponentielle est un ensemble de distributions, où la distribution spécifique varie avec le paramètre ; famille paramétrique de distributions est souvent appelée « une distribution » (comme « la distribution normale », signifiant « la famille des distributions normales »), et l'ensemble de toutes les familles exponentielles est parfois appelé de manière vague « la » famille exponentielle.

La plupart des distributions couramment utilisées forment une famille exponentielle ou un sous-ensemble d'une famille exponentielle, répertoriés dans la sous-section ci-dessous. Les sous-sections qui suivent constituent une séquence de définitions mathématiques de plus en plus générales d'une famille exponentielle. Un lecteur occasionnel souhaitera peut-être limiter son attention à la première définition, la plus simple, qui correspond à une famille à paramètre unique de distributions de probabilité discrètes ou continues .

Les familles exponentielles comprennent la plupart des distributions les plus courantes. Parmi de nombreuses autres, les familles exponentielles comprennent les suivantes :

Un certain nombre de distributions courantes sont des familles exponentielles, mais seulement lorsque certains paramètres sont fixes et connus. Par exemple :

• binomiale (avec nombre fixe d'essais)
• multinomial (avec nombre fixe d'essais)
• binôme négatif (avec nombre fixe d'échecs)

Il faut noter que dans chaque cas, les paramètres qui doivent être fixés sont ceux qui fixent une limite à la plage de valeurs qui peuvent éventuellement être observées.

Des exemples de distributions courantes qui ne sont pas des familles exponentielles sont la distribution t de Student , la plupart des distributions mixtes et même la famille des distributions uniformes lorsque les limites ne sont pas fixes. Voir la section ci-dessous sur les exemples pour plus de détails.

La valeur de est appelée le paramètre de la famille.

Une famille exponentielle à paramètre unique est un ensemble de distributions de probabilité dont la fonction de densité de probabilité (ou fonction de masse de probabilité , pour le cas d'une distribution discrète ) peut être exprimée sous la forme

où et sont des fonctions connues. La fonction doit être non négative.

Une forme alternative et équivalente souvent donnée est

ou de manière équivalente

En termes de probabilité logarithmique ,

Notez que et

Il est important de noter que le support de (toutes les valeurs possibles pour lesquelles est supérieur à ) ne doit pas dépendre de Cette exigence peut être utilisée pour exclure une distribution familiale paramétrique d'être une famille exponentielle.

Par exemple : La distribution de Pareto a une pdf qui est définie pour (la valeur minimale étant le paramètre d'échelle) et son support a donc une limite inférieure de Puisque le support de dépend de la valeur du paramètre, la famille des distributions de Pareto ne forme pas une famille exponentielle de distributions (du moins lorsque est inconnu).

Autre exemple : les distributions de type Bernoulli ( distribution binomiale , binomiale négative , distribution géométrique et similaires) ne peuvent être incluses dans la classe exponentielle que si le nombre d' essais de Bernoulli est traité comme une constante fixe (exclue du ou des paramètres libres) puisque le nombre d'essais autorisé définit les limites du nombre de « succès » ou d'« échecs » qui peuvent être observés dans un ensemble d'essais.

Il s'agit souvent d'un vecteur de mesures, auquel cas il peut s'agir d'une fonction de l'espace des valeurs possibles des nombres réels.

Plus généralement, et peuvent chacun avoir une valeur vectorielle telle que soit une valeur réelle. Cependant, voir la discussion ci-dessous sur les paramètres vectoriels, concernant la famille exponentielle courbe .

Si alors la famille exponentielle est dite sous forme canonique . En définissant un paramètre transformé , il est toujours possible de convertir une famille exponentielle en forme canonique. La forme canonique n'est pas unique, car peut être multipliée par n'importe quelle constante non nulle, à condition que soit multipliée par l'inverse de cette constante, ou qu'une constante c puisse être ajoutée et multipliée par pour la décaler. Dans le cas particulier où et alors la famille est appelée une famille exponentielle naturelle .

Même lorsque est un scalaire et qu'il n'y a qu'un seul paramètre, les fonctions et peuvent toujours être des vecteurs, comme décrit ci-dessous.

La fonction ou de manière équivalente est automatiquement déterminée une fois que les autres fonctions ont été choisies, car elle doit prendre une forme qui entraîne la normalisation de la distribution ( somme ou intégration à un sur l'ensemble du domaine). De plus, ces deux fonctions peuvent toujours être écrites comme des fonctions de même lorsque n'est pas une fonction bijective , c'est-à-dire que deux ou plusieurs valeurs différentes de sont mappées sur la même valeur de et ne peuvent donc pas être inversées. Dans un tel cas, toutes les valeurs de mappées sur le même auront également la même valeur pour et

Ce qui est important à noter, et ce qui caractérise toutes les variantes de la famille exponentielle, c'est que le(s) paramètre(s) et la(les) variable(s) d'observation doivent se factoriser (peuvent être séparés en produits dont chacun n'implique qu'un seul type de variable), soit directement, soit dans l'une ou l'autre partie (la base ou l'exposant) d'une opération d'exponentiation . En général, cela signifie que tous les facteurs constituant la fonction de masse ou de densité doivent être de l'une des formes suivantes :

où et sont des fonctions arbitraires de la variable statistique observée ; et sont des fonctions arbitraires des paramètres fixes définissant la forme de la distribution ; et est une expression constante arbitraire (c'est-à-dire un nombre ou une expression qui ne change pas avec ou ).

Il existe d'autres restrictions quant au nombre de ces facteurs qui peuvent se produire. Par exemple, les deux expressions suivantes :

sont identiques, c'est-à-dire un produit de deux facteurs « autorisés ». Cependant, lorsqu'ils sont réécrits sous la forme factorisée,

on peut voir qu'elle ne peut pas être exprimée sous la forme requise. (Cependant, une forme de ce type est un membre d'une famille exponentielle courbe , qui autorise plusieurs termes factorisés dans l'exposant. )

Pour voir pourquoi une expression de la forme

qualifie,

et donc factorise à l'intérieur de l'exposant. De même,

et factorise à nouveau à l'intérieur de l'exposant.

Un facteur constitué d'une somme où les deux types de variables interviennent (par exemple un facteur de la forme ) ne peut pas être factorisé de cette façon (sauf dans certains cas où il intervient directement dans un exposant) ; c'est pourquoi, par exemple, la distribution de Cauchy et la distribution t de Student ne sont pas des familles exponentielles.

La définition en termes d'un paramètre de nombre réel peut être étendue à un paramètre de vecteur réel

On dit qu'une famille de distributions appartient à une famille vectorielle exponentielle si la fonction de densité de probabilité (ou fonction de masse de probabilité, pour les distributions discrètes) peut s'écrire comme

ou sous une forme plus compacte,

Ce formulaire écrit la somme sous forme de produit scalaire de fonctions à valeurs vectorielles et .

Une forme alternative et équivalente souvent observée est

Comme dans le cas des valeurs scalaires, la famille exponentielle est dite sous forme canonique si

Une famille exponentielle vectorielle est dite courbe si la dimension de

est inférieure à la dimension du vecteur

Autrement dit, si la dimension , d , du vecteur de paramètres est inférieure au nombre de fonctions , s , du vecteur de paramètres dans la représentation ci-dessus de la fonction de densité de probabilité. La plupart des distributions courantes de la famille exponentielle ne sont pas courbes, et de nombreux algorithmes conçus pour fonctionner avec n'importe quelle famille exponentielle supposent implicitement ou explicitement que la distribution n'est pas courbe.

Tout comme dans le cas d'un paramètre à valeur scalaire, la fonction ou de manière équivalente est automatiquement déterminée par la contrainte de normalisation, une fois que les autres fonctions ont été choisies. Même si elle n'est pas bijective, les fonctions et peuvent être définies en exigeant que la distribution soit normalisée pour chaque valeur du paramètre naturel . Cela donne la forme canonique

ou de manière équivalente

Les formes ci-dessus peuvent parfois être rencontrées avec à la place de . Il s'agit de formulations exactement équivalentes, utilisant simplement une notation différente pour le produit scalaire .

La forme vecteur-paramètre sur une seule variable aléatoire à valeur scalaire peut être étendue de manière triviale pour couvrir une distribution conjointe sur un vecteur de variables aléatoires. La distribution résultante est simplement la même que la distribution ci-dessus pour une variable aléatoire à valeur scalaire, chaque occurrence du scalaire x étant remplacée par le vecteur

Les dimensions k de la variable aléatoire ne doivent pas nécessairement correspondre à la dimension d du vecteur de paramètres, ni (dans le cas d'une fonction exponentielle courbe) à la dimension s du paramètre naturel et à la statistique suffisante T ( x ) .

La distribution dans ce cas s'écrit comme

Ou de manière plus compacte comme

Ou bien comme

Nous utilisons des fonctions de distribution cumulative (CDF) afin d'englober les distributions discrètes et continues.

Supposons que H soit une fonction non décroissante d'une variable réelle. Alors les intégrales de Lebesgue–Stieltjes par rapport à sont des intégrales par rapport à la mesure de référence de la famille exponentielle engendrée par H .

Tout membre de cette famille exponentielle a une fonction de distribution cumulative

H ( x ) est un intégrateur de Lebesgue–Stieltjes pour la mesure de référence. Lorsque la mesure de référence est finie, elle peut être normalisée et H est en fait la fonction de distribution cumulative d'une distribution de probabilité. Si F est absolument continue avec une densitépar rapport à une mesure de référence(typiquement la mesure de Lebesgue ), on peut écrire. Dans ce cas, H est aussi absolument continue et peut s'écrirede telle sorte que les formules se réduisent à celle des paragraphes précédents. Si F est discrète, alors H est une fonction à échelons (avec des échelons sur le support de F ).

Alternativement, nous pouvons écrire directement la mesure de probabilité comme

pour une mesure de référence .

Dans les définitions ci-dessus, les fonctions T ( x ) , η ( θ ) et A ( η ) étaient arbitraires. Cependant, ces fonctions ont des interprétations importantes dans la distribution de probabilité résultante.

• T ( x ) est une statistique suffisante de la distribution. Pour les familles exponentielles, la statistique suffisante est une fonction des données qui contient toutes les informations que les données x fournissent concernant les valeurs de paramètres inconnues. Cela signifie que, pour tout ensemble de donnéeset, le rapport de vraisemblance est le même, c'est-à-diresi T ( x ) = T ( y ) . Cela est vrai même si x et y ne sont pas égaux. La dimension de T ( x ) est égale au nombre de paramètres de θ et englobe toutes les informations concernant les données liées au paramètre θ . La statistique suffisante d'un ensemble d' observations de données indépendantes identiquement distribuées est simplement la somme des statistiques suffisantes individuelles et encapsule toutes les informations nécessaires pour décrire la distribution postérieure des paramètres, compte tenu des données (et donc pour dériver toute estimation souhaitée des paramètres). (Cette propriété importante est discutée plus loin.)
• η est appelé le paramètre naturel . L'ensemble des valeurs de η pour lesquelles la fonction est intégrable est appelé l' espace des paramètres naturels . On peut montrer que l'espace des paramètres naturels est toujours convexe .
• A ( η ) est appelé lefonction de partition logarithmique car c'est le logarithme d'un facteur de normalisation , sans lequel il n'y aurait pas de distribution de probabilité :

La fonction A est importante en soi, car la moyenne , la variance et d'autres moments de la statistique suffisante T ( x ) peuvent être dérivés simplement en différenciant A ( η ) . Par exemple, comme log( x ) est l'une des composantes de la statistique suffisante de la distribution gamma , peut être facilement déterminée pour cette distribution en utilisant A ( η ) . Techniquement, cela est vrai car

est la fonction génératrice cumulée de la statistique suffisante.

Les familles exponentielles possèdent un grand nombre de propriétés qui les rendent extrêmement utiles pour l'analyse statistique. Dans de nombreux cas, il peut être démontré que seules les familles exponentielles possèdent ces propriétés. Exemples :

• Les familles exponentielles sont les seules familles disposant de statistiques suffisantes pour résumer des quantités arbitraires de données indépendantes distribuées de manière identique en utilisant un nombre fixe de valeurs. ( Théorème de Pitman – Koopman – Darmois )
• Les familles exponentielles ont des priors conjugués , une propriété importante dans les statistiques bayésiennes .
• La distribution prédictive postérieure d'une variable aléatoire de famille exponentielle avec une loi a priori conjuguée peut toujours être écrite sous forme fermée (à condition que le facteur de normalisation de la distribution de famille exponentielle puisse lui-même être écrit sous forme fermée).
• Dans l'approximation du champ moyen dans la méthode bayésienne variationnelle (utilisée pour approximer la distribution postérieure dans les grands réseaux bayésiens ), la meilleure approximation de la distribution postérieure d'un nœud de famille exponentielle (un nœud est une variable aléatoire dans le contexte des réseaux bayésiens) avec une loi a priori conjuguée est dans la même famille que le nœud.

Étant donnée une famille exponentielle définie par , où est l'espace des paramètres, tel que . Alors

• Si a un intérieur non vide dans , alors étant donné tous les échantillons IID , la statistique est une statistique complète pour .

Il est essentiel, lorsque l’on considère les exemples de cette section, de se souvenir de la discussion ci-dessus sur ce que signifie dire qu’une « distribution » est une famille exponentielle, et en particulier de garder à l’esprit que l’ensemble des paramètres qui sont autorisés à varier est essentiel pour déterminer si une « distribution » est ou non une famille exponentielle.

Les distributions normale , exponentielle , log-normale , gamma , khi-carré , bêta , de Dirichlet , de Bernoulli , catégorique , de Poisson , géométrique , gaussienne inverse , ALAAM , de von Mises et de von Mises-Fisher sont toutes des familles exponentielles.

Certaines distributions sont des familles exponentielles seulement si certains de leurs paramètres sont maintenus fixes. La famille des distributions de Pareto avec une borne minimale fixe x _m forme une famille exponentielle. Les familles de distributions binomiales et multinomiales avec un nombre fixe d'essais n mais un ou plusieurs paramètres de probabilité inconnus sont des familles exponentielles. La famille des distributions binomiales négatives avec un nombre fixe d'échecs (également appelé paramètre de temps d'arrêt) r est une famille exponentielle. Cependant, lorsque l'un des paramètres fixes mentionnés ci-dessus est autorisé à varier, la famille résultante n'est pas une famille exponentielle.

Comme mentionné ci-dessus, en règle générale, le support d'une famille exponentielle doit rester le même pour tous les paramètres de la famille. C'est pourquoi les cas ci-dessus (par exemple, binomiale avec un nombre d'essais variable, Pareto avec une limite minimale variable) ne sont pas des familles exponentielles : dans tous les cas, le paramètre en question affecte le support (en particulier, en modifiant la valeur minimale ou maximale possible). Pour des raisons similaires, ni la distribution uniforme discrète ni la distribution uniforme continue ne sont des familles exponentielles car l'une ou les deux limites varient.

La distribution de Weibull à paramètre de forme fixe k est une famille exponentielle. Contrairement aux exemples précédents, le paramètre de forme n'affecte pas le support ; le fait que le fait de le laisser varier rende la distribution de Weibull non exponentielle est plutôt dû à la forme particulière de la fonction de densité de probabilité de Weibull ( k apparaît dans l'exposant d'un exposant).

En général, les distributions qui résultent d'un mélange fini ou infini d'autres distributions, par exemple les densités de modèles de mélange et les distributions de probabilité composées , ne sont pas des familles exponentielles. Les exemples sont les modèles de mélange gaussiens typiques ainsi que de nombreuses distributions à queue lourde qui résultent de la composition (c'est-à-dire du mélange infini) d'une distribution avec une distribution a priori sur l'un de ses paramètres, par exemple la distribution t de Student (composition d'une distribution normale sur une distribution a priori de précision gamma ) et les distributions bêta-binomiale et Dirichlet-multinomiale . D'autres exemples de distributions qui ne sont pas des familles exponentielles sont la distribution F , la distribution de Cauchy , la distribution hypergéométrique et la distribution logistique .

Vous trouverez ci-dessous quelques exemples détaillés de la représentation de certaines distributions utiles sous forme de familles exponentielles.

Comme premier exemple, considérons une variable aléatoire distribuée normalement avec une moyenne μ inconnue et une variance σ ² connue . La fonction de densité de probabilité est alors

Il s'agit d'une famille exponentielle à paramètre unique, comme on peut le voir en définissant

Si σ = 1, cela est sous forme canonique, car alors η ( μ ) = μ .

Considérons ensuite le cas d'une distribution normale avec une moyenne et une variance inconnues. La fonction de densité de probabilité est alors

Il s'agit d'une famille exponentielle qui peut être écrite sous forme canonique en définissant

À titre d'exemple d'une famille exponentielle discrète, considérons la distribution binomiale avec un nombre connu d'essais n . La fonction de masse de probabilité pour cette distribution est

Cela peut être écrit de manière équivalente comme

ce qui montre que la distribution binomiale est une famille exponentielle, dont le paramètre naturel est

Cette fonction de p est connue sous le nom de logit .

Le tableau suivant montre comment réécrire un certain nombre de distributions courantes sous forme de distributions de familles exponentielles avec paramètres naturels. Reportez-vous aux fiches pour les principales familles exponentielles.

Pour une variable scalaire et un paramètre scalaire, la forme est la suivante :

Pour une variable scalaire et un paramètre vectoriel :

Pour une variable vectorielle et un paramètre vectoriel :

Les formules ci-dessus choisissent la forme fonctionnelle de la famille exponentielle avec une fonction de partition logarithmique . La raison en est que les moments des statistiques suffisantes peuvent être calculés facilement, simplement en différenciant cette fonction. Des formes alternatives impliquent soit de paramétrer cette fonction en termes de paramètre normal au lieu du paramètre naturel, et/ou d'utiliser un facteur en dehors de l'exponentielle. La relation entre ce dernier et le premier est :

Pour convertir entre les représentations impliquant les deux types de paramètres, utilisez les formules ci-dessous pour écrire un type de paramètre en fonction de l'autre.

* Le crochet d'Iverson est une généralisation de la fonction delta discrète : si l'expression entre crochets est vraie, le crochet a la valeur 1 ; si l'énoncé entre crochets est faux, le crochet d'Iverson est nul. Il existe de nombreuses variantes de notation, par exemple les crochets ondulés : ⧙ a = b ⧘ est équivalent à la notation [ a = b ] utilisée ci-dessus.

Les trois variantes de la distribution catégorielle et de la distribution multinomiale sont dues au fait que les paramètres sont contraints, de telle sorte que

Il n’y a donc que des paramètres indépendants.

• La variante 1 utilise des paramètres naturels avec une relation simple entre les paramètres standards et naturels ; cependant, seuls les paramètres naturels sont indépendants et l'ensemble des paramètres naturels est non identifiable . La contrainte sur les paramètres usuels se traduit par une contrainte similaire sur les paramètres naturels.
• La variante 2 démontre le fait que l'ensemble des paramètres naturels n'est pas identifiable : l'ajout d'une valeur constante aux paramètres naturels n'a aucun effet sur la distribution résultante. Cependant, en utilisant la contrainte sur les paramètres naturels, la formule des paramètres normaux en termes de paramètres naturels peut être écrite d'une manière indépendante de la constante ajoutée.
• La variante 3 montre comment rendre les paramètres identifiables de manière pratique en définissant Cela « pivote » efficacement autour et fait en sorte que le dernier paramètre naturel ait la valeur constante de 0. Toutes les formules restantes sont écrites d'une manière qui n'accède pas à , de sorte qu'effectivement le modèle n'a que des paramètres, à la fois de type habituel et naturel.

Les variantes 1 et 2 ne sont pas réellement des familles exponentielles standard. Ce sont plutôt des familles exponentielles courbes , c'est-à-dire qu'elles contiennent des paramètres indépendants intégrés dans un espace de paramètres à dimensions . De nombreux résultats standard pour les familles exponentielles ne s'appliquent pas aux familles exponentielles courbes. Un exemple est la fonction de partition logarithmique , qui a la valeur de 0 dans les cas courbes. Dans les familles exponentielles standard, les dérivées de cette fonction correspondent aux moments (plus techniquement, aux cumulants ) des statistiques suffisantes, par exemple la moyenne et la variance. Cependant, une valeur de 0 suggère que la moyenne et la variance de toutes les statistiques suffisantes sont uniformément 0, alors qu'en fait la moyenne de la ième statistique suffisante devrait être . (Cela apparaît correctement lorsque l'on utilise la forme de montrée dans la variante 3.)

Nous commençons par la normalisation de la distribution de probabilité. En général, toute fonction non négative f ( x ) qui sert de noyau à une distribution de probabilité (la partie codant toutes les dépendances sur x ) peut être transformée en une distribution propre en normalisant : c'est- à-dire

où

Le facteur Z est parfois appelé fonction de normalisation ou de partition , par analogie avec la physique statistique .

Dans le cas d'une famille exponentielle où

le noyau est

et la fonction de partition est

Comme la distribution doit être normalisée, nous avons

Autrement dit,

ou de manière équivalente

Cela justifie l'appel à la fonction log-normaliseur ou log-partition .

Maintenant, la fonction génératrice de moments de T ( x ) est

prouvant l'affirmation précédente selon laquelle

est la fonction génératrice cumulée pour T .

Une sous-classe importante de familles exponentielles sont les familles exponentielles naturelles , qui ont une forme similaire pour la fonction génératrice de moments pour la distribution de x .

En particulier, en utilisant les propriétés de la fonction génératrice cumulée,

et

Les deux premiers moments bruts et tous les seconds moments mixtes peuvent être récupérés à partir de ces deux identités. Les moments et cumulants d'ordre supérieur sont obtenus par dérivées supérieures. Cette technique est souvent utile lorsque T est une fonction compliquée des données, dont les moments sont difficiles à calculer par intégration.

Une autre façon de voir cela, qui ne repose pas sur la théorie des cumulants, est de partir du fait que la distribution d'une famille exponentielle doit être normalisée et différenciée. Nous illustrons cela en utilisant le cas simple d'un paramètre unidimensionnel, mais une dérivation analogue est valable plus généralement.

Dans le cas unidimensionnel, nous avons

Cela doit être normalisé, donc

Prendre la dérivée des deux côtés par rapport à η :

Donc,

À titre d’exemple introductif, considérons la distribution gamma , dont la distribution est définie par

En se référant au tableau ci-dessus, nous pouvons voir que le paramètre naturel est donné par

les substitutions inverses sont

les statistiques sont suffisantes et la fonction de partition logarithmique est

Nous pouvons trouver la moyenne des statistiques suffisantes comme suit. Tout d'abord, pour η ₁ :

Où est la fonction digamma (dérivée de log gamma), et nous avons utilisé les substitutions inverses dans la dernière étape.

Maintenant, pour η ₂ :

en effectuant à nouveau la substitution inverse à la dernière étape.

Pour calculer la variance de x , il suffit de différencier à nouveau :

Tous ces calculs peuvent être effectués en utilisant l'intégration, en utilisant diverses propriétés de la fonction gamma , mais cela nécessite beaucoup plus de travail.

Comme autre exemple, considérons une variable aléatoire à valeur réelle X avec une densité

indexée par le paramètre de forme (c'est ce qu'on appelle la distribution logistique asymétrique ). La densité peut être réécrite comme

Notez qu'il s'agit d'une famille exponentielle avec paramètre naturel

statistique suffisante

et fonction de partitionnement du journal

Donc, en utilisant la première identité,

et en utilisant la deuxième identité

Cet exemple illustre un cas où l’utilisation de cette méthode est très simple, mais le calcul direct serait presque impossible.

Le dernier exemple est celui où l'intégration serait extrêmement difficile. C'est le cas de la distribution de Wishart , qui est définie sur des matrices. Même prendre des dérivées est un peu délicat, car cela implique un calcul matriciel , mais les identités respectives sont répertoriées dans cet article.

À partir du tableau ci-dessus, nous pouvons voir que le paramètre naturel est donné par

les substitutions inverses sont

et les statistiques suffisantes sont

La fonction de partition logarithmique est écrite sous différentes formes dans le tableau, pour faciliter la différenciation et la substitution inverse. Nous utilisons les formes suivantes :

Espérance de X (associée à η ₁ )

Pour différencier par rapport à η ₁ , nous avons besoin de l' identité de calcul matriciel suivante :

Alors:

La dernière ligne utilise le fait que V est symétrique, et donc qu'il est le même lorsqu'il est transposé.

Espérance de log | X | (associé à η ₂ )

Maintenant, pour η ₂ , nous devons d’abord développer la partie de la fonction de partition logarithmique qui implique la fonction gamma multivariée :

Nous avons également besoin de la fonction digamma :

Alors:

Cette dernière formule est répertoriée dans l' article sur la distribution de Wishart . Ces deux attentes sont nécessaires pour dériver les équations de mise à jour variationnelles de Bayes dans un réseau de Bayes impliquant une distribution de Wishart (qui est la loi a priori conjuguée de la distribution normale multivariée ).

Le calcul de ces formules par intégration serait beaucoup plus difficile. La première, par exemple, nécessiterait une intégration matricielle.

L' entropie relative ( divergence de Kullback-Leibler , divergence de KL) de deux distributions dans une famille exponentielle a une expression simple comme la divergence de Bregman entre les paramètres naturels par rapport au log-normalisateur. L'entropie relative est définie en termes d'intégrale, tandis que la divergence de Bregman est définie en termes de dérivée et de produit scalaire, et est donc plus facile à calculer et a une expression sous forme fermée (en supposant que la dérivée a une expression sous forme fermée). De plus, la divergence de Bregman en termes de paramètres naturels et de log-normalisateur est égale à la divergence de Bregman des paramètres duaux (paramètres d'espérance), dans l'ordre inverse, pour la fonction conjuguée convexe .

En fixant une famille exponentielle avec log-normaliseur ⁠ ⁠ (avec conjugué convexe ⁠ ⁠ ), en écrivant pour la distribution dans cette famille correspondant à une valeur fixe du paramètre naturel ⁠ ⁠ (en écrivant ⁠ ⁠ pour une autre valeur, et avec ⁠ ⁠ pour les paramètres d'espérance/moment duaux correspondants), en écrivant KL pour la divergence KL, et ⁠ ⁠ pour la divergence de Bregman, les divergences sont liées comme :

La divergence KL s'écrit conventionnellement par rapport au premier paramètre, tandis que la divergence Bregman s'écrit conventionnellement par rapport au deuxième paramètre, et ainsi cela peut être lu comme « l'entropie relative est égale à la divergence Bregman définie par le log-normaliseur sur les paramètres naturels échangés », ou de manière équivalente comme « égale à la divergence Bregman définie par le dual du log-normaliseur sur les paramètres d'espérance ».

Les familles exponentielles apparaissent naturellement comme réponse à la question suivante : quelle est la distribution d’entropie maximale compatible avec des contraintes données sur les valeurs attendues ?

L' entropie d'information d'une distribution de probabilité dF ( x ) ne peut être calculée que par rapport à une autre distribution de probabilité (ou, plus généralement, à une mesure positive), et les deux mesures doivent être mutuellement absolument continues . Par conséquent, nous devons choisir une mesure de référence dH ( x ) ayant le même support que dF ( x ).

L'entropie de dF ( x ) par rapport à dH ( x ) est

ou

où dF / dH et dH / dF sont des dérivées de Radon-Nikodym . La définition ordinaire de l'entropie pour une distribution discrète supportée sur un ensemble I , à savoir

suppose , bien que cela soit rarement souligné, que dH est choisi comme mesure de comptage sur I .

Considérons maintenant un ensemble de quantités observables (variables aléatoires) T _i . La distribution de probabilité dF dont l'entropie par rapport à dH est la plus grande, sous réserve que l'espérance mathématique de T _i soit égale à t _i , est une famille exponentielle avec dH comme mesure de référence et ( T ₁ , ..., T _n ) comme statistique suffisante.

La dérivation est un calcul variationnel simple utilisant les multiplicateurs de Lagrange . La normalisation est imposée en laissant T ₀ = 1 comme l'une des contraintes. Les paramètres naturels de la distribution sont les multiplicateurs de Lagrange, et le facteur de normalisation est le multiplicateur de Lagrange associé à T ₀ .

Pour des exemples de telles dérivations, voir Distribution de probabilité d'entropie maximale .

Selon le théorème de Pitman - Koopman - Darmois , parmi les familles de distributions de probabilité dont le domaine ne varie pas avec le paramètre estimé, seules les familles exponentielles présentent une statistique suffisante dont la dimension reste bornée lorsque la taille de l'échantillon augmente.

En termes plus concis, supposons que X _k , (où k = 1, 2, 3, ... n ) sont des variables aléatoires indépendantes et identiquement distribuées. Ce n'est que si leur distribution fait partie de la famille des distributions exponentielles qu'il existe une statistique T ( X ₁ , ..., X _n ) suffisante dont le nombre de composantes scalaires n'augmente pas lorsque la taille de l'échantillon n augmente ; la statistique T peut être un vecteur ou un nombre scalaire unique , mais quelle qu'elle soit, sa taille ne va ni augmenter ni diminuer lorsque davantage de données sont obtenues.

À titre de contre-exemple, si ces conditions sont assouplies, la famille des distributions uniformes ( discrètes ou continues , avec une ou les deux limites inconnues) possède une statistique suffisante, à savoir le maximum de l'échantillon, le minimum de l'échantillon et la taille de l'échantillon, mais ne forme pas une famille exponentielle, car le domaine varie avec les paramètres.

Les familles exponentielles sont également importantes dans les statistiques bayésiennes . Dans les statistiques bayésiennes, une distribution a priori est multipliée par une fonction de vraisemblance , puis normalisée pour produire une distribution a posteriori . Dans le cas d'une vraisemblance qui appartient à une famille exponentielle, il existe une distribution a priori conjuguée , qui est souvent également dans une famille exponentielle. Une distribution a priori conjuguée π pour le paramètre d'une famille exponentielle

est donné par

ou de manière équivalente

où s est la dimension de et et sont des hyperparamètres (paramètres contrôlant les paramètres). correspond au nombre effectif d'observations que la distribution a priori contribue, et correspond au montant total que ces pseudo-observations contribuent à la statistique suffisante sur toutes les observations et pseudo-observations. est une constante de normalisation qui est automatiquement déterminée par les fonctions restantes et sert à garantir que la fonction donnée est une fonction de densité de probabilité (c'est-à-dire qu'elle est normalisée ). et de manière équivalente sont les mêmes fonctions que dans la définition de la distribution sur laquelle π est la distribution a priori conjuguée. $0\nu >0$0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/bb9a5b220856a9047b20d89d6c17f7724232f230">

Une loi a priori conjuguée est une loi qui, combinée à la vraisemblance et normalisée, produit une loi a posteriori du même type que la loi a priori. Par exemple, si l'on estime la probabilité de succès d'une loi binomiale, si l'on choisit d'utiliser une loi bêta comme loi a priori, la loi a posteriori est une autre loi bêta. Cela rend le calcul de la loi a posteriori particulièrement simple. De même, si l'on estime le paramètre d'une loi de Poisson, l'utilisation d'une loi a priori gamma conduira à une autre loi a posteriori gamma. Les lois a priori conjuguées sont souvent très flexibles et peuvent être très pratiques. Cependant, si la croyance sur la valeur probable du paramètre thêta d'une loi binomiale est représentée par (disons) une loi a priori bimodale (à deux bosses), alors elle ne peut pas être représentée par une loi bêta. Elle peut cependant être représentée en utilisant une densité de mélange comme loi a priori, ici une combinaison de deux distributions bêta ; c'est une forme d' hyperprior .

Une vraisemblance arbitraire n'appartiendra pas à une famille exponentielle, et donc en général il n'existe pas de prior conjugué. Le posterior devra alors être calculé par des méthodes numériques.

Pour montrer que la distribution a priori ci-dessus est une distribution a priori conjuguée, nous pouvons dériver la distribution a posteriori.

Tout d’abord, supposons que la probabilité d’une observation unique suive une famille exponentielle, paramétrée à l’aide de son paramètre naturel :

Ensuite, pour les données , la vraisemblance est calculée comme suit :

Alors, pour le conjugué a priori ci-dessus :

Nous pouvons alors calculer l'a posteriori comme suit :

La dernière ligne est le noyau de la distribution postérieure, c'est-à-dire

Cela montre que le postérieur a la même forme que le prieur.

Les données X entrent dans cette équation uniquement dans l'expression

qui est appelée la statistique suffisante des données. Autrement dit, la valeur de la statistique suffisante est suffisante pour déterminer complètement la distribution postérieure. Les points de données réels eux-mêmes ne sont pas nécessaires, et tous les ensembles de points de données avec la même statistique suffisante auront la même distribution. Ceci est important car la dimension de la statistique suffisante n'augmente pas avec la taille des données — elle n'a qu'autant de composants que les composants de (de manière équivalente, le nombre de paramètres de la distribution d'un seul point de données).

Les équations de mise à jour sont les suivantes :

Cela montre que les équations de mise à jour peuvent être écrites simplement en termes de nombre de points de données et de statistique suffisante des données. Cela peut être clairement vu dans les différents exemples d'équations de mise à jour présentés dans la page sur les priors conjugués . En raison de la manière dont la statistique suffisante est calculée, elle implique nécessairement des sommes de composants des données (dans certains cas déguisées en produits ou sous d'autres formes - un produit peut être écrit en termes de somme de logarithmes ). Les cas où les équations de mise à jour pour des distributions particulières ne correspondent pas exactement aux formes ci-dessus sont des cas où le prior conjugué a été exprimé en utilisant une paramétrisation différente de celle qui produit un prior conjugué de la forme ci-dessus - souvent spécifiquement parce que la forme ci-dessus est définie sur le paramètre naturel alors que les priors conjugués sont généralement définis sur le paramètre réel

Si la vraisemblance est une famille exponentielle, alors l'estimateur sans biais de est .

Une famille exponentielle à un paramètre possède un rapport de vraisemblance monotone et non décroissant dans la statistique suffisante T ( x ), à condition que η ( θ ) soit non décroissant. En conséquence, il existe un test uniformément le plus puissant pour tester l'hypothèse H ₀ : θ ≥ θ ₀ vs . H ₁ : θ < θ ₀ .

Les familles exponentielles constituent la base des fonctions de distribution utilisées dans les modèles linéaires généralisés (GLM), une classe de modèles qui englobe de nombreux modèles de régression couramment utilisés en statistique. On peut citer comme exemples la régression logistique utilisant la famille binomiale et la régression de Poisson .