Distribution de probabilité conjointe

Étant donné deux variables aléatoires définies sur le même espace de probabilité , la distribution de probabilité conjointe est la distribution de probabilité correspondante sur toutes les paires possibles de sorties. La distribution conjointe peut tout aussi bien être considérée pour un nombre donné de variables aléatoires. La distribution conjointe encode les distributions marginales , c'est-à-dire les distributions de chacune des variables aléatoires individuelles et les distributions de probabilité conditionnelles , qui traitent de la manière dont les sorties d'une variable aléatoire sont distribuées lorsque l'on dispose d'informations sur les sorties de l'autre ou des autres variables aléatoires.

Dans le cadre mathématique formel de la théorie de la mesure , la distribution conjointe est donnée par la mesure pushforward , par la carte obtenue en associant les variables aléatoires données, de la mesure de probabilité de l'espace échantillon .

Dans le cas de variables aléatoires à valeurs réelles, la distribution conjointe, en tant que distribution multivariée particulière , peut être exprimée par une fonction de distribution cumulative multivariée ou par une fonction de densité de probabilité multivariée associée à une fonction de masse de probabilité multivariée . Dans le cas particulier des variables aléatoires continues , il suffit de considérer des fonctions de densité de probabilité, et dans le cas des variables aléatoires discrètes , il suffit de considérer des fonctions de masse de probabilité.

Chacune des deux urnes contient deux fois plus de boules rouges que de boules bleues, et aucune autre, et une boule est tirée au hasard dans chaque urne, les deux tirages étant indépendants l'un de l'autre. Soit et des variables aléatoires discrètes associées aux résultats du tirage de la première urne et de la deuxième urne respectivement. La probabilité de tirer une boule rouge de l'une ou l'autre des urnes est de 2/3, et la probabilité de tirer une boule bleue est de 1/3. La distribution de probabilité conjointe est présentée dans le tableau suivant :

Chacune des quatre cellules intérieures indique la probabilité d'une combinaison particulière de résultats des deux tirages ; ces probabilités constituent la distribution conjointe. Dans une cellule donnée, la probabilité qu'une combinaison particulière se produise est (puisque les tirages sont indépendants) le produit de la probabilité du résultat spécifié pour A et de la probabilité du résultat spécifié pour B. Les probabilités dans ces quatre cellules s'additionnent à 1, comme pour toutes les distributions de probabilité.

De plus, la dernière ligne et la dernière colonne donnent respectivement la distribution de probabilité marginale pour A et la distribution de probabilité marginale pour B. Par exemple, pour A, la première de ces cellules donne la somme des probabilités pour que A soit rouge, quelle que soit la possibilité pour B dans la colonne au-dessus de la cellule, comme 2/3. Ainsi, la distribution de probabilité marginale pour donne les probabilités de sans condition sur , dans une marge du tableau.

Considérons le lancer de deux pièces de monnaie équitables ; soit et des variables aléatoires discrètes associées aux résultats des premier et deuxième lancers de pièces respectivement. Chaque lancer de pièce est un essai de Bernoulli et a une distribution de Bernoulli . Si une pièce donne « face », alors la variable aléatoire associée prend la valeur 1, et sinon elle prend la valeur 0. La probabilité de chacun de ces résultats est de 1/2, donc les fonctions de densité marginale (inconditionnelle) sont

La fonction de masse de probabilité conjointe de et définit les probabilités pour chaque paire de résultats. Tous les résultats possibles sont

Étant donné que chaque résultat est également probable, la fonction de masse de probabilité conjointe devient

Comme les lancers de pièces sont indépendants, la fonction de masse de probabilité conjointe est le produit des marginales :

Considérons le lancer d'un dé équitable et disons si le nombre est pair (c'est-à-dire 2, 4 ou 6) et sinon. De plus, disons si le nombre est premier (c'est-à-dire 2, 3 ou 5) et sinon.

Ensuite, la distribution conjointe de et , exprimée comme une fonction de masse de probabilité, est

Ces probabilités s’additionnent nécessairement à 1, puisque la probabilité qu’une combinaison de et se produise est de 1.

Si plusieurs variables aléatoires sont définies dans une expérience aléatoire, il est important de faire la distinction entre la distribution de probabilité conjointe de X et Y et la distribution de probabilité de chaque variable individuellement. La distribution de probabilité individuelle d'une variable aléatoire est appelée sa distribution de probabilité marginale. En général, la distribution de probabilité marginale de X peut être déterminée à partir de la distribution de probabilité conjointe de X et d'autres variables aléatoires.

Si la fonction de densité de probabilité conjointe des variables aléatoires X et Y est , la fonction de densité de probabilité marginale de X et Y, qui définit la distribution marginale , est donnée par :

où la première intégrale est sur tous les points dans la plage de (X, Y) pour lesquels X=x et la deuxième intégrale est sur tous les points dans la plage de (X, Y) pour lesquels Y=y.

Pour une paire de variables aléatoires , la fonction de distribution cumulative conjointe (CDF) est donnée par

où le côté droit représente la probabilité que la variable aléatoire prenne une valeur inférieure ou égale à et qu'elle prenne une valeur inférieure ou égale à .

Pour les variables aléatoires , la CDF conjointe est donnée par

L'interprétation des variables aléatoires comme un vecteur aléatoire donne une notation plus courte :

La fonction de masse de probabilité conjointe de deux variables aléatoires discrètes est :

ou écrit en termes de distributions conditionnelles

où est la probabilité de étant donné que .

La généralisation du cas précédent à deux variables est la distribution de probabilité conjointe de variables aléatoires discrètes qui est :

ou de manière équivalente

Cette identité est connue sous le nom de règle de probabilité en chaîne .

Comme il s’agit de probabilités, dans le cas à deux variables

qui se généralise pour les variables aléatoires discrètes à

La fonction de densité de probabilité conjointe pour deux variables aléatoires continues est définie comme la dérivée de la fonction de distribution cumulative conjointe (voir Eq.1 ) :

Cela équivaut à :

où et sont les distributions conditionnelles de donné et de donné respectivement, et et sont les distributions marginales pour et respectivement.

La définition s’étend naturellement à plus de deux variables aléatoires :

Encore une fois, puisqu'il s'agit de distributions de probabilité, on a

respectivement

La « densité mixte » peut être définie lorsqu'une ou plusieurs variables aléatoires sont continues et les autres variables aléatoires sont discrètes. Avec une variable de chaque type

Un exemple de situation dans laquelle on peut souhaiter trouver la distribution cumulative d'une variable aléatoire continue et d'une autre variable aléatoire discrète se présente lorsque l'on souhaite utiliser une régression logistique pour prédire la probabilité d'un résultat binaire Y conditionnel à la valeur d'un résultat distribué en continu . On doit utiliser la densité conjointe « mixte » pour trouver la distribution cumulative de ce résultat binaire car les variables d'entrée ont été initialement définies de telle manière qu'on ne pouvait pas lui attribuer collectivement une fonction de densité de probabilité ou une fonction de masse de probabilité. Formellement, est la fonction de densité de probabilité de par rapport à la mesure du produit sur les supports respectifs de et . L'une ou l'autre de ces deux décompositions peut alors être utilisée pour récupérer la fonction de distribution cumulative conjointe :

La définition se généralise à un mélange de nombres arbitraires de variables aléatoires discrètes et continues.

En général, deux variables aléatoires et sont indépendantes si et seulement si la fonction de distribution cumulative conjointe satisfait

Deux variables aléatoires discrètes et sont indépendantes si et seulement si la fonction de masse de probabilité conjointe satisfait

pour tous et .

À mesure que le nombre d’événements aléatoires indépendants augmente, la valeur de probabilité conjointe associée diminue rapidement jusqu’à zéro, selon une loi exponentielle négative.

De même, deux variables aléatoires absolument continues sont indépendantes si et seulement si

pour tous et . Cela signifie que l'acquisition d'une information sur la valeur d'une ou plusieurs variables aléatoires conduit à une distribution conditionnelle de toute autre variable qui est identique à sa distribution inconditionnelle (marginale) ; ainsi, aucune variable ne fournit d'information sur une autre variable.

Si un sous-ensemble des variables est conditionnellement dépendant d'un autre sous-ensemble de ces variables, alors la fonction de masse de probabilité de la distribution conjointe est . est égale à . Par conséquent, elle peut être efficacement représentée par les distributions de probabilité de dimension inférieure et . De telles relations d'indépendance conditionnelle peuvent être représentées par un réseau bayésien ou des fonctions copules .

Lorsque deux ou plusieurs variables aléatoires sont définies sur un espace de probabilité, il est utile de décrire comment elles varient ensemble ; c'est-à-dire qu'il est utile de mesurer la relation entre les variables. Une mesure courante de la relation entre deux variables aléatoires est la covariance. La covariance est une mesure de la relation linéaire entre les variables aléatoires. Si la relation entre les variables aléatoires n'est pas linéaire, la covariance peut ne pas être sensible à la relation, ce qui signifie qu'elle ne relie pas la corrélation entre deux variables.

La covariance entre la variable aléatoire X et Y, notée cov(X,Y), est :

Il existe une autre mesure de la relation entre deux variables aléatoires qui est souvent plus facile à interpréter que la covariance.

La corrélation met simplement à l'échelle la covariance par le produit de l'écart type de chaque variable. Par conséquent, la corrélation est une quantité sans dimension qui peut être utilisée pour comparer les relations linéaires entre des paires de variables dans différentes unités. Si les points de la distribution de probabilité conjointe de X et Y qui reçoivent une probabilité positive ont tendance à se situer le long d'une ligne de pente positive (ou négative), ρ _XY est proche de +1 (ou −1). Si ρ _XY est égal à +1 ou −1, on peut montrer que les points de la distribution de probabilité conjointe qui reçoivent une probabilité positive se situent exactement le long d'une ligne droite. Deux variables aléatoires avec une corrélation non nulle sont dites corrélées. Comme la covariance, la corrélation est une mesure de la relation linéaire entre les variables aléatoires.

La corrélation entre la variable aléatoire X et Y, notée

Les distributions conjointes nommées qui apparaissent fréquemment en statistique comprennent la distribution normale multivariée , la distribution stable multivariée , la distribution multinomiale , la distribution multinomiale négative , la distribution hypergéométrique multivariée et la distribution elliptique .