Moyenne et covariance de l'échantillon

La moyenne de l'échantillon ( sample average ) ou moyenne empirique ( empirique average ) et la covariance de l'échantillon ou covariance empirique sont des statistiques calculées à partir d'un échantillon de données sur une ou plusieurs variables aléatoires .

La moyenne de l'échantillon est la valeur moyenne (ou valeur moyenne ) d'un échantillon de nombres pris dans une population plus large de nombres, où la « population » n'indique pas le nombre de personnes mais l'intégralité des données pertinentes, qu'elles soient collectées ou non. Un échantillon des ventes de 40 entreprises du Fortune 500 peut être utilisé pour des raisons pratiques au lieu d'examiner la population, c'est-à-dire les ventes de l'ensemble des 500 entreprises. La moyenne de l'échantillon est utilisée comme estimateur de la moyenne de la population, la valeur moyenne de l'ensemble de la population, où l'estimation est plus susceptible d'être proche de la moyenne de la population si l'échantillon est grand et représentatif. La fiabilité de la moyenne de l'échantillon est estimée à l'aide de l' erreur type , qui est à son tour calculée à l'aide de la variance de l'échantillon. Si l'échantillon est aléatoire, l'erreur type diminue avec la taille de l'échantillon et la distribution de la moyenne de l'échantillon se rapproche de la distribution normale à mesure que la taille de l'échantillon augmente.

Le terme « moyenne d'échantillon » peut également être utilisé pour désigner un vecteur de valeurs moyennes lorsque le statisticien examine les valeurs de plusieurs variables de l'échantillon, par exemple les ventes, les bénéfices et les employés d'un échantillon de sociétés Fortune 500. Dans ce cas, il n'y a pas seulement une variance d'échantillon pour chaque variable, mais une matrice de variance-covariance d'échantillon (ou simplement matrice de covariance ) montrant également la relation entre chaque paire de variables. Il s'agirait d'une matrice 3×3 lorsque 3 variables sont prises en compte. La covariance d'échantillon est utile pour juger de la fiabilité des moyennes d'échantillon en tant qu'estimateurs et est également utile comme estimation de la matrice de covariance de la population.

En raison de leur facilité de calcul et d’autres caractéristiques souhaitables, la moyenne et la covariance de l’échantillon sont largement utilisées en statistique pour représenter l’ emplacement et la dispersion de la distribution des valeurs dans l’échantillon et pour estimer les valeurs de la population.

La moyenne de l'échantillon est la moyenne des valeurs d'une variable dans un échantillon, qui est la somme de ces valeurs divisée par le nombre de valeurs. En utilisant la notation mathématique, si un échantillon de N observations sur la variable X est prélevé dans la population, la moyenne de l'échantillon est :

Selon cette définition, si l'échantillon (1, 4, 1) est prélevé dans la population (1, 1, 3, 4, 0, 2, 1, 0), la moyenne de l'échantillon est , comparée à la moyenne de la population de . Même si un échantillon est aléatoire, il est rarement parfaitement représentatif, et d'autres échantillons auraient d'autres moyennes d'échantillon même s'ils provenaient tous de la même population. L'échantillon (2, 1, 0), par exemple, aurait une moyenne d'échantillon de 1.

Si le statisticien s'intéresse à K variables plutôt qu'à une seule, chaque observation ayant une valeur pour chacune de ces K variables, la moyenne globale de l'échantillon se compose de K moyennes d'échantillon pour les variables individuelles. Soit la i ^-ième observation tirée indépendamment ( i =1,..., N ) sur la j ^-ième variable aléatoire ( j =1,..., K ). Ces observations peuvent être organisées en N vecteurs colonnes, chacun avec K entrées, le vecteur colonne K ×1 donnant les i -ièmes observations de toutes les variables étant notées ( i =1,..., N ).

Le vecteur moyen d'échantillon est un vecteur colonne dont le j -ième élément est la valeur moyenne des N observations de la j ^-ième variable :

Ainsi, le vecteur de moyenne d'échantillon contient la moyenne des observations pour chaque variable et s'écrit

La matrice de covariance de l'échantillon est une matrice K par K avec des entrées

où est une estimation de la covariance entre la j ^-ième variable et la k ^-ième variable de la population sous-jacente aux données. En termes de vecteurs d'observation, la covariance de l'échantillon est

Alternativement, en organisant les vecteurs d’observation comme les colonnes d’une matrice, de sorte que

qui est une matrice de K lignes et N colonnes. Ici, la matrice de covariance de l'échantillon peut être calculée comme

où est un vecteur N x 1 de uns. Si les observations sont disposées en lignes au lieu de colonnes, alors est maintenant un vecteur de lignes 1× K et est une matrice N × K dont la colonne j est le vecteur de N observations sur la variable j , alors l'application des transpositions aux endroits appropriés donne

Comme les matrices de covariance pour les vecteurs aléatoires , les matrices de covariance des échantillons sont semi-définies positives . Pour le prouver, notez que pour toute matrice, la matrice est semi-définie positive. De plus, une matrice de covariance est définie positive si et seulement si le rang des vecteurs est K.

La moyenne de l'échantillon et la matrice de covariance de l'échantillon sont des estimations non biaisées de la moyenne et de la matrice de covariance du vecteur aléatoire , un vecteur ligne dont le j ^ème élément ( j = 1, ..., K ) est l'une des variables aléatoires. La matrice de covariance de l'échantillon a dans le dénominateur plutôt que en raison d'une variante de la correction de Bessel : En bref, la covariance de l'échantillon repose sur la différence entre chaque observation et la moyenne de l'échantillon, mais la moyenne de l'échantillon est légèrement corrélée à chaque observation puisqu'elle est définie en termes de toutes les observations. Si la moyenne de la population est connue, l'estimation non biaisée analogue

en utilisant la moyenne de la population, a comme dénominateur. C'est un exemple de la raison pour laquelle, en probabilités et en statistiques, il est essentiel de faire la distinction entre les variables aléatoires (lettres majuscules) et les réalisations des variables aléatoires (lettres minuscules).

L' estimation de la vraisemblance maximale de la covariance

pour le cas de la distribution gaussienne , N est également au dénominateur. Le rapport de 1/ N à 1/( N − 1) approche 1 pour un grand N , de sorte que l'estimation de vraisemblance maximale est approximativement égale à l'estimation non biaisée lorsque l'échantillon est grand.

Pour chaque variable aléatoire, la moyenne de l'échantillon est un bon estimateur de la moyenne de la population, un « bon » estimateur étant défini comme étant efficace et impartial. Bien entendu, l'estimateur ne sera probablement pas la vraie valeur de la moyenne de la population , car différents échantillons tirés de la même distribution donneront des moyennes d'échantillon différentes et donc des estimations différentes de la vraie moyenne. Ainsi, la moyenne de l'échantillon est une variable aléatoire , et non une constante, et possède par conséquent sa propre distribution. Pour un échantillon aléatoire de N observations sur la j ^-ième variable aléatoire, la distribution de la moyenne de l'échantillon elle-même a une moyenne égale à la moyenne de la population et une variance égale à , où est la variance de la population.

La moyenne arithmétique d'une population , ou moyenne de population, est souvent notée μ . La moyenne de l'échantillon (la moyenne arithmétique d'un échantillon de valeurs tirées de la population) constitue un bon estimateur de la moyenne de la population, car sa valeur attendue est égale à la moyenne de la population (c'est-à-dire qu'il s'agit d'un estimateur non biaisé ). La moyenne de l'échantillon est une variable aléatoire , et non une constante, car sa valeur calculée différera aléatoirement selon les membres de la population échantillonnés, et par conséquent elle aura sa propre distribution. Pour un échantillon aléatoire de n observations indépendantes , la valeur attendue de la moyenne de l'échantillon est

et la variance de la moyenne de l'échantillon est

Si les échantillons ne sont pas indépendants, mais corrélés , des précautions particulières doivent être prises afin d'éviter le problème de pseudo-réplication .

Si la population est distribuée normalement , alors la moyenne de l'échantillon est distribuée normalement comme suit :

Si la population n'est pas distribuée normalement, la moyenne de l'échantillon est néanmoins distribuée approximativement normalement si n est grand et σ ² / n < +∞. C'est une conséquence du théorème central limite .

Dans un échantillon pondéré, à chaque vecteur (chaque ensemble d'observations individuelles sur chacune des K variables aléatoires) est attribué un poids . Sans perte de généralité, supposons que les poids sont normalisés :

(Si ce n'est pas le cas, divisez les poids par leur somme). Le vecteur de moyenne pondérée est alors donné par

et les éléments de la matrice de covariance pondérée sont

Si tous les poids sont identiques, la moyenne pondérée et la covariance se réduisent à la moyenne de l’échantillon (biaisé) et à la covariance mentionnées ci-dessus.

La moyenne et la covariance de l'échantillon ne sont pas des statistiques robustes , ce qui signifie qu'elles sont sensibles aux valeurs aberrantes . La robustesse étant souvent une caractéristique souhaitée, en particulier dans les applications du monde réel, des alternatives robustes peuvent s'avérer souhaitables, notamment les statistiques basées sur les quantiles telles que la médiane de l'échantillon pour la localisation, et l'écart interquartile (IQR) pour la dispersion. D'autres alternatives incluent le découpage et la winsorisation , comme dans la moyenne découpée et la moyenne winsorisée .