Loi des grands nombres

En théorie des probabilités , la loi des grands nombres ( LLN ) est une loi mathématique qui stipule que la moyenne des résultats obtenus à partir d'un grand nombre d'échantillons aléatoires indépendants converge vers la vraie valeur, si elle existe. Plus formellement, la LLN stipule que, étant donné un échantillon de valeurs indépendantes et identiquement distribuées, la moyenne de l'échantillon converge vers la vraie moyenne .

La loi LLN est importante car elle garantit des résultats stables à long terme pour les moyennes de certains événements aléatoires . Par exemple, alors qu'un casino peut perdre de l'argent en un seul tour de roulette , ses gains tendront vers un pourcentage prévisible sur un grand nombre de tours. Toute séquence de victoires d'un joueur sera éventuellement surmontée par les paramètres du jeu. Il est important de noter que la loi s'applique (comme son nom l'indique) uniquement lorsqu'un grand nombre d'observations sont prises en compte. Il n'existe aucun principe selon lequel un petit nombre d'observations coïncidera avec la valeur attendue ou qu'une séquence d'une valeur sera immédiatement « équilibrée » par les autres (voir l' erreur du joueur ).

La LLN s'applique uniquement à la moyenne des résultats obtenus à partir d'essais répétés et affirme que cette moyenne converge vers la valeur attendue ; elle ne prétend pas que la somme de n résultats se rapproche de la valeur attendue multipliée par n lorsque n augmente.

Tout au long de son histoire, de nombreux mathématiciens ont affiné cette loi. Aujourd'hui, la LLN est utilisée dans de nombreux domaines, notamment les statistiques, la théorie des probabilités, l'économie et les assurances.

Exemples

Par exemple, un seul lancer d'un dé à six faces donne l'un des nombres 1, 2, 3, 4, 5 ou 6, chacun avec une probabilité égale . Par conséquent, la valeur attendue de la moyenne des lancers est :

${\displaystyle {\frac {1+2+3+4+5+6}{6}}=3.5 <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <mn>1</mn> <mo>+</mo> <mn>2</mn> <mo>+</mo> <mn>3</mn> <mo>+</mo> <mn>4</mn> <mo>+</mo> <mn>5</mn> <mo>+</mo> <mn>6</mn> </mrow> <mn>6</mn> </mfrac> </mrow> <mo>=</mo> <mn>3.5</mn> </mstyle> </mrow> <annotation>{\displaystyle {\frac {1+2+3+4+5+6}{6}}=3.5}</annotation> </semantics> </math><img src=$

Selon la loi des grands nombres, si un grand nombre de dés à six faces sont lancés, la moyenne de leurs valeurs (parfois appelée moyenne de l'échantillon ) approchera 3,5, la précision augmentant à mesure que davantage de dés sont lancés.

Il résulte de la loi des grands nombres que la probabilité empirique de succès dans une série d' essais de Bernoulli converge vers la probabilité théorique. Pour une variable aléatoire de Bernoulli , l'espérance mathématique est la probabilité théorique de succès, et la moyenne de n de ces variables (en supposant qu'elles soient indépendantes et identiquement distribuées (iid) ) est précisément la fréquence relative.

Par exemple, un tirage au sort équitable est un essai de Bernoulli. Lorsqu'une pièce est lancée une fois, la probabilité théorique que le résultat soit pile est égale à 1/2 . Par conséquent, selon la loi des grands nombres, la proportion de faces dans un « grand » nombre de lancers de pièces « devrait être » d'environ 1/2 . En particulier , la proportion de faces après n lancers convergera presque sûrement vers 1/2 lorsque n approchera l'infini.

Bien que la proportion de pile et de face soit proche de 1/2 , il est presque certain que la différence absolue entre le nombre de pile et de face augmentera à mesure que le nombre de lancers augmentera. Autrement dit, la probabilité que la différence absolue soit un petit nombre se rapproche de zéro à mesure que le nombre de lancers augmente. De plus, il est presque certain que le rapport entre la différence absolue et le nombre de lancers se rapprochera de zéro. Intuitivement, la différence attendue augmente, mais à un rythme plus lent que le nombre de lancers.

Un autre bon exemple de LLN est la méthode de Monte Carlo . Ces méthodes constituent une vaste classe d' algorithmes de calcul qui s'appuient sur un échantillonnage aléatoire répété pour obtenir des résultats numériques. Plus le nombre de répétitions est élevé, meilleure est l'approximation. La raison pour laquelle cette méthode est importante est principalement qu'il est parfois difficile, voire impossible, d'utiliser d'autres approches.

Limitation

La moyenne des résultats obtenus à partir d'un grand nombre d'essais peut ne pas converger dans certains cas. Par exemple, la moyenne de n résultats tirés de la distribution de Cauchy ou de certaines distributions de Pareto (α<1) ne convergera pas lorsque n devient plus grand ; la raison en est les queues lourdes . La distribution de Cauchy et la distribution de Pareto représentent deux cas : la distribution de Cauchy n'a pas d'espérance, alors que l'espérance de la distribution de Pareto ( α <1) est infinie. Une façon de générer l'exemple de distribution de Cauchy est lorsque les nombres aléatoires sont égaux à la tangente d'un angle uniformément distribué entre −90° et +90°. La médiane est nulle, mais la valeur attendue n'existe pas, et en effet la moyenne de n de ces variables a la même distribution qu'une de ces variables. Elle ne converge pas en probabilité vers zéro (ou toute autre valeur) lorsque n tend vers l'infini.

Et si les essais comportent un biais de sélection , typique du comportement économique et rationnel humain, la loi des grands nombres n'aide pas à résoudre ce biais. Même si le nombre d'essais augmente, le biais de sélection demeure.

Histoire

La diffusion est un exemple de la loi des grands nombres. Au départ, il y a des molécules de soluté sur le côté gauche d'une barrière (ligne magenta) et aucune sur le côté droit. La barrière est supprimée et le soluté diffuse pour remplir tout le récipient.

Le mathématicien italien Gerolamo Cardano (1501–1576) a déclaré sans preuve que la précision des statistiques empiriques tend à s'améliorer avec le nombre d'essais. Cela a ensuite été formalisé comme une loi des grands nombres. Une forme spéciale de la LLN (pour une variable aléatoire binaire) a été prouvée pour la première fois par Jacob Bernoulli . Il lui a fallu plus de 20 ans pour développer une preuve mathématique suffisamment rigoureuse qui a été publiée dans son Ars Conjectandi ( L'art de conjecturer ) en 1713. Il l'a appelé son « théorème d'or » mais il est devenu généralement connu sous le nom de « théorème de Bernoulli ». Il ne faut pas le confondre avec le principe de Bernoulli , nommé d'après le neveu de Jacob Bernoulli, Daniel Bernoulli . En 1837, SD Poisson l'a décrit plus en détail sous le nom de « loi des grands nombres ». Par la suite, elle fut connue sous les deux noms, mais la « loi des grands nombres » est la plus fréquemment utilisée.

Après que Bernoulli et Poisson ont publié leurs travaux, d'autres mathématiciens ont également contribué à affiner la loi, notamment Chebyshev , Markov , Borel , Cantelli , Kolmogorov et Khinchin . Markov a montré que la loi peut s'appliquer à une variable aléatoire qui n'a pas de variance finie sous une autre hypothèse plus faible, et Khinchin a montré en 1929 que si la série se compose de variables aléatoires indépendantes identiquement distribuées, il suffit que la valeur attendue existe pour que la loi faible des grands nombres soit vraie. Ces études ultérieures ont donné lieu à deux formes importantes de la loi LLN. L'une est appelée la loi « faible » et l'autre la loi « forte », en référence à deux modes différents de convergence des moyennes cumulatives de l'échantillon vers la valeur attendue ; en particulier, comme expliqué ci-dessous, la forme forte implique la faible.

Formulaires

Il existe deux versions différentes de la loi des grands nombres qui sont décrites ci-dessous. Elles sont appelées la loi forte des grands nombres et la loi faible des grands nombres . Énoncées pour le cas où X ₁ , X ₂ , ... est une suite infinie de variables aléatoires indépendantes et identiquement distribuées (iid) intégrables de Lebesgue avec une valeur attendue E( X ₁ ) = E( X ₂ ) = ... = μ , les deux versions de la loi stipulent que la moyenne de l'échantillon

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n}) <semantics> <mrow> <mstyle> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mrow> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> </mrow> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>+</mo> <mo>⋯</mo> <mo>+</mo> <msub> <mi>X</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}</annotation> </semantics> </math><img src=$

converge vers la valeur attendue :

(L'intégrabilité de Lebesgue de X _j signifie que la valeur espérée E( X _j ) existe selon l'intégration de Lebesgue et est finie. Cela ne signifie pas que la mesure de probabilité associée est absolument continue par rapport à la mesure de Lebesgue .)

Les textes d'introduction aux probabilités supposent souvent en outre une variance finie identique (pour tous les ) et aucune corrélation entre les variables aléatoires. Dans ce cas, la variance de la moyenne de n variables aléatoires est ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2 <semantics> <mrow> <mstyle> <mi>Var</mi> <mo>⁡</mo> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}}</annotation> </semantics> </math><img src=$ ${\displaystyle i <semantics> <mrow> <mstyle> <mi>i</mi> </mstyle> </mrow> <annotation>{\displaystyle i}</annotation> </semantics> </math><img src=$

${\displaystyle \operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({ frac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}. <semantics> <mrow> <mstyle> <mi>Var</mi> <mo>⁡</mo> <mo>(</mo> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <mi>Var</mi> <mo>⁡</mo> <mo>(</mo> <mrow> <mstyle> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> </mstyle> </mrow> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>+</mo> <mo>⋯</mo> <mo>+</mo> <msub> <mi>X</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mn>1</mn> <msup> <mi>n</mi> <mrow> <mn>2</mn> </mrow> </msup> </mfrac> </mrow> <mi>Var</mi> <mo>⁡</mo> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>+</mo> <mo>⋯</mo> <mo>+</mo> <msub> <mi>X</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <mrow> <mfrac> <mrow> <mi>n</mi> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> <msup> <mi>n</mi> <mrow> <mn>2</mn> </mrow> </msup> </mfrac> </mrow> <mo>=</mo> <mrow> <mfrac> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mi>n</mi> </mfrac> </mrow> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({ frac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.}</annotation> </semantics> </math><img src=$

qui peut être utilisé pour raccourcir et simplifier les preuves. Cette hypothèse de variance finie n'est pas nécessaire . Une variance importante ou infinie ralentira la convergence, mais le LLN est valable de toute façon.

L'indépendance mutuelle des variables aléatoires peut être remplacée par l'indépendance par paires ou l'interchangeabilité dans les deux versions de la loi.

La différence entre la version forte et la version faible concerne le mode de convergence affirmé. Pour l'interprétation de ces modes, voir Convergence des variables aléatoires .

Loi faible

Simulation illustrant la loi des grands nombres. A chaque image, une pièce de monnaie rouge d'un côté et bleue de l'autre est lancée et un point est ajouté dans la colonne correspondante. Un graphique à secteurs montre la proportion de rouge et de bleu jusqu'à présent. Notez que si la proportion varie considérablement au début, elle se rapproche de 50 % à mesure que le nombre d'essais augmente.

La loi faible des grands nombres (également appelée loi de Khinchin ) stipule que, étant donné une collection d'échantillons indépendants et identiquement distribués (iid) d'une variable aléatoire de moyenne finie, la moyenne de l'échantillon converge en probabilité vers la valeur attendue

C'est-à-dire, pour tout nombre positif ε ,

${\displaystyle \lim _{n o \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |<\varepsilon \, ight)=1. <semantics> <mrow> <mstyle> <munder> <mo>lim</mo> <mrow> <mi>n</mi> <mo>→</mo> <mi>∞</mi> </mrow> </munder> <mo>Pr</mo> <mspace></mspace> <mrow> <mo>(</mo> <mrow> <mspace></mspace> <mrow> <mo>|</mo> </mrow> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>−</mo> <mi>μ</mi> <mrow> <mo>|</mo> </mrow> <mo><</mo> <mi>ε</mi> <mspace></mspace> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>1.</mn> </mstyle> </mrow> <annotation>{\displaystyle \lim _{n o \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |<\varepsilon \, ight)=1.}</annotation> </semantics> </math><img src=$

En interprétant ce résultat, la loi faible stipule que pour toute marge non nulle spécifiée ( ε ), aussi petite soit-elle, avec un échantillon suffisamment grand, il y aura une très forte probabilité que la moyenne des observations soit proche de la valeur attendue ; c'est-à-dire dans la marge.

Comme mentionné précédemment, la loi faible s'applique dans le cas des variables aléatoires iid, mais elle s'applique également dans d'autres cas. Par exemple, la variance peut être différente pour chaque variable aléatoire de la série, en gardant la valeur attendue constante. Si les variances sont bornées, alors la loi s'applique, comme l'a montré Chebyshev dès 1867. (Si les valeurs attendues changent au cours de la série, alors nous pouvons simplement appliquer la loi à l'écart moyen par rapport aux valeurs attendues respectives. La loi stipule alors que cela converge en probabilité vers zéro.) En fait, la preuve de Chebyshev fonctionne tant que la variance de la moyenne des n premières valeurs tend vers zéro lorsque n tend vers l'infini. À titre d'exemple, supposons que chaque variable aléatoire de la série suive une distribution gaussienne (distribution normale) avec une moyenne nulle, mais une variance égale à , qui n'est pas bornée. À chaque étape, la moyenne sera distribuée normalement (comme la moyenne d'un ensemble de variables distribuées normalement). La variance de la somme est égale à la somme des variances, qui est asymptotique à . La variance de la moyenne est donc asymptotique à et tend vers zéro. ${\displaystyle 2n/\log(n+1) <semantics> <mrow> <mstyle> <mn>2</mn> <mi>n</mi> <mrow> <mo>/</mo> </mrow> <mi>log</mi> <mo>⁡</mo> <mo>(</mo> <mi>n</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle 2n/\log(n+1)}</annotation> </semantics> </math><img src=$ ${\displaystyle n^{2}/\log n <semantics> <mrow> <mstyle> <msup> <mi>n</mi> <mrow> <mn>2</mn> </mrow> </msup> <mrow> <mo>/</mo> </mrow> <mi>log</mi> <mo>⁡</mo> <mi>n</mi> </mstyle> </mrow> <annotation>{\displaystyle n^{2}/\log n}</annotation> </semantics> </math><img src=$ ${\displaystyle 1/\log n <semantics> <mrow> <mstyle> <mn>1</mn> <mrow> <mo>/</mo> </mrow> <mi>log</mi> <mo>⁡</mo> <mi>n</mi> </mstyle> </mrow> <annotation>{\displaystyle 1/\log n}</annotation> </semantics> </math><img src=$

Il existe également des exemples où la loi faible s’applique même si la valeur espérée n’existe pas.

Une loi forte

La loi forte des grands nombres (également appelée loi de Kolmogorov ) stipule que la moyenne de l'échantillon converge presque sûrement vers la valeur attendue

C'est,

${\displaystyle \Pr \!\left(\lim _{n o \infty }{\overline {X}}_{n}=\mu ight)=1. <semantics> <mrow> <mstyle> <mo>Pr</mo> <mspace></mspace> <mrow> <mo>(</mo> <mrow> <munder> <mo>lim</mo> <mrow> <mi>n</mi> <mo>→</mo> <mi>∞</mi> </mrow> </munder> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mi>μ</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>1.</mn> </mstyle> </mrow> <annotation>{\displaystyle \Pr \!\left(\lim _{n o \infty }{\overline {X}}_{n}=\mu ight)=1.}</annotation> </semantics> </math><img src=$

Cela signifie que la probabilité que, lorsque le nombre d'essais n tend vers l'infini, la moyenne des observations converge vers la valeur attendue est égale à 1. La preuve moderne de la loi forte est plus complexe que celle de la loi faible et repose sur le passage à une sous-suite appropriée.

La loi forte des grands nombres peut elle-même être considérée comme un cas particulier du théorème ergodique ponctuel . Ce point de vue justifie l'interprétation intuitive de la valeur espérée (pour l'intégration de Lebesgue uniquement) d'une variable aléatoire lorsqu'elle est échantillonnée de manière répétée comme la « moyenne à long terme ».

La loi 3 est appelée loi forte car les variables aléatoires qui convergent fortement (presque sûrement) sont garanties de converger faiblement (en probabilité). Cependant, on sait que la loi faible est valable dans certaines conditions où la loi forte ne l'est pas et la convergence n'est alors que faible (en probabilité). Voir les différences entre la loi faible et la loi forte.

La loi forte s'applique aux variables aléatoires indépendantes identiquement distribuées ayant une valeur espérée (comme la loi faible). Cela a été prouvé par Kolmogorov en 1930. Cela peut également s'appliquer dans d'autres cas. Kolmogorov a également montré, en 1933, que si les variables sont indépendantes et identiquement distribuées, alors pour que la moyenne converge presque sûrement vers quelque chose (ce qui peut être considéré comme un autre énoncé de la loi forte), il est nécessaire qu'elles aient une valeur espérée (et alors bien sûr la moyenne convergera presque sûrement vers cela).

Si les termes sont indépendants mais pas identiquement distribués, alors

à condition que chaque X _k ait un second moment fini et

${\displaystyle \sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} [X_{k}]<\infty . <semantics> <mrow> <mstyle> <munderover> <mo>∑</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>∞</mi> </mrow> </munderover> <mrow> <mfrac> <mn>1</mn> <msup> <mi>k</mi> <mrow> <mn>2</mn> </mrow> </msup> </mfrac> </mrow> <mi>Var</mi> <mo>⁡</mo> <mo>[</mo> <msub> <mi>X</mi> <mrow> <mi>k</mi> </mrow> </msub> <mo>]</mo> <mo><</mo> <mi>∞</mi> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle \sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} [X_{k}]<\infty .}</annotation> </semantics> </math><img src=$

Cette affirmation est connue sous le nom de loi forte de Kolmogorov , voir par exemple Sen & Singer (1993, théorème 2.3.10).

Différences entre la loi faible et la loi forte

La loi faible stipule que pour un grand nombre n spécifié , la moyenne est susceptible d'être proche de μ . Ainsi, elle laisse ouverte la possibilité que cela se produise un nombre infini de fois, bien qu'à des intervalles peu fréquents. (Pas nécessairement pour tous les n ). ${\displaystyle {\overline {X}}_{n <semantics> <mrow> <mstyle> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle {\overline {X}}_{n}}</annotation> </semantics> </math><img src=$ $\varepsilon | {\bar{X}}_{n} - μ | > ε$ \varepsilon }" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/87264fcd956c78c10dfd2961aacdb7d876ec7a2f"> ${\displaystyle |{\overline {X}}_{n}-\mu | eq 0 <semantics> <mrow> <mstyle> <mrow> <mo>|</mo> </mrow> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>−</mo> <mi>μ</mi> <mrow> <mo>|</mo> </mrow> <mo>≠</mo> <mn>0</mn> </mstyle> </mrow> <annotation>{\displaystyle |{\overline {X}}_{n}-\mu | eq 0}</annotation> </semantics> </math><img src=$

La loi forte montre que cela ne se produira presque certainement pas. Cela n'implique pas qu'avec une probabilité de 1, nous ayons que pour tout ε > 0 l'inégalité soit vraie pour tout n suffisamment grand , puisque la convergence n'est pas nécessairement uniforme sur l'ensemble où elle est vraie. ${\displaystyle |{\overline {X}}_{n}-\mu |<\varepsilon <semantics> <mrow> <mstyle> <mrow> <mo>|</mo> </mrow> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>−</mo> <mi>μ</mi> <mrow> <mo>|</mo> </mrow> <mo><</mo> <mi>ε</mi> </mstyle> </mrow> <annotation>{\displaystyle |{\overline {X}}_{n}-\mu |<\varepsilon }</annotation> </semantics> </math><img src=$

La loi forte ne s'applique pas dans les cas suivants, mais la loi faible oui.

Soit X une variable aléatoire distribuée exponentiellement avec un paramètre 1. La variable aléatoire n'a pas d'espérance mathématique selon l'intégration de Lebesgue, mais en utilisant la convergence conditionnelle et en interprétant l'intégrale comme une intégrale de Dirichlet , qui est une intégrale de Riemann impropre , nous pouvons dire : ${\displaystyle \sin(X)e^{X}X^{-1 <semantics> <mrow> <mstyle> <mi>sin</mi> <mo>⁡</mo> <mo>(</mo> <mi>X</mi> <mo>)</mo> <msup> <mi>e</mi> <mrow> <mi>X</mi> </mrow> </msup> <msup> <mi>X</mi> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle \sin(X)e^{X}X^{-1}}</annotation> </semantics> </math><img src=$ ${\displaystyle E\left({\frac {\sin(X)e^{X}}{X}} ight)=\ \int _{x=0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2 <semantics> <mrow> <mstyle> <mi>E</mi> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <mi>sin</mi> <mo>⁡</mo> <mo>(</mo> <mi>X</mi> <mo>)</mo> <msup> <mi>e</mi> <mrow> <mi>X</mi> </mrow> </msup> </mrow> <mi>X</mi> </mfrac> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mtext> </mtext> <msubsup> <mo>∫</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>∞</mi> </mrow> </msubsup> <mrow> <mfrac> <mrow> <mi>sin</mi> <mo>⁡</mo> <mo>(</mo> <mi>x</mi> <mo>)</mo> <msup> <mi>e</mi> <mrow> <mi>x</mi> </mrow> </msup> </mrow> <mi>x</mi> </mfrac> </mrow> <msup> <mi>e</mi> <mrow> <mo>−</mo> <mi>x</mi> </mrow> </msup> <mi>d</mi> <mi>x</mi> <mo>=</mo> <mrow> <mfrac> <mi>π</mi> <mn>2</mn> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle E\left({\frac {\sin(X)e^{X}}{X}} ight)=\ \int _{x=0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}}</annotation> </semantics> </math><img src=$
Soit X une variable aléatoire distribuée géométriquement avec une probabilité de 0,5. La variable aléatoire n'a pas d'espérance mathématique au sens conventionnel du terme car la série infinie n'est pas absolument convergente, mais en utilisant la convergence conditionnelle, on peut dire : ${\displaystyle 2^{X}(-1)^{X}X^{-1 <semantics> <mrow> <mstyle> <msup> <mn>2</mn> <mrow> <mi>X</mi> </mrow> </msup> <mo>(</mo> <mo>−</mo> <mn>1</mn> <msup> <mo>)</mo> <mrow> <mi>X</mi> </mrow> </msup> <msup> <mi>X</mi> <mrow> <mo>−</mo> <mn>1</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle 2^{X}(-1)^{X}X^{-1}}</annotation> </semantics> </math><img src=$ ${\displaystyle E\left({\frac {2^{X}(-1)^{X}}{X}} ight)=\ \sum _{x=1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2) <semantics> <mrow> <mstyle> <mi>E</mi> <mrow> <mo>(</mo> <mrow> <mfrac> <mrow> <msup> <mn>2</mn> <mrow> <mi>X</mi> </mrow> </msup> <mo>(</mo> <mo>−</mo> <mn>1</mn> <msup> <mo>)</mo> <mrow> <mi>X</mi> </mrow> </msup> </mrow> <mi>X</mi> </mfrac> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mtext> </mtext> <munderover> <mo>∑</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>∞</mi> </mrow> </munderover> <mrow> <mfrac> <mrow> <msup> <mn>2</mn> <mrow> <mi>x</mi> </mrow> </msup> <mo>(</mo> <mo>−</mo> <mn>1</mn> <msup> <mo>)</mo> <mrow> <mi>x</mi> </mrow> </msup> </mrow> <mi>x</mi> </mfrac> </mrow> <msup> <mn>2</mn> <mrow> <mo>−</mo> <mi>x</mi> </mrow> </msup> <mo>=</mo> <mo>−</mo> <mi>ln</mi> <mo>⁡</mo> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle E\left({\frac {2^{X}(-1)^{X}}{X}} ight)=\ \sum _{x=1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)}</annotation> </semantics> </math><img src=$
Si la fonction de distribution cumulative d'une variable aléatoire est alors elle n'a pas de valeur attendue, mais la loi faible est vraie. ${\displaystyle {\begin{cases}1-F(x)&={\frac {e}{2x\ln(x)}},&x\geq e\\F(x)&={\frac {e}{-2x\ln(-x)}},&x\leq -e\end{cases <semantics> <mrow> <mstyle> <mrow> <mrow> <mo>{</mo> <mtable> <mtr> <mtd> <mn>1</mn> <mo>−</mo> <mi>F</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mtd> <mtd> <mo>=</mo> <mrow> <mfrac> <mi>e</mi> <mrow> <mn>2</mn> <mi>x</mi> <mi>ln</mi> <mo>⁡</mo> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mfrac> </mrow> <mo>,</mo> </mtd> <mtd> <mi>x</mi> <mo>≥</mo> <mi>e</mi> </mtd> </mtr> <mtr> <mtd> <mi>F</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mtd> <mtd> <mo>=</mo> <mrow> <mfrac> <mi>e</mi> <mrow> <mo>−</mo> <mn>2</mn> <mi>x</mi> <mi>ln</mi> <mo>⁡</mo> <mo>(</mo> <mo>−</mo> <mi>x</mi> <mo>)</mo> </mrow> </mfrac> </mrow> <mo>,</mo> </mtd> <mtd> <mi>x</mi> <mo>≤</mo> <mo>−</mo> <mi>e</mi> </mtd> </mtr> </mtable> <mo></mo> </mrow> </mrow> </mstyle> </mrow> <annotation>{\displaystyle {\begin{cases}1-F(x)&={\frac {e}{2x\ln(x)}},&x\geq e\\F(x)&={\frac {e}{-2x\ln(-x)}},&x\leq -e\end{cases}}}</annotation> </semantics> </math><img src=$
Soit X _k plus ou moins (en commençant par k suffisamment grand pour que le dénominateur soit positif) avec une probabilité de 1 ⁄ 2 pour chacun. La variance de X _k est alors la loi forte de Kolmogorov ne s'applique pas car la somme partielle dans son critère jusqu'à k = n est asymptotique à et celle-ci n'est pas bornée. Si nous remplaçons les variables aléatoires par des variables gaussiennes ayant les mêmes variances, à savoir , alors la moyenne en tout point sera également distribuée normalement. La largeur de la distribution de la moyenne tendra vers zéro (écart type asymptotique à ), mais pour un ε donné , il existe une probabilité qui ne va pas vers zéro avec n , tandis que la moyenne quelque temps après le n ème essai reviendra à ε . Puisque la largeur de la distribution de la moyenne n'est pas nulle, elle doit avoir une borne inférieure positive p ( ε ), ce qui signifie qu'il existe une probabilité d'au moins p ( ε ) que la moyenne atteigne ε après n essais. Cela se produira avec une probabilité p ( ε )/2 avant un certain m qui dépend de n . Mais même après m , il existe toujours une probabilité d'au moins p ( ε ) que cela se produise. (Cela semble indiquer que p ( ε )=1 et que la moyenne atteindra ε un nombre infini de fois.) ${ extstyle {\sqrt {k/\log \log \log k <semantics> <mrow> <mstyle> <mrow> <msqrt> <mi>k</mi> <mrow> <mo>/</mo> </mrow> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>k</mi> </msqrt> </mrow> </mstyle> </mrow> <annotation>{ extstyle {\sqrt {k/\log \log \log k}}}</annotation> </semantics> </math><img src=$ ${\displaystyle k/\log \log \log k. <semantics> <mrow> <mstyle> <mi>k</mi> <mrow> <mo>/</mo> </mrow> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>k</mi> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle k/\log \log \log k.}</annotation> </semantics> </math><img src=$ ${\displaystyle \log n/\log \log \log n <semantics> <mrow> <mstyle> <mi>log</mi> <mo>⁡</mo> <mi>n</mi> <mrow> <mo>/</mo> </mrow> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>n</mi> </mstyle> </mrow> <annotation>{\displaystyle \log n/\log \log \log n}</annotation> </semantics> </math><img src=$ ${ extstyle {\sqrt {k/\log \log \log k <semantics> <mrow> <mstyle> <mrow> <msqrt> <mi>k</mi> <mrow> <mo>/</mo> </mrow> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>k</mi> </msqrt> </mrow> </mstyle> </mrow> <annotation>{ extstyle {\sqrt {k/\log \log \log k}}}</annotation> </semantics> </math><img src=$ ${ extstyle 1/{\sqrt {2\log \log \log n <semantics> <mrow> <mstyle> <mn>1</mn> <mrow> <mo>/</mo> </mrow> <mrow> <msqrt> <mn>2</mn> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>log</mi> <mo>⁡</mo> <mi>n</mi> </msqrt> </mrow> </mstyle> </mrow> <annotation>{ extstyle 1/{\sqrt {2\log \log \log n}}}</annotation> </semantics> </math><img src=$

Lois uniformes des grands nombres

Il existe des extensions de la loi des grands nombres à des collections d'estimateurs, où la convergence est uniforme sur l'ensemble ; d'où le nom de loi uniforme des grands nombres .

Supposons que f ( x , θ ) soit une fonction définie pour θ ∈ Θ, et continue dans θ . Alors pour tout θ fixé , la séquence { f ( X ₁ , θ ), f ( X ₂ , θ ), ...} sera une séquence de variables aléatoires indépendantes et identiquement distribuées, telle que la moyenne de l'échantillon de cette séquence converge en probabilité vers E[ f ( X , θ )]. C'est la convergence ponctuelle (dans θ ).

Un exemple particulier de loi uniforme des grands nombres énonce les conditions dans lesquelles la convergence se produit uniformément dans θ . Si

Θ est compact,
f ( x , θ ) est continue à chaque θ ∈ Θ pour presque tous les x, et une fonction mesurable de x à chaque θ .
il existe une fonction dominante d ( x ) telle que E[ d ( X )] < ∞, et ${\displaystyle \left\|f(x, heta ) ight\|\leq d(x)\quad { ext{for all}}\ heta \in \Theta . <semantics> <mrow> <mstyle> <mrow> <mo>‖</mo> <mrow> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>θ</mi> <mo>)</mo> </mrow> <mo>‖</mo> </mrow> <mo>≤</mo> <mi>d</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mspace></mspace> <mrow> <mtext>for all</mtext> </mrow> <mtext> </mtext> <mi>θ</mi> <mo>∈</mo> <mi>Θ</mi> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle \left\|f(x, heta ) ight\|\leq d(x)\quad { ext{for all}}\ heta \in \Theta .}</annotation> </semantics> </math><img src=$

Alors E[ f ( X , θ )] est continue dans θ , et

${\displaystyle \sup _{ heta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i}, heta )-\operatorname {E} [f(X, heta )] ight\|{\overset {\mathrm {P} }{ ightarrow }}\ 0. <semantics> <mrow> <mstyle> <munder> <mo>sup</mo> <mrow> <mi>θ</mi> <mo>∈</mo> <mi>Θ</mi> </mrow> </munder> <mrow> <mo>‖</mo> <mrow> <mrow> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> </mrow> <munderover> <mo>∑</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>n</mi> </mrow> </munderover> <mi>f</mi> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>,</mo> <mi>θ</mi> <mo>)</mo> <mo>−</mo> <mi>E</mi> <mo>⁡</mo> <mo>[</mo> <mi>f</mi> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>θ</mi> <mo>)</mo> <mo>]</mo> </mrow> <mo>‖</mo> </mrow> <mrow> <mover> <mo>→</mo> <mrow> <mi>P</mi> </mrow> </mover> </mrow> <mtext> </mtext> <mn>0.</mn> </mstyle> </mrow> <annotation>{\displaystyle \sup _{ heta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i}, heta )-\operatorname {E} [f(X, heta )] ight\|{\overset {\mathrm {P} }{ ightarrow }}\ 0.}</annotation> </semantics> </math><img src=$

Ce résultat est utile pour dériver la cohérence d'une grande classe d'estimateurs (voir Estimateur extremum ).

La loi des grands nombres de Borel

La loi des grands nombres de Borel , du nom d' Émile Borel , stipule que si une expérience est répétée un grand nombre de fois, indépendamment dans des conditions identiques, alors la proportion de fois où un événement spécifié est censé se produire est approximativement égale à la probabilité de l'occurrence de l'événement lors d'un essai particulier ; plus le nombre de répétitions est grand, meilleure est l'approximation. Plus précisément, si E désigne l'événement en question, p sa probabilité d'occurrence et N _n ( E ) le nombre de fois que E se produit dans les n premiers essais, alors avec une probabilité de un, ${\displaystyle {\frac {N_{n}(E)}{n}} o p{ ext{ as }}n o \infty . <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <msub> <mi>N</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>(</mo> <mi>E</mi> <mo>)</mo> </mrow> <mi>n</mi> </mfrac> </mrow> <mo>→</mo> <mi>p</mi> <mrow> <mtext> as </mtext> </mrow> <mi>n</mi> <mo>→</mo> <mi>∞</mi> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle {\frac {N_{n}(E)}{n}} o p{ ext{ as }}n o \infty .}</annotation> </semantics> </math><img src=$

Ce théorème rend rigoureuse la notion intuitive de probabilité comme étant la fréquence relative attendue à long terme de l'occurrence d'un événement. Il s'agit d'un cas particulier de l'une des nombreuses lois plus générales des grands nombres en théorie des probabilités.

Inégalité de Chebyshev . Soit X une variable aléatoire d'espérance mathématique finie μ et de variance finie non nulle σ ² . Alors pour tout nombre réel k > 0 ,

${\displaystyle \Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}. <semantics> <mrow> <mstyle> <mo>Pr</mo> <mo>(</mo> <mrow> <mo>|</mo> </mrow> <mi>X</mi> <mo>−</mo> <mi>μ</mi> <mrow> <mo>|</mo> </mrow> <mo>≥</mo> <mi>k</mi> <mi>σ</mi> <mo>)</mo> <mo>≤</mo> <mrow> <mfrac> <mn>1</mn> <msup> <mi>k</mi> <mrow> <mn>2</mn> </mrow> </msup> </mfrac> </mrow> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle \Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.}</annotation> </semantics> </math><img src=$

Preuve de la loi faible

Étant donné X ₁ , X ₂ , ... une séquence infinie de variables aléatoires iid avec une valeur espérée finie , nous nous intéressons à la convergence de la moyenne de l'échantillon ${\displaystyle E(X_{1})=E(X_{2})=\cdots =\mu <\infty <semantics> <mrow> <mstyle> <mi>E</mi> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>)</mo> <mo>=</mo> <mi>E</mi> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mn>2</mn> </mrow> </msub> <mo>)</mo> <mo>=</mo> <mo>⋯</mo> <mo>=</mo> <mi>μ</mi> <mo><</mo> <mi>∞</mi> </mstyle> </mrow> <annotation>{\displaystyle E(X_{1})=E(X_{2})=\cdots =\mu <\infty }</annotation> </semantics> </math><img src=$

${\displaystyle {\overline {X}}_{n}={ frac {1}{n}}(X_{1}+\cdots +X_{n}). <semantics> <mrow> <mstyle> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mrow> <mstyle> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> </mstyle> </mrow> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>+</mo> <mo>⋯</mo> <mo>+</mo> <msub> <mi>X</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle {\overline {X}}_{n}={ frac {1}{n}}(X_{1}+\cdots +X_{n}).}</annotation> </semantics> </math><img src=$

La loi faible des grands nombres stipule :

Preuve utilisant l'inégalité de Chebyshev en supposant une variance finie

Cette preuve utilise l'hypothèse de variance finie (pour tout ). L'indépendance des variables aléatoires implique l'absence de corrélation entre elles, et nous avons que ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2 <semantics> <mrow> <mstyle> <mi>Var</mi> <mo>⁡</mo> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}}</annotation> </semantics> </math><img src=$ ${\displaystyle i <semantics> <mrow> <mstyle> <mi>i</mi> </mstyle> </mrow> <annotation>{\displaystyle i}</annotation> </semantics> </math><img src=$

La moyenne commune μ de la séquence est la moyenne de l'échantillon :

${\displaystyle E({\overline {X}}_{n})=\mu . <semantics> <mrow> <mstyle> <mi>E</mi> <mo>(</mo> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <mi>μ</mi> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle E({\overline {X}}_{n})=\mu .}</annotation> </semantics> </math><img src=$

En utilisant l'inégalité de Chebyshev sur les résultats dans ${\displaystyle {\overline {X}}_{n <semantics> <mrow> <mstyle> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle {\overline {X}}_{n}}</annotation> </semantics> </math><img src=$

${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu ight|\geq \varepsilon )\leq {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}. <semantics> <mrow> <mstyle> <mi>P</mi> <mo>⁡</mo> <mo>(</mo> <mrow> <mo>|</mo> <mrow> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>−</mo> <mi>μ</mi> </mrow> <mo>|</mo> </mrow> <mo>≥</mo> <mi>ε</mi> <mo>)</mo> <mo>≤</mo> <mrow> <mfrac> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mrow> <mi>n</mi> <msup> <mi>ε</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu ight|\geq \varepsilon )\leq {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.}</annotation> </semantics> </math><img src=$

Ceci peut être utilisé pour obtenir les éléments suivants :

${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu ight|<\varepsilon )=1-\operatorname {P} (\left|{\overline {X}}_{n}-\mu ight|\geq \varepsilon )\geq 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}}. <semantics> <mrow> <mstyle> <mi>P</mi> <mo>⁡</mo> <mo>(</mo> <mrow> <mo>|</mo> <mrow> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>−</mo> <mi>μ</mi> </mrow> <mo>|</mo> </mrow> <mo><</mo> <mi>ε</mi> <mo>)</mo> <mo>=</mo> <mn>1</mn> <mo>−</mo> <mi>P</mi> <mo>⁡</mo> <mo>(</mo> <mrow> <mo>|</mo> <mrow> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>−</mo> <mi>μ</mi> </mrow> <mo>|</mo> </mrow> <mo>≥</mo> <mi>ε</mi> <mo>)</mo> <mo>≥</mo> <mn>1</mn> <mo>−</mo> <mrow> <mfrac> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mrow> <mi>n</mi> <msup> <mi>ε</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu ight|<\varepsilon )=1-\operatorname {P} (\left|{\overline {X}}_{n}-\mu ight|\geq \varepsilon )\geq 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.}</annotation> </semantics> </math><img src=$

Lorsque n tend vers l'infini, l'expression tend vers 1. Et par définition de convergence en probabilité , on a obtenu

Preuve utilisant la convergence des fonctions caractéristiques

D'après le théorème de Taylor pour les fonctions complexes , la fonction caractéristique de toute variable aléatoire, X , de moyenne finie μ, peut s'écrire comme

${\displaystyle \varphi _{X}(t)=1+it\mu +o(t),\quad t ightarrow 0. <semantics> <mrow> <mstyle> <msub> <mi>φ</mi> <mrow> <mi>X</mi> </mrow> </msub> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>=</mo> <mn>1</mn> <mo>+</mo> <mi>i</mi> <mi>t</mi> <mi>μ</mi> <mo>+</mo> <mi>o</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>,</mo> <mspace></mspace> <mi>t</mi> <mo>→</mo> <mn>0.</mn> </mstyle> </mrow> <annotation>{\displaystyle \varphi _{X}(t)=1+it\mu +o(t),\quad t ightarrow 0.}</annotation> </semantics> </math><img src=$

Tous les X ₁ , X ₂ , ... ont la même fonction caractéristique, nous la noterons donc simplement φ _X .

Parmi les propriétés fondamentales des fonctions caractéristiques, il y a

${\displaystyle \varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({ frac {t}{n}})\quad { ext{and}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\quad <semantics> <mrow> <mstyle> <msub> <mi>φ</mi> <mrow> <mrow> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> </mrow> <mi>X</mi> </mrow> </msub> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>=</mo> <msub> <mi>φ</mi> <mrow> <mi>X</mi> </mrow> </msub> <mo>(</mo> <mrow> <mstyle> <mfrac> <mi>t</mi> <mi>n</mi> </mfrac> </mstyle> </mrow> <mo>)</mo> <mspace></mspace> <mrow> <mtext>and</mtext> </mrow> <mspace></mspace> <msub> <mi>φ</mi> <mrow> <mi>X</mi> <mo>+</mo> <mi>Y</mi> </mrow> </msub> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>=</mo> <msub> <mi>φ</mi> <mrow> <mi>X</mi> </mrow> </msub> <mo>(</mo> <mi>t</mi> <mo>)</mo> <msub> <mi>φ</mi> <mrow> <mi>Y</mi> </mrow> </msub> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mspace></mspace> </mstyle> </mrow> <annotation>{\displaystyle \varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({ frac {t}{n}})\quad { ext{and}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\quad }</annotation> </semantics> </math><img src=$ X et Y sont indépendants.

Ces règles peuvent être utilisées pour calculer la fonction caractéristique de en termes de φ _X : ${\displaystyle {\overline {X}}_{n <semantics> <mrow> <mstyle> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle {\overline {X}}_{n}}</annotation> </semantics> </math><img src=$

${\displaystyle \varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({t \over n} ight) ight]^{n}=\left[1+i\mu {t \over n}+o\left({t \over n} ight) ight]^{n}\, ightarrow \,e^{it\mu },\quad { ext{as}}\quad n o \infty . <semantics> <mrow> <mstyle> <msub> <mi>φ</mi> <mrow> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> </mrow> </msub> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>=</mo> <msup> <mrow> <mo>[</mo> <mrow> <msub> <mi>φ</mi> <mrow> <mi>X</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mfrac> <mi>t</mi> <mi>n</mi> </mfrac> </mrow> <mo>)</mo> </mrow> </mrow> <mo>]</mo> </mrow> <mrow> <mi>n</mi> </mrow> </msup> <mo>=</mo> <msup> <mrow> <mo>[</mo> <mrow> <mn>1</mn> <mo>+</mo> <mi>i</mi> <mi>μ</mi> <mrow> <mfrac> <mi>t</mi> <mi>n</mi> </mfrac> </mrow> <mo>+</mo> <mi>o</mi> <mrow> <mo>(</mo> <mrow> <mfrac> <mi>t</mi> <mi>n</mi> </mfrac> </mrow> <mo>)</mo> </mrow> </mrow> <mo>]</mo> </mrow> <mrow> <mi>n</mi> </mrow> </msup> <mspace></mspace> <mo>→</mo> <mspace></mspace> <msup> <mi>e</mi> <mrow> <mi>i</mi> <mi>t</mi> <mi>μ</mi> </mrow> </msup> <mo>,</mo> <mspace></mspace> <mrow> <mtext>as</mtext> </mrow> <mspace></mspace> <mi>n</mi> <mo>→</mo> <mi>∞</mi> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle \varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({t \over n} ight) ight]^{n}=\left[1+i\mu {t \over n}+o\left({t \over n} ight) ight]^{n}\, ightarrow \,e^{it\mu },\quad { ext{as}}\quad n o \infty .}</annotation> </semantics> </math><img src=$

La limite e ^itμ est la fonction caractéristique de la variable aléatoire constante μ, et donc par le théorème de continuité de Lévy , converge en distribution vers μ : ${\displaystyle {\overline {X}}_{n <semantics> <mrow> <mstyle> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle {\overline {X}}_{n}}</annotation> </semantics> </math><img src=$

${\displaystyle {\overline {X}}_{n}\,{\overset {\mathcal {D}}{ ightarrow }}\,\mu \qquad { ext{for}}\qquad n o \infty . <semantics> <mrow> <mstyle> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mspace></mspace> <mrow> <mover> <mo>→</mo> <mrow> <mi>D</mi> </mrow> </mover> </mrow> <mspace></mspace> <mi>μ</mi> <mspace></mspace> <mrow> <mtext>for</mtext> </mrow> <mspace></mspace> <mi>n</mi> <mo>→</mo> <mi>∞</mi> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle {\overline {X}}_{n}\,{\overset {\mathcal {D}}{ ightarrow }}\,\mu \qquad { ext{for}}\qquad n o \infty .}</annotation> </semantics> </math><img src=$

μ est une constante, ce qui implique que la convergence de la distribution vers μ et la convergence de la probabilité vers μ sont équivalentes (voir Convergence des variables aléatoires ). Par conséquent,

Cela montre que la moyenne de l'échantillon converge en probabilité vers la dérivée de la fonction caractéristique à l'origine, tant que cette dernière existe.

Preuve de la loi forte

Nous donnons une preuve relativement simple de la loi forte sous les hypothèses que sont iid , , et . ${\displaystyle X_{i <semantics> <mrow> <mstyle> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle X_{i}}</annotation> </semantics> </math><img src=$ ${\displaystyle {\mathbb {E} }[X_{i}]=:\mu <\infty <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>]</mo> <mo>=:</mo> <mi>μ</mi> <mo><</mo> <mi>∞</mi> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[X_{i}]=:\mu <\infty }</annotation> </semantics> </math><img src=$ ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}<\infty <semantics> <mrow> <mstyle> <mi>Var</mi> <mo>⁡</mo> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> <mo>)</mo> <mo>=</mo> <msup> <mi>σ</mi> <mrow> <mn>2</mn> </mrow> </msup> <mo><</mo> <mi>∞</mi> </mstyle> </mrow> <annotation>{\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}<\infty }</annotation> </semantics> </math><img src=$ ${\displaystyle {\mathbb {E} }[X_{i}^{4}]=: au <\infty <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>4</mn> </mrow> </msubsup> <mo>]</mo> <mo>=:</mo> <mi>τ</mi> <mo><</mo> <mi>∞</mi> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[X_{i}^{4}]=: au <\infty }</annotation> </semantics> </math><img src=$

Notons d'abord que sans perte de généralité on peut supposer que par centrage. Dans ce cas, la loi forte dit que ${\displaystyle \mu =0 <semantics> <mrow> <mstyle> <mi>μ</mi> <mo>=</mo> <mn>0</mn> </mstyle> </mrow> <annotation>{\displaystyle \mu =0}</annotation> </semantics> </math><img src=$

${\displaystyle \Pr \!\left(\lim _{n o \infty }{\overline {X}}_{n}=0 ight)=1, <semantics> <mrow> <mstyle> <mo>Pr</mo> <mspace></mspace> <mrow> <mo>(</mo> <mrow> <munder> <mo>lim</mo> <mrow> <mi>n</mi> <mo>→</mo> <mi>∞</mi> </mrow> </munder> <msub> <mrow> <mover> <mi>X</mi> <mo>¯</mo> </mover> </mrow> <mrow> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mn>0</mn> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>,</mo> </mstyle> </mrow> <annotation>{\displaystyle \Pr \!\left(\lim _{n o \infty }{\overline {X}}_{n}=0 ight)=1,}</annotation> </semantics> </math><img src=$ ${\displaystyle \Pr \left(\omega :\lim _{n o \infty }{\frac {S_{n}(\omega )}{n}}=0 ight)=1. <semantics> <mrow> <mstyle> <mo>Pr</mo> <mrow> <mo>(</mo> <mrow> <mi>ω</mi> <mo>:</mo> <munder> <mo>lim</mo> <mrow> <mi>n</mi> <mo>→</mo> <mi>∞</mi> </mrow> </munder> <mrow> <mfrac> <mrow> <msub> <mi>S</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>(</mo> <mi>ω</mi> <mo>)</mo> </mrow> <mi>n</mi> </mfrac> </mrow> <mo>=</mo> <mn>0</mn> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>1.</mn> </mstyle> </mrow> <annotation>{\displaystyle \Pr \left(\omega :\lim _{n o \infty }{\frac {S_{n}(\omega )}{n}}=0 ight)=1.}</annotation> </semantics> </math><img src=$ ${\displaystyle \Pr \left(\omega :\lim _{n o \infty }{\frac {S_{n}(\omega )}{n}} eq 0 ight)=0, <semantics> <mrow> <mstyle> <mo>Pr</mo> <mrow> <mo>(</mo> <mrow> <mi>ω</mi> <mo>:</mo> <munder> <mo>lim</mo> <mrow> <mi>n</mi> <mo>→</mo> <mi>∞</mi> </mrow> </munder> <mrow> <mfrac> <mrow> <msub> <mi>S</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>(</mo> <mi>ω</mi> <mo>)</mo> </mrow> <mi>n</mi> </mfrac> </mrow> <mo>≠</mo> <mn>0</mn> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> <mo>,</mo> </mstyle> </mrow> <annotation>{\displaystyle \Pr \left(\omega :\lim _{n o \infty }{\frac {S_{n}(\omega )}{n}} eq 0 ight)=0,}</annotation> </semantics> </math><img src=$ $0,\left|{\frac {S_{n}(\omega )}{n}} ight|\geq \epsilon \ {\mbox{infinitely often}}, lim_{n \to \infty} \frac{S_{n} (ω)}{n} \neq 0 ⟺ \exists ϵ > 0, | \frac{S_{n} (ω)}{n} | \geq ϵ infinitely often,$ 0,\left|{\frac {S_{n}(\omega )}{n}} ight|\geq \epsilon \ {\mbox{infiniment souvent}},}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/de5dbfe24422c35a5df6c686e742c12863747944"> $0 ϵ > 0$ 0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/568095ad3924314374a5ab68fae17343661f2a71"> ${\displaystyle \Pr \left(\omega :|S_{n}(\omega )|\geq n\epsilon {\mbox{ infinitely often}} ight)=0. <semantics> <mrow> <mstyle> <mo>Pr</mo> <mrow> <mo>(</mo> <mrow> <mi>ω</mi> <mo>:</mo> <mrow> <mo>|</mo> </mrow> <msub> <mi>S</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>(</mo> <mi>ω</mi> <mo>)</mo> <mrow> <mo>|</mo> </mrow> <mo>≥</mo> <mi>n</mi> <mi>ϵ</mi> <mrow> <mstyle> <mtext> infinitely often</mtext> </mstyle> </mrow> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0.</mn> </mstyle> </mrow> <annotation>{\displaystyle \Pr \left(\omega :|S_{n}(\omega )|\geq n\epsilon {\mbox{ infinitely often}} ight)=0.}</annotation> </semantics> </math><img src=$ ${\displaystyle A_{n}=\{\omega :|S_{n}|\geq n\epsilon \ <semantics> <mrow> <mstyle> <msub> <mi>A</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mo>{</mo> <mi>ω</mi> <mo>:</mo> <mrow> <mo>|</mo> </mrow> <msub> <mi>S</mi> <mrow> <mi>n</mi> </mrow> </msub> <mrow> <mo>|</mo> </mrow> <mo>≥</mo> <mi>n</mi> <mi>ϵ</mi> <mo>}</mo> </mstyle> </mrow> <annotation>{\displaystyle A_{n}=\{\omega :|S_{n}|\geq n\epsilon \}}</annotation> </semantics> </math><img src=$ ${\displaystyle \sum _{n=1}^{\infty }\Pr(A_{n})<\infty , <semantics> <mrow> <mstyle> <munderover> <mo>∑</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>∞</mi> </mrow> </munderover> <mo>Pr</mo> <mo>(</mo> <msub> <mi>A</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> <mo><</mo> <mi>∞</mi> <mo>,</mo> </mstyle> </mrow> <annotation>{\displaystyle \sum _{n=1}^{\infty }\Pr(A_{n})<\infty ,}</annotation> </semantics> </math><img src=$ ${\displaystyle \Pr(A_{n}) <semantics> <mrow> <mstyle> <mo>Pr</mo> <mo>(</mo> <msub> <mi>A</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle \Pr(A_{n})}</annotation> </semantics> </math><img src=$

Nous calculons Nous affirmons d'abord que tout terme de la forme où tous les indices sont distincts, doit avoir une espérance nulle. Ceci est dû au fait que par indépendance, et le dernier terme est nul --- et de même pour les autres termes. Par conséquent, les seuls termes de la somme ayant une espérance non nulle sont et . Puisque les sont identiquement distribués, tous sont identiques, et de plus . ${\displaystyle {\mathbb {E} }[S_{n}^{4}]={\mathbb {E} }\left[\left(\sum _{i=1}^{n}X_{i} ight)^{4} ight]={\mathbb {E} }\left[\sum _{1\leq i,j,k,l\leq n}X_{i}X_{j}X_{k}X_{l} ight]. <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>S</mi> <mrow> <mi>n</mi> </mrow> <mrow> <mn>4</mn> </mrow> </msubsup> <mo>]</mo> <mo>=</mo> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mrow> <mo>[</mo> <msup> <mrow> <mo>(</mo> <mrow> <munderover> <mo>∑</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>n</mi> </mrow> </munderover> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> </mrow> <mo>)</mo> </mrow> <mrow> <mn>4</mn> </mrow> </msup> <mo>]</mo> </mrow> <mo>=</mo> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mrow> <mo>[</mo> <mrow> <munder> <mo>∑</mo> <mrow> <mn>1</mn> <mo>≤</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <mi>k</mi> <mo>,</mo> <mi>l</mi> <mo>≤</mo> <mi>n</mi> </mrow> </munder> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>j</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>k</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>l</mi> </mrow> </msub> </mrow> <mo>]</mo> </mrow> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[S_{n}^{4}]={\mathbb {E} }\left[\left(\sum _{i=1}^{n}X_{i} ight)^{4} ight]={\mathbb {E} }\left[\sum _{1\leq i,j,k,l\leq n}X_{i}X_{j}X_{k}X_{l} ight].}</annotation> </semantics> </math><img src=$ ${\displaystyle X_{i}^{3}X_{j},X_{i}^{2}X_{j}X_{k},X_{i}X_{j}X_{k}X_{l <semantics> <mrow> <mstyle> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>3</mn> </mrow> </msubsup> <msub> <mi>X</mi> <mrow> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msubsup> <msub> <mi>X</mi> <mrow> <mi>j</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>k</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>j</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>k</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>l</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle X_{i}^{3}X_{j},X_{i}^{2}X_{j}X_{k},X_{i}X_{j}X_{k}X_{l}}</annotation> </semantics> </math><img src=$ ${\displaystyle {\mathbb {E} }[X_{i}^{3}X_{j}]={\mathbb {E} }[X_{i}^{3}]{\mathbb {E} }[X_{j}] <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>3</mn> </mrow> </msubsup> <msub> <mi>X</mi> <mrow> <mi>j</mi> </mrow> </msub> <mo>]</mo> <mo>=</mo> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>3</mn> </mrow> </msubsup> <mo>]</mo> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msub> <mi>X</mi> <mrow> <mi>j</mi> </mrow> </msub> <mo>]</mo> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[X_{i}^{3}X_{j}]={\mathbb {E} }[X_{i}^{3}]{\mathbb {E} }[X_{j}]}</annotation> </semantics> </math><img src=$ ${\displaystyle {\mathbb {E} }[X_{i}^{4}] <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>4</mn> </mrow> </msubsup> <mo>]</mo> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[X_{i}^{4}]}</annotation> </semantics> </math><img src=$ ${\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}] <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msubsup> <msubsup> <mi>X</mi> <mrow> <mi>j</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msubsup> <mo>]</mo> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}]}</annotation> </semantics> </math><img src=$ ${\displaystyle X_{i <semantics> <mrow> <mstyle> <msub> <mi>X</mi> <mrow> <mi>i</mi> </mrow> </msub> </mstyle> </mrow> <annotation>{\displaystyle X_{i}}</annotation> </semantics> </math><img src=$ ${\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}]=({\mathbb {E} }[X_{i}^{2}])^{2 <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msubsup> <msubsup> <mi>X</mi> <mrow> <mi>j</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msubsup> <mo>]</mo> <mo>=</mo> <mo>(</mo> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msubsup> <mo>]</mo> <msup> <mo>)</mo> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}]=({\mathbb {E} }[X_{i}^{2}])^{2}}</annotation> </semantics> </math><img src=$

Il existe des termes de la forme et des termes de la forme , et donc Remarquez que le côté droit est un polynôme quadratique dans , et en tant que tel il existe un tel que pour suffisamment grand. D'après Markov, pour suffisamment grand, et donc cette série est sommable. Puisque ceci est vrai pour tout , nous avons établi le Strong LLN. ${\displaystyle n <semantics> <mrow> <mstyle> <mi>n</mi> </mstyle> </mrow> <annotation>{\displaystyle n}</annotation> </semantics> </math><img src=$ ${\displaystyle {\mathbb {E} }[X_{i}^{4}] <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>4</mn> </mrow> </msubsup> <mo>]</mo> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[X_{i}^{4}]}</annotation> </semantics> </math><img src=$ ${\displaystyle 3n(n-1) <semantics> <mrow> <mstyle> <mn>3</mn> <mi>n</mi> <mo>(</mo> <mi>n</mi> <mo>−</mo> <mn>1</mn> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle 3n(n-1)}</annotation> </semantics> </math><img src=$ ${\displaystyle ({\mathbb {E} }[X_{i}^{2}])^{2 <semantics> <mrow> <mstyle> <mo>(</mo> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> </mrow> <mrow> <mn>2</mn> </mrow> </msubsup> <mo>]</mo> <msup> <mo>)</mo> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle ({\mathbb {E} }[X_{i}^{2}])^{2}}</annotation> </semantics> </math><img src=$ ${\displaystyle {\mathbb {E} }[S_{n}^{4}]=n au +3n(n-1)\sigma ^{4}. <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>S</mi> <mrow> <mi>n</mi> </mrow> <mrow> <mn>4</mn> </mrow> </msubsup> <mo>]</mo> <mo>=</mo> <mi>n</mi> <mi>τ</mi> <mo>+</mo> <mn>3</mn> <mi>n</mi> <mo>(</mo> <mi>n</mi> <mo>−</mo> <mn>1</mn> <mo>)</mo> <msup> <mi>σ</mi> <mrow> <mn>4</mn> </mrow> </msup> <mo>.</mo> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[S_{n}^{4}]=n au +3n(n-1)\sigma ^{4}.}</annotation> </semantics> </math><img src=$ ${\displaystyle n <semantics> <mrow> <mstyle> <mi>n</mi> </mstyle> </mrow> <annotation>{\displaystyle n}</annotation> </semantics> </math><img src=$ $0 C > 0$ 0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/c84d4126c6df243734f9355927c026df6b0d3859"> ${\displaystyle {\mathbb {E} }[S_{n}^{4}]\leq Cn^{2 <semantics> <mrow> <mstyle> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>S</mi> <mrow> <mi>n</mi> </mrow> <mrow> <mn>4</mn> </mrow> </msubsup> <mo>]</mo> <mo>≤</mo> <mi>C</mi> <msup> <mi>n</mi> <mrow> <mn>2</mn> </mrow> </msup> </mstyle> </mrow> <annotation>{\displaystyle {\mathbb {E} }[S_{n}^{4}]\leq Cn^{2}}</annotation> </semantics> </math><img src=$ ${\displaystyle n <semantics> <mrow> <mstyle> <mi>n</mi> </mstyle> </mrow> <annotation>{\displaystyle n}</annotation> </semantics> </math><img src=$ ${\displaystyle \Pr(|S_{n}|\geq n\epsilon )\leq {\frac {1}{(n\epsilon )^{4}}}{\mathbb {E} }[S_{n}^{4}]\leq {\frac {C}{\epsilon ^{4}n^{2}}}, <semantics> <mrow> <mstyle> <mo>Pr</mo> <mo>(</mo> <mrow> <mo>|</mo> </mrow> <msub> <mi>S</mi> <mrow> <mi>n</mi> </mrow> </msub> <mrow> <mo>|</mo> </mrow> <mo>≥</mo> <mi>n</mi> <mi>ϵ</mi> <mo>)</mo> <mo>≤</mo> <mrow> <mfrac> <mn>1</mn> <mrow> <mo>(</mo> <mi>n</mi> <mi>ϵ</mi> <msup> <mo>)</mo> <mrow> <mn>4</mn> </mrow> </msup> </mrow> </mfrac> </mrow> <mrow> <mrow> <mi>E</mi> </mrow> </mrow> <mo>[</mo> <msubsup> <mi>S</mi> <mrow> <mi>n</mi> </mrow> <mrow> <mn>4</mn> </mrow> </msubsup> <mo>]</mo> <mo>≤</mo> <mrow> <mfrac> <mi>C</mi> <mrow> <msup> <mi>ϵ</mi> <mrow> <mn>4</mn> </mrow> </msup> <msup> <mi>n</mi> <mrow> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> </mrow> <mo>,</mo> </mstyle> </mrow> <annotation>{\displaystyle \Pr(|S_{n}|\geq n\epsilon )\leq {\frac {1}{(n\epsilon )^{4}}}{\mathbb {E} }[S_{n}^{4}]\leq {\frac {C}{\epsilon ^{4}n^{2}}},}</annotation> </semantics> </math><img src=$ ${\displaystyle n <semantics> <mrow> <mstyle> <mi>n</mi> </mstyle> </mrow> <annotation>{\displaystyle n}</annotation> </semantics> </math><img src=$ $0 ϵ > 0$ 0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/568095ad3924314374a5ab68fae17343661f2a71">

Une autre preuve a été donnée par Etemadi.

Pour une preuve sans l'hypothèse supplémentaire d'un quatrième moment fini, voir la section 22 de Billingsley.

Conséquences

La loi des grands nombres fournit une espérance d'une distribution inconnue à partir d'une réalisation de la séquence, mais aussi de toute caractéristique de la distribution de probabilité . En appliquant la loi des grands nombres de Borel , on pourrait facilement obtenir la fonction de masse de probabilité. Pour chaque événement dans la fonction de masse de probabilité objective, on pourrait approximer la probabilité de l'occurrence de l'événement avec la proportion de fois où un événement spécifié se produit. Plus le nombre de répétitions est grand, meilleure est l'approximation. Comme pour le cas continu : , pour un petit h positif. Ainsi, pour un grand n : ${\displaystyle C=(a-h,a+h] <semantics> <mrow> <mstyle> <mi>C</mi> <mo>=</mo> <mo>(</mo> <mi>a</mi> <mo>−</mo> <mi>h</mi> <mo>,</mo> <mi>a</mi> <mo>+</mo> <mi>h</mi> <mo>]</mo> </mstyle> </mrow> <annotation>{\displaystyle C=(a-h,a+h]}</annotation> </semantics> </math><img src=$

${\displaystyle {\frac {N_{n}(C)}{n}} hickapprox p=P(X\in C)=\int _{a-h}^{a+h}f(x)\,dx hickapprox 2hf(a) <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <msub> <mi>N</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>(</mo> <mi>C</mi> <mo>)</mo> </mrow> <mi>n</mi> </mfrac> </mrow> <mo>≈</mo> <mi>p</mi> <mo>=</mo> <mi>P</mi> <mo>(</mo> <mi>X</mi> <mo>∈</mo> <mi>C</mi> <mo>)</mo> <mo>=</mo> <msubsup> <mo>∫</mo> <mrow> <mi>a</mi> <mo>−</mo> <mi>h</mi> </mrow> <mrow> <mi>a</mi> <mo>+</mo> <mi>h</mi> </mrow> </msubsup> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mspace></mspace> <mi>d</mi> <mi>x</mi> <mo>≈</mo> <mn>2</mn> <mi>h</mi> <mi>f</mi> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle {\frac {N_{n}(C)}{n}} hickapprox p=P(X\in C)=\int _{a-h}^{a+h}f(x)\,dx hickapprox 2hf(a)}</annotation> </semantics> </math><img src=$

Avec cette méthode, on peut couvrir tout l'axe des x avec une grille (avec une taille de grille de 2h) et obtenir un graphique à barres appelé histogramme .

Applications

Une application de la méthode LLN est une méthode d'approximation importante connue sous le nom de méthode de Monte Carlo , qui utilise un échantillonnage aléatoire de nombres pour approximer les résultats numériques. L'algorithme pour calculer une intégrale de f(x) sur un intervalle [a,b] est le suivant :

Simuler des variables aléatoires uniformes X ₁ , X ₂ , ..., X _{n ,} ce qui peut être fait à l'aide d'un logiciel, et utiliser une table de nombres aléatoires qui donne U ₁ , U ₂ , ..., U _n variables aléatoires indépendantes et identiquement distribuées (iid) sur [0,1]. Soit alors X _i = a+(b - a)U _i pour i= 1, 2, ..., n. Alors X ₁ , X ₂ , ..., X _n sont des variables aléatoires uniformes indépendantes et identiquement distribuées sur [a, b].
Évaluer f(X ₁ ), f(X ₂ ), ..., f(X _n )
Prenez la moyenne de f(X ₁ ), f(X ₂ ), ..., f(X _n ) en calculant puis par la loi forte des grands nombres, cela converge vers = = ${\displaystyle (b-a){ frac {f(X_{1})+f(X_{2})+...+f(X_{n})}{n <semantics> <mrow> <mstyle> <mo>(</mo> <mi>b</mi> <mo>−</mo> <mi>a</mi> <mo>)</mo> <mrow> <mstyle> <mfrac> <mrow> <mi>f</mi> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>)</mo> <mo>+</mo> <mi>f</mi> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mn>2</mn> </mrow> </msub> <mo>)</mo> <mo>+</mo> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mo>+</mo> <mi>f</mi> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> <mi>n</mi> </mfrac> </mstyle> </mrow> </mstyle> </mrow> <annotation>{\displaystyle (b-a){ frac {f(X_{1})+f(X_{2})+...+f(X_{n})}{n}}}</annotation> </semantics> </math><img src=$ ${\displaystyle (b-a)E(f(X_{1})) <semantics> <mrow> <mstyle> <mo>(</mo> <mi>b</mi> <mo>−</mo> <mi>a</mi> <mo>)</mo> <mi>E</mi> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mn>1</mn> </mrow> </msub> <mo>)</mo> <mo>)</mo> </mstyle> </mrow> <annotation>{\displaystyle (b-a)E(f(X_{1}))}</annotation> </semantics> </math><img src=$ ${\displaystyle (b-a)\int _{a}^{b}f(x){ frac {1}{b-a}}{dx <semantics> <mrow> <mstyle> <mo>(</mo> <mi>b</mi> <mo>−</mo> <mi>a</mi> <mo>)</mo> <msubsup> <mo>∫</mo> <mrow> <mi>a</mi> </mrow> <mrow> <mi>b</mi> </mrow> </msubsup> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mrow> <mstyle> <mfrac> <mn>1</mn> <mrow> <mi>b</mi> <mo>−</mo> <mi>a</mi> </mrow> </mfrac> </mstyle> </mrow> <mrow> <mi>d</mi> <mi>x</mi> </mrow> </mstyle> </mrow> <annotation>{\displaystyle (b-a)\int _{a}^{b}f(x){ frac {1}{b-a}}{dx}}</annotation> </semantics> </math><img src=$ ${\displaystyle \int _{a}^{b}f(x){dx <semantics> <mrow> <mstyle> <msubsup> <mo>∫</mo> <mrow> <mi>a</mi> </mrow> <mrow> <mi>b</mi> </mrow> </msubsup> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mrow> <mi>d</mi> <mi>x</mi> </mrow> </mstyle> </mrow> <annotation>{\displaystyle \int _{a}^{b}f(x){dx}}</annotation> </semantics> </math><img src=$

Nous pouvons trouver l'intégrale de sur [-1,2]. Il est très difficile d'utiliser des méthodes traditionnelles pour calculer cette intégrale, c'est pourquoi la méthode de Monte Carlo peut être utilisée ici. En utilisant l'algorithme ci-dessus, nous obtenons ${\displaystyle f(x)=cos^{2}(x){\sqrt {x^{3}+1 <semantics> <mrow> <mstyle> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>=</mo> <mi>c</mi> <mi>o</mi> <msup> <mi>s</mi> <mrow> <mn>2</mn> </mrow> </msup> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mrow> <msqrt> <msup> <mi>x</mi> <mrow> <mn>3</mn> </mrow> </msup> <mo>+</mo> <mn>1</mn> </msqrt> </mrow> </mstyle> </mrow> <annotation>{\displaystyle f(x)=cos^{2}(x){\sqrt {x^{3}+1}}}</annotation> </semantics> </math><img src=$

${\displaystyle \int _{-1}^{2}f(x){dx <semantics> <mrow> <mstyle> <msubsup> <mo>∫</mo> <mrow> <mo>−</mo> <mn>1</mn> </mrow> <mrow> <mn>2</mn> </mrow> </msubsup> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mrow> <mi>d</mi> <mi>x</mi> </mrow> </mstyle> </mrow> <annotation>{\displaystyle \int _{-1}^{2}f(x){dx}}</annotation> </semantics> </math><img src=$

Nous observons que lorsque n augmente, la valeur numérique augmente également. Lorsque nous obtenons les résultats réels de l'intégrale, nous obtenons

Lorsque le LLN a été utilisé, l'approximation de l'intégrale était plus proche de sa valeur réelle, et donc plus précise.

Un autre exemple est l'intégration de f(x) = sur [0,1]. En utilisant la méthode de Monte Carlo et le LLN, nous pouvons voir qu'à mesure que le nombre d'échantillons augmente, la valeur numérique se rapproche de 0,4180233. ${\displaystyle {\frac {e^{x}-1}{e-1 <semantics> <mrow> <mstyle> <mrow> <mfrac> <mrow> <msup> <mi>e</mi> <mrow> <mi>x</mi> </mrow> </msup> <mo>−</mo> <mn>1</mn> </mrow> <mrow> <mi>e</mi> <mo>−</mo> <mn>1</mn> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation>{\displaystyle {\frac {e^{x}-1}{e-1}}}</annotation> </semantics> </math><img src=$