Lois des grands nombres et théorème central limite

Lois des grands nombres et théorème central limite

1. Convergences de variables aléatoires : rappels

On dit que $X_n\to X$ en probabilité si pour tout $\varepsilon>0$, $P(|X_n-X|\geq\varepsilon)\to0$ quand $n\to+\infty$. On dit que $X_n\to X$ presque sûrement si $P\big(\lim_{n\to+\infty}X_n=X\big)=1$. On dit que $X_n\to X$ en loi si $F_{X_n}(x)\to F_X(x)$ en tout point de continuité de $F_X$.

Hiérarchie : convergence presque sûre $\Rightarrow$ convergence en probabilité $\Rightarrow$ convergence en loi (les implications inverses sont fausses en général).

2. Loi faible des grands nombres (LFGN)

Théorème (LFGN) : Soit $(X_i)_{i\geq1}$ une suite de variables i.i.d. d'espérance $\mu$ finie et de variance $\sigma^2$ finie. Alors :

Démonstration (via Tchebychev) : $E[\overline{X_n}]=\mu$ et $\text{Var}(\overline{X_n})=\sigma^2/n$ (indépendance). Par Bienaymé-Tchebychev, pour tout $\varepsilon>0$ :

3. Loi forte des grands nombres (LFGN forte)

Théorème (Kolmogorov) : Sous les mêmes hypothèses (i.i.d., espérance $\mu$ finie — la variance finie n'est même pas nécessaire pour la version forte, mais on l'admet ici par simplicité) :

C'est un résultat plus fort que la version faible (convergence presque sûre $\Rightarrow$ convergence en probabilité). Intuition : la moyenne empirique d'un grand nombre de répétitions indépendantes se stabilise, avec probabilité 1, vers l'espérance théorique — c'est le fondement théorique de l'interprétation fréquentiste des probabilités (la fréquence observée d'un événement converge vers sa probabilité).

4. Théorème central limite (TCL)

Théorème (TCL) : Soit $(X_i)_{i\geq1}$ i.i.d. d'espérance $\mu$ et de variance $\sigma^2\in\,]0,+\infty[$. Alors :

De façon équivalente, en notant $S_n=\sum_{i=1}^nX_i$ :

Démonstration (esquisse, via fonctions caractéristiques) : posons $Y_i=(X_i-\mu)/\sigma$ (centrées-réduites, $E[Y_i]=0$, $\text{Var}(Y_i)=1$) et $Z_n=\frac{1}{\sqrt{n}}\sum_{i=1}^nY_i$. Un développement de Taylor de $\varphi_{Y_i}(t)=1-\dfrac{t^2}{2}+o(t^2)$ près de $0$, combiné à l'indépendance ($\varphi_{Z_n}(t)=\varphi_{Y_1}(t/\sqrt n)^n$), donne :

qui est la fonction caractéristique de $\mathcal{N}(0,1)$. Par le théorème de Lévy (continuité), $Z_n\to\mathcal{N}(0,1)$ en loi.

5. Application pratique : approximation normale

Pour $n$ grand, on approxime $S_n=\sum_{i=1}^nX_i$ par une loi $\mathcal{N}(n\mu,n\sigma^2)$. Exemple : $X_i\sim\text{Bernoulli}(0{,}5)$, $n=400$ lancers de pièce. $S_{400}$ (nombre de faces) a pour espérance $200$ et variance $400\times0{,}25=100$ (écart-type $10$). Le TCL donne $P(190\leq S_{400}\leq210)\approx P(-1\leq Z\leq1)\approx0{,}68$ (règle des 68-95-99,7 de la loi normale).

6. Différence essentielle entre LGN et TCL

La loi des grands nombres dit que $\overline{X_n}$ se rapproche de $\mu$ (sans préciser la vitesse). Le théorème central limite précise la vitesse et la forme des fluctuations : l'écart $\overline{X_n}-\mu$ est de l'ordre de $1/\sqrt{n}$, et ces fluctuations, une fois renormalisées par $\sqrt{n}/\sigma$, suivent (asymptotiquement) une loi normale standard — quelle que soit la loi initiale des $X_i$ (pourvu qu'elle ait une variance finie). C'est ce caractère universel qui rend le TCL si fondamental en statistique.

7. Récapitulatif

|---|---|---|