Inégalités de concentration

Inégalités de concentration

1. Inégalité de Markov

Théorème (Markov) : Si $X$ est une variable aléatoire positive ($X\geq0$ presque sûrement) admettant une espérance, alors pour tout $a>0$ :

Démonstration : $X\geq a\cdot\mathbb{1}_{\{X\geq a\}}$ presque sûrement (car sur $\{X\geq a\}$, $X\geq a$ ; ailleurs le membre de droite est nul et $X\geq0$). En prenant l'espérance (qui préserve les inégalités) :

d'où le résultat en divisant par $a>0$.

Exemple : si $X\sim\mathcal{E}(\lambda)$ (exponentielle de paramètre $\lambda$), $E[X]=1/\lambda$, donc $P(X\geq a)\leq\dfrac{1}{\lambda a}$. C'est une borne grossière (la vraie valeur est $e^{-\lambda a}$, bien plus petite), mais elle ne demande de connaître que l'espérance.

2. Inégalité de Bienaymé-Tchebychev

Théorème (Bienaymé-Tchebychev) : Si $X$ admet une variance $\sigma^2=\text{Var}(X)$, alors pour tout $\varepsilon>0$ :

Démonstration : On applique Markov à la variable positive $Y=(X-E[X])^2$ avec le seuil $a=\varepsilon^2$ :

et $\{Y\geq\varepsilon^2\}=\{|X-E[X]|\geq\varepsilon\}$ (car $Y=(X-E[X])^2\geq\varepsilon^2 \iff |X-E[X]|\geq\varepsilon$).

Exemple : $X_1,\dots,X_n$ i.i.d. de loi $\mathcal{E}(1)$ (donc $E[X_i]=1$, $\text{Var}(X_i)=1$). Pour $\overline{X_n}=\frac1n\sum X_i$, on a $E[\overline{X_n}]=1$ et $\text{Var}(\overline{X_n})=\dfrac{1}{n}$ (variance de la moyenne d'i.i.d.). Avec $n=100$ et $\varepsilon=0{,}1$ :

(borne triviale ici, mais elle devient utile pour $n$ grand : avec $n=10\,000$, la borne tombe à $0{,}01$).

3. Inégalité de Cauchy-Schwarz (rappel probabiliste)

Pour $X,Y$ de carré intégrable :

avec égalité si et seulement si $X$ et $Y$ sont proportionnelles presque sûrement. Conséquence : le coefficient de corrélation $\rho(X,Y)=\dfrac{\text{Cov}(X,Y)}{\sigma_X\sigma_Y}$ vérifie toujours $|\rho(X,Y)|\leq1$.

4. Inégalité de Jensen

Théorème (Jensen) : Si $\varphi:\mathbb{R}\to\mathbb{R}$ est convexe et $X$ une variable aléatoire intégrable, alors :

Exemple classique : $\varphi(x)=x^2$ est convexe, donc $E[X]^2\leq E[X^2]$ — c'est exactement la positivité de $\text{Var}(X)=E[X^2]-E[X]^2\geq0$, retrouvée comme cas particulier de Jensen.

5. Pourquoi ces inégalités sont essentielles

Ces inégalités sont les outils de base pour démontrer les théorèmes limites (lois des grands nombres, paragraphes suivants) : elles permettent de majorer une probabilité de déviation sans connaître la loi exacte de la variable, seulement quelques moments (espérance, variance). C'est le principe de la concentration de la mesure.

6. Récapitulatif

|---|---|---|