Échantillonnage et estimateurs

Qu'est-ce qu'une statistique $T_n = g(X_1, \dots, X_n)$ ?

Une statistique est, par définition, une variable aléatoire fonction de l'échantillon $(X_1,\dots,X_n)$ uniquement, sans dépendre des paramètres inconnus de la population (sinon on ne pourrait pas la calculer à partir des données observées).

Quelle est la formule de la moyenne empirique $\overline{X}_n$ ?

La moyenne empirique est la moyenne arithmétique des observations : $\overline{X}_n = \dfrac{1}{n}\displaystyle\sum_{i=1}^n X_i$.

Vrai ou faux : la moyenne empirique $\overline{X}_n$ est un estimateur sans biais de $\mu = E[X]$.

Vrai. Par linéarité de l'espérance, $E[\overline{X}_n] = \dfrac{1}{n}\displaystyle\sum_{i=1}^n E[X_i] = \dfrac{1}{n}\cdot n\mu = \mu$, donc le biais $E[\overline X_n]-\mu$ est nul.

Quelle est la formule de la variance empirique corrigée $S_n^2$ ?

La variance empirique corrigée divise la somme des écarts au carré par $n-1$ (et non $n$), ce qui rend l'estimateur sans biais pour $\sigma^2$.

Que signifie « $\widehat{\theta}_n$ est un estimateur sans biais de $\theta$ » ?

Le biais est défini par $b(\widehat\theta_n) = E[\widehat\theta_n]-\theta$. L'estimateur est sans biais lorsque cette quantité est nulle, c'est-à-dire $E[\widehat\theta_n]=\theta$ — en moyenne sur tous les échantillons possibles, et non sur un échantillon particulier.

Échantillon $x_1,\dots,x_4 = 1, 3, 5, 7$. Que vaut la variance empirique non corrigée $\widehat\sigma_4^2 = \frac{1}{4}\sum(x_i-\overline x)^2$ ?

$\overline x = \dfrac{1+3+5+7}{4} = 4$. Écarts au carré : $(1-4)^2=9$, $(3-4)^2=1$, $(5-4)^2=1$, $(7-4)^2=9$, somme $=20$. Donc $\widehat\sigma_4^2 = \dfrac{20}{4} = 5$.

Pour le même échantillon $1, 3, 5, 7$, que vaut la variance corrigée $s_4^2 = \frac{1}{3}\sum(x_i-\overline x)^2$ ?

On a calculé $\sum(x_i-\overline x)^2 = 20$ (exercice précédent). Donc $s_4^2 = \dfrac{20}{3} \approx 6{,}67$. On vérifie la relation $s_4^2 = \dfrac{n}{n-1}\widehat\sigma_4^2 = \dfrac{4}{3}\times 5 = \dfrac{20}{3} \approx 6{,}67$.

Quelle est la relation entre $E[\widehat\sigma_n^2]$ et $\sigma^2$ ?

C'est le résultat clé établissant le biais de la variance empirique non corrigée : $E[\widehat\sigma_n^2] = \dfrac{n-1}{n}\sigma^2 < \sigma^2$, donc $\widehat\sigma_n^2$ sous-estime systématiquement la variance en moyenne.

Vrai ou faux : un estimateur biaisé ne peut jamais être convergent.

Faux. L'exemple de $\widehat\sigma_n^2$ le montre : son biais $-\sigma^2/n$ est non nul pour tout $n$ fini, mais il tend vers $0$ quand $n\to+\infty$, et sa variance tend aussi vers $0$ ; $\widehat\sigma_n^2$ est donc biaisé mais convergent.

Quelle est la formule de l'erreur quadratique moyenne $\text{EQM}(\widehat\theta_n)$ en fonction du biais et de la variance ?

C'est la décomposition biais-variance : $\text{EQM}(\widehat\theta_n) = E[(\widehat\theta_n-\theta)^2] = \text{Var}(\widehat\theta_n) + b(\widehat\theta_n)^2$, obtenue en ajoutant et soustrayant $E[\widehat\theta_n]$ dans le carré.

Soit $X_1,\dots,X_n$ i.i.d. de variance $\sigma^2=9$ et $n=36$. Que vaut $\text{Var}(\overline X_n)$ ?

$\text{Var}(\overline X_n) = \dfrac{\sigma^2}{n} = \dfrac{9}{36} = 0{,}25$.

Démontrer que $E[\widehat\sigma_n^2] = \dfrac{n-1}{n}\sigma^2$, où $\widehat\sigma_n^2 = \dfrac{1}{n}\sum_{i=1}^n (X_i-\overline X_n)^2$, pour $X_1,\dots,X_n$ i.i.d. d'espérance $\mu$ et de variance $\sigma^2$.

Preuve. On part de l'identité algébrique (valable pour toute suite de réels) :

On prend l'espérance des deux membres :

Or $E[(X_i-\mu)^2] = \sigma^2$ pour chaque $i$, donc le premier terme vaut $n\sigma^2$. Et $E[(\overline X_n-\mu)^2] = \text{Var}(\overline X_n) = \dfrac{\sigma^2}{n}$ (car $\overline X_n$ est sans biais). Donc le second terme vaut $n \cdot \dfrac{\sigma^2}{n} = \sigma^2$.

On obtient :

En divisant par $n$ :

On compare deux estimateurs de $\mu$ : $\widehat\mu_1 = \overline X_n$ (sans biais, variance $\sigma^2/n$) et $\widehat\mu_2 = \frac{n}{n+1}\overline X_n$ (biaisé). Lequel a la plus petite EQM si $\mu=10$, $\sigma^2=4$, $n=4$ ?

$\text{EQM}(\widehat\mu_1) = \sigma^2/n = 4/4 = 1$. Pour $\widehat\mu_2$ : $E[\widehat\mu_2] = \frac{n}{n+1}\mu = \frac{4}{5}\times 10 = 8$, donc biais $b=8-10=-2$, et $\text{Var}(\widehat\mu_2) = \left(\frac{n}{n+1}\right)^2\frac{\sigma^2}{n} = \left(\frac{4}{5}\right)^2 \times 1 = 0{,}64$. Donc $\text{EQM}(\widehat\mu_2) = 0{,}64 + (-2)^2 = 0{,}64+4=4{,}64 > 1$. Ici $\widehat\mu_1$ a la plus petite EQM (le biais introduit par $\widehat\mu_2$ domine largement le faible gain de variance) — la bonne réponse est donc B, $\widehat\mu_1$.

Soit $X_1,\dots,X_n$ i.i.d. de loi de Bernoulli de paramètre $p$ (donc $\mu=p$, $\sigma^2=p(1-p)$). Montrer que $\widehat p = \overline X_n$ est un estimateur sans biais et convergent de $p$, et donner sa variance.

Sans biais : $E[\widehat p] = E[\overline X_n] = \dfrac{1}{n}\displaystyle\sum_{i=1}^n E[X_i] = \dfrac{1}{n}\cdot np = p$. Le biais est donc nul.

Variance : comme les $X_i$ sont indépendantes de variance commune $\sigma^2=p(1-p)$ :

Convergence : par l'inégalité de Bienaymé-Tchebychev, pour tout $\varepsilon>0$ :

Vrai ou faux : si $\widehat\theta_n$ est un estimateur sans biais de $\theta$, alors minimiser son erreur quadratique moyenne équivaut à minimiser sa variance.

Vrai. D'après la décomposition $\text{EQM}(\widehat\theta_n)=\text{Var}(\widehat\theta_n)+b(\widehat\theta_n)^2$, si $b(\widehat\theta_n)=0$ (estimateur sans biais), alors $\text{EQM}(\widehat\theta_n)=\text{Var}(\widehat\theta_n)$ : les deux quantités coïncident exactement, donc minimiser l'une revient à minimiser l'autre.