Théorème de la limite centrale

Dans cette section, nous allons donner une interprétation plus précise de la variance d'une variable aléatoire. Examinons à nouveau la somme $S_n=X_1+\dots+X_n$ de $n$ variables aléatoires de même espérance $\mu$ et même variance $\sigma^2$. Nous supposerons les $X_i$ indépendants. Nous avons vu dans la section précédente que la moyenne $S_n/n$ a une grande probabilité d'être proche de $\mu$, mais comment se comporte l'écart $S_n/n - \mu$? Dans la preuve du Théorème 1.4.3, nous avons vu que

$$\biggprob{\biggabs{\frac{S_n}n - \mu} \geqs \eps} \leqs \frac{\sigma^2}{n\eps^2}\;.$$ (1.13)

Le membre de droite tend vers zéro lorsque $n\to\infty$, non seulement pour $\eps$ constant, mais également si $\eps=\eps(n)$ satisfait $\lim_{n\to\infty}n\eps(n)^2=\infty$. Par contre, il reste constant si $\eps(n)=\sigma/\sqrt{n}$. On dit que la moyenne $S_n/n$ `` se concentre'' dans un intervalle $[\mu-\sigma/\sqrt n, \mu+\sigma/\sqrt n\,]$. Pour étudier plus précisément la déviation entre la moyenne et l'espérance, on introduit la variable rééchelonnée

$$\widehat S_n = \frac{S_n-n\mu}{\sqrt n \,\sigma}\;.$$ (1.14)

Remarquons que $\expec{\widehat S_n}=0$ et $\Var(\widehat S_n)=1$.

Le théorème de la limite centrale affirme que pour tout intervalle $[a,b]\subset\R$,

$$\lim_{n\to\infty} \Bigprob{a \leqs \widehat S_n \leqs b} = \int_a^b \frac{\e^{-x^2/2}}{\sqrt{2\pi}} \,\6x\;.$$ (1.15)

Commençons par vérifier que le membre de droite définit bien une probabilité.

D´EMONSTRATION. L'astuce consiste à calculer le carré de l'intégrale, qui vaut

$$\biggpar{\int_{-\infty}^{\infty} \frac{\e^{-x^2/2}}{\sqrt{2\pi}} ... ...\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \e^{-(x^2+y^2)/2} \,\6x\,\6y\;.$$ (1.16)

En passant en coordonnées polaires $(r,\varphi)$, et tenant compte du Jacobien de la transformation $\6x\6y=r\,\6r\6\varphi$, cette expression devient

$$\frac1{2\pi} \int_0^{2\pi} \int_0^{\infty} \e^{-r^2/2} r\,\6r\,\6\varphi = \Bigbrak{-\e^{-r^2/2}}_0^\infty = 1\;.$$ (1.17)

$\qedsymbol$

On a donc bien

$$\lim_{n\to\infty} \Bigprob{-\infty \leqs \widehat S_n \leqs \infty} = 1\;.$$ (1.18)

Pour démontrer le théorème de la limite centrale dans le cas particulier de la loi binomiale $b(k; n, q)$, il est utile de connaître la formule de Stirling:

D´EMONSTRATION. Considérons la fonction Gamma d'Euler

$$\Gamma(n) = \int_0^\infty t^{n-1} \e^{-t}\,\6t\;.$$ (1.19)

Il est clair que $\Gamma(1)=1$, et une intégration par parties montre que

$$\Gamma(n+1) = \int_0^\infty t^n \e^{-t}\,\6t = \Bigbrak{-t^n \e^{-t}}_0^\infty + n \int_0^\infty t^{n-1} \e^{-t}\,\6t = n \Gamma(n)\;,$$ (1.20)

d'où $\Gamma(n+1) = n!$. Écrivons alors, à l'aide du changement de variables $t=n+\sqrt{n} \,s$,

$$n! = \Gamma(n+1) = \int_0^\infty t^n \e^{-t}\,\6t$$

$$= \int_{-\sqrt n}^\infty (n+\sqrt{n}\,s)^n \e^{-n-\sqrt{n}\,s} \sqrt{n}\,\6s$$

$$= n^n \e^{-n} \sqrt{n} \int_{-\sqrt n}^\infty \biggpar{1+\frac{s}{\sqrt{n}}}^n \e^{-\sqrt n\,s} \,\6s$$

$$= n^n \e^{-n} \sqrt{2\pi n}\, \frac1{\sqrt{2\pi}} \int_{-\infty}^\infty \e^{-h_n(s)}\,\6s\;,$$ (1.21)

où nous avons posé

$$h_n(s) = \begin{cases}\sqrt n\,s - n \log\biggpar{1+\dfrac{s}{\sqrt{n}}} &\text{pour $s>-\sqrt n$\;,}\\ + \infty &\text{autrement\;.} \end{cases}$$ (1.22)

Un développement limité en $1/\sqrt{n}$ montre que

$$h_n(s) = \frac{s^2}2 + \biggOrder{\frac{s^3}{\sqrt{n}}} s>-\sqrt n$$ (1.23)

et donc $h_n(s)$ converge simplement vers $-s^2/2$. D'autre part on vérifie la minoration

$$h_n(s) \geqs g(s) = \begin{cases}\dfrac{s^2}6 & \text{pour $s\leqs 1$\;,} \\ \dfrac{s-1}2 & \text{pour $s\geqs 1$\;,} \end{cases}$$ (1.24)

valable pour tout $n\geqs 1$. On vérifie facilement que la fonction $\e^{-g(s)}$ est intégrable. Par conséquent, le théorème de la convergence dominée montre que l'on peut échanger limite $n\to\infty$ et intégrale, pour obtenir

$$\lim_{n\to\infty} \frac{n!}{n^n \e^{-n} \sqrt{2\pi n}} = \frac{1}... ...ty} \e^{-h_n(s)}\,\6s = \frac1{2\pi} \int_{-\infty}^\infty \e^{-s^2/2} \,\6s\;,$$ (1.25)

et cette dernière intégrale vaut $1$ par le lemme précédent. $\qedsymbol$

Nous pouvons maintenant prouver le théorème de la limite centrale pour la loi binomiale par un calcul relativement direct. Rappelons que cette loi a espérance $nq$ et variance $nq(1-q)$.

D´EMONSTRATION. Nous allons considérer le cas $q=1/2$ afin de simplifier les notations, mais le cas d'un $q$ quelconque se montre de manière totalement analogue. Il s'agit de calculer

$$\Bigprob{a\leqs \widehat S_n\leqs b} = \biggprob{\frac n2 + \frac{\sqrt n}2 a \leqs S_n \leqs \frac n2 + \frac{\sqrt n}2 b}$$

$$= \sum_{k \in A} b(k; n, 1/2)\;.$$ (1.26)

où $A = \set{0,\dots,n} \cap \brak{n/2 + \sqrt n \,a/2, n/2 + \sqrt n \,b/2}$. Dans la suite, nous dirons que deux fonctions $x(k,n)$ et $y(k,n)$ sont équivalentes, et nous noterons $x(k,n)\sim y(k,n)$, si

$$\lim_{n\to\infty} \sup_{k \in A} \biggabs{\frac{x(k,n)}{y(k,n)}-1} = 0\;.$$ (1.27)

En particulier, nous avons $k\sim n/2$ et $(n-k)\sim n/2$. La formule de Stirling nous donne alors

$$b(k; n, 1/2) = 2^{-n} \frac{n!}{k!(n-k)!}$$

$$\sim 2^{-n} \frac{n^n\e^{-n}\sqrt{2\pi n}} {k^k\e^{-k}\sqrt{2\pi k}(n-k)^{n-k}\e^{-(n-k)}\sqrt{2\pi (n-k)}}$$

$$= \frac{2^{-n}}{\sqrt{2\pi}} \sqrt{\frac{n}{k(n-k)}} \,\frac{n^n}{k^k(n-k)^{n-k}}$$

$$= \frac1{\sqrt{2\pi n}} \frac1{\sqrt{(k/n)(1-k/n)}} \,\frac{2^{-n}}{(k/n)^k(1-k/n)^{n-k}}\;.$$ (1.28)

Écrivons $k$ sous la forme $k=n/2 + x\sqrt{n}/2$, avec $x\in[a,b]$. On aura donc

$$\frac kn = \frac12 \biggpar{1+\frac x{\sqrt{n}}}\;, \qquad 1 - \frac kn = \frac12 \biggpar{1-\frac x{\sqrt{n}}}\;,$$ (1.29)

et par conséquent

$$b(k; n, 1/2) \sim \frac1{\sqrt{2\pi n}} \frac2{\sqrt{1-x^2/n}} \psi(x,n)\;,$$ (1.30)

où nous avons introduit

$$\psi(x,n) = \biggpar{1+\frac x{\sqrt{n}}}^{-\bigpar{1+x/\sqrt{n}\,}n/2} \biggpar{1-\frac x{\sqrt{n}}}^{-\bigpar{1-x/\sqrt{n}\,}n/2}\;.$$ (1.31)

Observons que le logarithme de $\psi(x,n)$ s'écrit

$$\log\psi(x,n) = -\frac n2 \biggbrak{\biggpar{1+\frac x{\sqrt{n}}}... ...qrt{n}}} + \biggpar{1-\frac x{\sqrt{n}}} \log \biggpar{1-\frac x{\sqrt{n}}}}\;,$$ (1.32)

et qu'un développement limité en $1/\sqrt{n}$ donne

$$\log\psi(x,n) = -\frac{x^2}2 + \biggOrder{\frac{x^3}{\sqrt{n}}}\;.$$ (1.33)

Il suit donc de (1.5.21) que

$$b(k; n, 1/2) \sim \frac2{\sqrt{2\pi n}} \e^{-x^2/2} \biggbrak{1+\biggOrder{\frac{x}{\sqrt n}}} \sim \frac2{\sqrt{2\pi n}} \e^{-x^2/2}\;,$$ (1.34)

puisque $x\in[a,b]$. En remplaçant dans (1.5.17), il vient

$$\Bigprob{a\leqs \widehat S_n\leqs b} \sim \frac1{\sqrt{2\pi}}\sum... ...olon\, (n + \sqrt{n}\,x)/2 \in \set{0,\dots,n}} \frac2{\sqrt{n}} \e^{-x^2/2}\;.$$ (1.35)

La somme s'effectue sur des $x$ régulièrement espacés de $2/\sqrt{n}$. C'est donc une somme de Riemann, qui converge vers $\int_a^b \e^{-x^2/2}\,\6x$. $\qedsymbol$

Nous donnons maintenant, sans démonstration, l'énoncé général du théorème de la limite centrale.

Le Théorème 1.5.4 montre que pour $n$ grand, on a approximativement

$$\biggprob{\frac{S_n-n\mu}{\sqrt{n\sigma^2}}\in[a,b]} \simeq \Phi(b) - \Phi(a)\;,$$ (1.36)

ou encore

$$\bigprob{S_n\in[\hat a,\hat b]} \simeq \Phi\biggpar{\frac{\hat b ... ...u}{\sqrt{n\sigma^2}}} - \Phi\biggpar{\frac{\hat a - n\mu}{\sqrt{n\sigma^2}}}\;.$$ (1.37)