Vecteurs aléatoires à densité

Nous aimerions associer, quand c'est possible, une densité $f(x_1,\dots,x_n)$ à un tel vecteur aléatoire. C'est-à-dire que la probabilité que $X$ appartienne à un sous-ensemble $B\subset\R^n$ devrait pouvoir s'écrire comme une intégrale multiple de $f$ sur $B$.

Considérons d'abord le cas $n=2$. Supposons que pour une fonction $f:\R^2\to\R$, l'intégrale

$$f_1(x_1) = \int_{-\infty}^\infty f(x_1,x_2)\,\6x_2$$ (2.4)

existe pour chaque $x_1\in\R$. Supposons de plus que la fonction $f_1$ est intégrable. Le théorème de Fubini affirme que l'intégrale de $f_1$ est égale à celle de

$$f_2(x_2) = \int_{-\infty}^\infty f(x_1,x_2)\,\6x_1\;.$$ (2.5)

On note alors

$$\int_{\R^2} f(x_1,x_2)\,\6x_1\6x_2 \defby \int_{-\infty}^\infty f_1(x_1)\,\6x_1 \equiv \int_{-\infty}^\infty f_2(x_2)\,\6x_2\;.$$ (2.6)

Si $B\subset\R^n$, on introduit de plus

$$\int_B f(x_1,x_2)\,\6x_1\6x_2 = \int_{\R^2} \indicator{B}(x_1,x_2) f(x_1,x_2)\,\6x_1\6x_2\;,$$ (2.7)

pour autant que cette dernière intégrale existe, où

$$\indicator{B}(x_1,x_2) = \begin{cases}1 & \text{si $(x_1,x_2)\in B$\;,} \\ 0 & \text{sinon\;} \end{cases}$$ (2.8)

désigne la fonction indicatrice de $x\in B$. Ces notations se généralisent à des fonctions $f:\R^n\to\R$.

Le théorème suivant, sur lequel nous reviendrons dans la section suivante, permet d'étendre la relation (2.2.7) à des événements plus généraux. Pour l'instant il suffira de savoir que les Boréliens sont une classe de sous-ensembles de $\R^n$, comprenant en particulier les ouverts et les fermés de $\R^n$, ainsi que toutes leurs réunions et intersections.

D´EMONSTRATION. En utilisant (2.2.15) et le changement de variable $z=x_1+x_2$, on a

$$\bigexpec{X_1+X_2} = \int_{-\infty}^\infty z g(z)\,\6z = \int_{-\infty}^\infty z \int_{-\infty}^\infty f(z-x_2,x_2) \,\6x_2\,\6z$$

$$= \int_{-\infty}^\infty \int_{-\infty}^\infty (x_1+x_2) f(x_1,x_2)\,\6x_1\6x_2$$

$$= \int_{-\infty}^\infty x_1 \underbrace{\int_{-\infty}^\infty f(x... ...nfty x_2 \underbrace{\int_{-\infty}^\infty f(x_1,x_2)\,\6x_1}_{f_2(x_2)}\,\6x_2$$

$$= \bigexpec{X_1} + \bigexpec{X_2}\;.$$ (2.9)

$\qedsymbol$

D´EMONSTRATION.

$\qedsymbol$

Remarquons que les $f_i(x_i)$ sont évidemment les densités marginales de $f(x_1,\dots,x_n)$. La relation (2.2.13) implique immédiatement le résultat suivant.

Ceci motive la définition suivante.

Nous appliquons maintenant ces résultats au cas particulier important de variables aléatoires gaussiennes, c'est-à-dire suivant des lois normales.

D´EMONSTRATION. Nous allons considérer le cas $n=2$, le cas général s'en déduit par récurrence. Il est plus commode de travailler avec $Y_1=X_1-\mu_1$ et $Y_2=X_2-\mu_2$, qui suivent des lois normales centrées (c'est-à-dire de moyenne nulle). Soit

$$u = u(y_2) = \frac{\sqrt{\sigma_1^2+\sigma_2^2}}{\sigma_1\sigma_2} y_2 - \frac{\sigma_2}{\sigma_1 \sqrt{\sigma_1^2+\sigma_2^2}} z\;.$$ (2.10)

Nous allons utiliser le fait que

$$u^2 + \frac{z^2}{\sigma_1^2+\sigma_2^2} = \frac{(z-y_2)^2}{\sigma_1^2} + \frac{y_2^2}{\sigma_2^2}\;,$$ (2.11)

qui se vérifie par un calcul élémentaire. La densité $g$ de $Y_1+Y_2$ est alors donnée par la convolution

$$g(z) = \int_{-\infty}^\infty \frac1{\sqrt{2\pi}\,\sigma_1} \e^{-(z-y_2)^2/2\sigma_1^2} \frac1{\sqrt{2\pi}\,\sigma_2} \e^{-y_2^2/2\sigma_2^2} \, \6y_2$$

$$= \frac1{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty \exp\biggset... ...ac12 \biggpar{\frac{(z-y_2)^2}{\sigma_1^2} + \frac{y_2^2}{\sigma_2^2}}} \,\6y_2$$

$$= \frac1{2\pi\sigma_1\sigma_2} \int_{-\infty}^\infty \e^{-u^2/2} ... ...ma_1^2+\sigma_2^2)} \frac{\sigma_1\sigma_2}{\sqrt{\sigma_1^2+\sigma_2^2}} \,\6u$$

$$= \frac1{\sqrt{2\pi(\sigma_1^2+\sigma_2^2)}} \e^{-z^2/2(\sigma_1^2+\sigma_2^2)} = \varphi(z; 0, \sigma_1^2+\sigma_2^2)\;,$$ (2.12)

où nous avons utilisé le changement de variable $y_2\mapsto u(y_2)$. Ceci montre que $Y_1+Y_2$ suit la loi $\cN(0,\sigma_1^2+\sigma_2^2)$, et par conséquent $X_1+X_2$ suit la loi $\cN(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$. $\qedsymbol$

La densité conjointe des $n$ variables gaussiennes indépendantes est donnée par

$$f(x_1,\dots,x_n) = \frac1{(2\pi)^{n/2}\sigma_1\dots\sigma_n} \exp... ...frac{(x_1-\mu_1)^2}{\sigma_1^2} + \dots + \frac{(x_n-\mu_n)^2}{\sigma_n^2}}}\;,$$ (2.13)

on l'appelle une densité gaussienne à $n$ dimensions. Considérons le cas où les $X_i$ suivent la loi normale standard, c'est-à-dire

$$f(x) = f(x_1,\dots,x_n) = \frac1{(2\pi)^{n/2}} \e^{-\norm{x}^2/2}\;.$$ (2.14)

Par l'indépendance, nous aurons $\cov(X_i,X_j)=0$ pour $i\neq j$, alors que $\Var(X_i)=1$, et par conséquent $\expec{X_iX_j}$ vaut $1$ si $i=j$, 0 sinon. Soit alors $S$ une matrice non singulière, c'est-à-dire telle que $\det S\neq 0$, et $T=S^{-1}$. Considérons la variable aléatoire

$$Y = TX + \mu\;,$$ (2.15)

dont l'espérance vaut $\mu$. Quelle est sa densité? Nous avons, en vertu de la formule de changement de variable,

$$\bigprob{Y\in B} = \bigprob{X\in S(B-\mu)} = \int_{S(B-\mu)} f(x) \,\6x_1\dots\6x_n$$

$$= \int_B f(S(y-\mu)) \abs{\det S} \,\6y_1\dots\6y_n\;.$$ (2.16)

Par conséquent, la densité de $Y$ est donnée par

$$g(y) = \frac{\abs{\det S}}{(2\pi)^{n/2}} \e^{-\norm{S(y-\mu)}^2/2}\;.$$ (2.17)

Remarquons que l'on peut récrire

$$\norm{S(y-\mu)}^2 = \pscal{S(y-\mu)}{S(y-\mu)} = \pscal{y-\mu}{A(y-\mu)}$$

$$= \sum_{i,j=1}^n a_{ij}(y_i-\mu_i)(y_j-\mu_j)\;,$$ (2.18)

où $A$ est la matrice symétrique définie positive $A=S^TS$, d'éléments $a_{ij}$, qui satisfait $\det A = (\det S)^2$. Nous avons donc

$$g(y_1,\dots,y_n) = \frac{\sqrt{\det A}}{(2\pi)^{n/2}} \exp\biggset{-\frac12\sum_{i,j=1}^n a_{ij}(y_i-\mu_i)(y_j-\mu_j)}\;,$$ (2.19)

qui est la forme générale d'une densité gaussienne. Nous avons déjà vu que son espérance vaut $\mu$. Quant à sa covariance, elle se calcule en observant que

$$\bigexpec{Y_iY_j} = \biggexpec{\biggbrak{\sum_{k=1}^n T_{ik}X_k + \mu_i} \biggbrak{\sum_{\ell=1}^n T_{j\ell}X_\ell + \mu_j}}$$

$$= \sum_{k,\ell=1}^n T_{ik}T_{j\ell} \bigexpec{X_kX_\ell} + \mu_i\mu_j$$

$$= \sum_{k=1}^n T_{ik}T_{jk} + \mu_i\mu_j = (TT^T)_{ij} + \mu_i\mu_j \;,$$ (2.20)

d'où, comme $TT^T = A^{-1}$,

$$\cov(Y_i,Y_j) = (A^{-1})_{ij}\;.$$ (2.21)

La matrice $C=A^{-1}$ s'appelle la matrice de covariance de la densité gaussienne (2.2.32). Nous voyons en particulier que les variables $Y_1,\dots,Y_n$ sont non corrélées si et seulement si $A$ est diagonale, ce qui est le cas si et seulement si les variables sont indépendantes.

Voici pour terminer une autre propriété remarquable des densités gaussiennes.

D´EMONSTRATION. Il suffit à nouveau de considérer le cas $n=2$, $\mu=0$, les cas de dimension plus élevée pouvant être traités par récurrence. Or l'identité

$$a_{11}x_1^2 + 2a_{12}x_1x_2 + a_{22}x_2^2 = a_{11}\Bigpar{x_1 + \frac{a_{12}}{a_{11}}x_2}^2 + \frac{a_{11}a_{22}-a_{12}^2}{a_{11}} x_2^2$$ (2.22)

permet d'effectuer l'intégrale de la densité sur $x_1$, à l'aide du changement de variable $u=x_1 + (a_{12}/a_{11})x_2$. La densité marginale est donc proportionnelle à $\e^{-x_2^2/2\sigma_2^2}$, avec $\sigma_2$ donné par $\sigma_2^2=a_{11}/\det A$. $\qedsymbol$