next up previous contents
Next: Chaînes de Markov absorbantes Up: Introduction aux processus stochastiques Previous: Le processus ponctuel de   Contents


Les chaînes de Markov

Dans cette section et les suivantes, nous allons étudier des chaînes de Markov sur un ensemble fini. En fait, tout processus stochastique sur un ensemble fini, à temps discret, et jouissant de la propriété de Markov, est une chaîne de Markov. Nous commençons par étudier quelques exemples, avant de donner une définition et des propriétés générales.

\begin{figure}{\small {\bf Figure 3.6. }
Une cha\^\i ne de Markov \\lq a deux \'etats.}\end{figure}


\begin{example}
Dans des temps tr\\lq es recul\'es, il n'y avait en France que deux...
...oportion du temps
pass\'ee \\lq a regarder la premi\\lq ere cha\^\i ne.
\end{example}

\begin{figure}{\small {\bf Figure 3.7. }
La cha\^\i ne de Markov associ\'ee \\lq a la marche de l'ivrogne.}\end{figure}


\begin{example}
Un ivrogne titube le long d'une rue. A chacun des angles de la r...
...t\'es cherch\'ees, ainsi que d'autres quantit\'es
int\'eressantes.
\end{example}

Le point commun des deux exemples précédents est que la position au temps $ k+1$ est choisie avec une distribution de probabilité ne dépendant que de l'endroit où l'on se trouve au temps $ k$, indépendamment de ce qui s'est passé aux temps précédents: C'est la propriété de Markov.


\begin{definition}[Cha\^\i ne de Markov]
Soit $\cX=\set{1,\dots,m}$\ un ensemble...
...in{equation}
p_{ij} = \pcond{X_k=j}{X_{k-1}=i}\;.
\end{equation}\end{definition}

Dans la suite, il sera utile de noter, pour tout événement $ A$,

$\displaystyle \probin{k,i}{A}$ $\displaystyle \defby \pcond{A}{X_k=i}\;,$    
$\displaystyle \probin{i}{A}$ $\displaystyle \defby \probin{0,i}{A} = \pcond{A}{X_0=i}\;.$ (3.46)

En particulier, on aura $ \probin{k,i}{X_{k+1}=j}=
\probin{i}{X_1=j}=p_{ij}$ pour tout temps $ k$.


\begin{prop}
Soit $P$\ la matrice de transition d'une cha\^\i ne de Markov.
Alor...
...t
donn\'ee par l'\'el\'ement de matrice $ij$\ de $P^\ell$.
\end{enum}\end{prop}

EMONSTRATION.
\begin{enum}
\item On a
\begin{equation}
1 = \probin{k,i}{X_{k+1}\in\cX}
= \sum...
...ent $ij$de la matrice $P^2$. Le cas $\ell>2$\ suit par r\'ecurrence.
\end{enum}
$ \qedsymbol$

Une matrice $ P$ dont tous les éléments sont non-négatifs, et telle que la somme des éléments de chaque ligne vaut $ 1$ est appelée une matrice stochastique. La relation (3.3.14) s'appelle équation de Chapman-Kolmogorov. Elle signifie que les éléments de matrice de $ P^2$ donnent les probabilités de passer d'un état à l'autre en deux pas, celles de $ P^\ell$ donnent les probabilités de passer d'un état à l'autre en $ \ell$ pas.


\begin{definition}[\'Etat atteignable]
L'\'etat $j$\ est dit\/ \defwd{atteignabl...
...el\'ement de matrice $ij$\ de $P^k$\ soit strictement
positif.
\end{definition}


\begin{example}
% latex2html id marker 3701Revenons \\lq a l'exemple~\ref{ex_mark...
...is le bar, puisque l'ivrogne
reste au bar d\\lq es qu'il s'y trouve.
\end{example}

Dans la suite, nous allons étudier plus en détail deux types de chaînes de Markov:
\begin{itemiz}
\item les cha\^\i nes de Markov \defwd{absorbantes}\/, dans lesqu...
...ionnaire, comme c'est le cas dans l'exemple
du t\'el\'espectateur.
\end{itemiz}


next up previous contents
Next: Chaînes de Markov absorbantes Up: Introduction aux processus stochastiques Previous: Le processus ponctuel de   Contents
berglund 2005-11-28