Dans cette section et les suivantes, nous allons étudier des chaînes de Markov sur un ensemble fini. En fait, tout processus stochastique sur un ensemble fini, à temps discret, et jouissant de la propriété de Markov, est une chaîne de Markov. Nous commençons par étudier quelques exemples, avant de donner une définition et des propriétés générales.
Le point commun des deux exemples précédents est que la position au
temps est choisie avec une distribution de probabilité ne
dépendant que de l'endroit où l'on se trouve au temps
,
indépendamment de ce qui s'est passé aux temps précédents: C'est la
propriété de Markov.
Dans la suite, il sera utile de noter, pour tout événement ,
Une matrice dont tous les éléments sont non-négatifs, et telle que
la somme des éléments de chaque ligne vaut
est appelée une
matrice stochastique.
La relation (3.3.14) s'appelle équation de
Chapman-Kolmogorov. Elle signifie que les éléments de matrice de
donnent les probabilités de passer d'un état à l'autre en deux
pas, celles de
donnent les probabilités de passer d'un état
à l'autre en
pas.
Dans la suite, nous allons étudier plus en détail deux types de chaînes de Markov: