La particularité des chaînes régulières est que l'on peut aller de
n'importe quel état vers n'importe quel autre état en un nombre fixé
de pas, où
est indépendant de l'état de départ. Pour les
chaînes ergodiques, on demande simplement que tout état soit
atteignable depuis tout autre, mais le nombre de pas n'est pas
nécessairement fixé.
Nous allons d'abord étudier de plus près les chaînes
régulières, dont le comportement asymptotique est plus simple. En
particulier, la suite des puissances de leur matrice de transition
converge toujours vers une matrice particulière, dont toutes les lignes
sont égales.
L'interprétation des grandeurs
est la suivante: On a
Pour déterminer les , il n'est pas nécessaire de calculer
explicitement. En effet, le résultat suivant montre que
est un vecteur
propre (à gauche) de
. On peut donc le calculer en résolvant un
système linéaire.
L'équation a une interprétation importante.
Supposons qu'à un instant
, on ait
pour tout
.
À l'instant
on aura
Si la chaîne de Markov est ergodique mais non régulière, la suite
des ne tend en général pas vers une matrice constante. Par
exemple, les
peuvent osciller entre plusieurs valeurs. Cependant,
certaines propriétés du Théorème 3.5.4 restent vraies pour
les chaînes ergodiques générales.
Nous appellerons encore dans le cas général distribution
stationnaire l'unique vecteur tel que
et
.
Ce vecteur satisfait toujours la relation (3.5.18).
On sait déterminer d'autres propriétés d'une chaîne de Markov que son comportement asymptotique. Une quantité importante est la fréquence moyenne de passage dans les différents états de la chaîne.
Une première méthode de calculer est la suivante. On modifie la
matrice de transition
en rendant l'état
absorbant, c'est-à-dire
que l'on remplace
par
, et tous les autres éléments de la
ligne
par 0. La chaîne ainsi modifiée est alors absorbante.
Le temps de premier passage moyen
est alors égal au temps
d'absorption
du Théorème 3.4.6. Cette méthode est
néanmoins assez fastidieuse à mettre en oeuvre, et nous allons
introduire une méthode plus efficace pour calculer
.
L'équation (3.5.31) ne permet pas encore de calculer , car
n'est pas inversible puisque
admet la valeur propre
. Il s'avère
cependant que
est inversible, et que son inverse permet de calculer
les éléments de matrice de
.
Finalement, on peut également caractériser la fréquence des passages
en un état donné. Le nombre de passages en parmi
itérations
est donné par la variable aléatoire
Nils Berglund
FRUMAM, CPT-CNRS LUMINY
Case 907, 13288 Marseille Cedex 9, France
et
PHYMAT, UNIVERSITÉ DE TOULON
E-mail address: berglund@cpt.univ-mrs.fr