Jusqu'ici, nous avons essentiellement considéré des suites de variables aléatoires indépendantes. Les processus stochastiques sont des objets plus généraux, comprenant des suites de variables aléatoires qui ne sont pas indépendantes. En général, on interprète l'indice numérotant ces variables comme le temps. Un cas important est celui des processus markoviens, pour lesquels chaque variable aléatoire de la suite ne dépend que de la précédente. La marche aléatoire et les chaînes de Markov sont des exemples de processus stochastiques markoviens, que nous allons étudier plus en détail.