document word - I3S

Processus Stochastiques
Definition. Caractérisation d'ordre N. Moments. Stationnarité.
Ergodicité. Processus Gaussiens. Processus Markoviens. Théorème de
Mercer, représentation de Karhunen-Loève. Représentation spectrale.
Processus blancs. Modèles paramétriques (AR, MA, ARMA). Modèles
d'état. Décomposition de Wold.

1. Définition et propriétés
1.1 Définition
Un processus aléatoire (ou stochastique) (p.s.) peut être défini de deux
façons:

une application de S -- l'espace des réalisations -- dans un espace
de fonctions de variable réelle (temps)
[pic]
que, à chaque événement élémentaire fait correspondre une fonction du
temps;
une collection de variables aléatoires indexées
[pic]
où[pic] est une variable aléatoire pour chaque t.


Les deux définitions sont équivalentes, et on utilisera une et l'autre
selon le problème en étude.

La figure suivante illustre ces deux définitions:
[pic]


Exemple
Dans cet exemple on considère un processus aléatoire défini à partir
d'une seule variable aléatoire [pic] uniformément distribuée en [0,1],
de la façon suivante:
[pic]
où [pic] est le résultat de la division entière de a par b, et [pic]
est un nombre irrationnel.
La figure suivante illustre une des réalisations possibles de ce
processus.
[pic]
Le caractère aléatoire du processus est plus clairement mis en
évidence par la figure suivante, où sont représentées trois
réalisations du processus, obtenues à partir de trois conditions
initiales différentes:
[pic]
Exemple
Dans cet exemple, on présente un processus qui est plus naturellement
modélisé comme un ensemble de variables aléatoires indexées.
Considérons le procéssus aléatoire discret [pic]
[pic]
où les variables aléatoires [pic] sont iid, gaussiennes, de moyenne
nulle et variance [pic].
La figure suivante illustre quelques réalisations de ce processus.


[pic]




1.2 Caractérisation statistique

1.2.1 Caractérisation d'ordre N
La caractérisation d'ordre N d'un processus aléatoire consiste à spécifier
la densité de probabilité conjointe de tous les ensembles [pic], [pic]:
[pic]


Exercice: Déterminer la caractérisation d'ordre 1 des processus des
exemples 1 et 2.
Déterminer la caractérisation d'ordre 2 du processus de l'exemple 2.


1.2.2 Caractérisation complète
La caractérisation complète d'un processus consiste à spécifier sa
caractérisation d'ordre N pour toutes les valeurs de N finies ([pic]).

1.2.3 Caractérisation partielle
Au lieu de spécifier une densité de probabilité, on défini certaines
caractéristiques de la densité conjointe. On utilisera surtout la
caractérisation partielle d'ordre deux, qui fait intervenir seulement deux
variables aléatoires, [pic].

1.3 Moments
Moment d'ordre 1 (moyenne)
[pic]
On notera que la moyenne d'un processus aléatoire, définie comme la valeur
moyenne de chacune des variables aléatoires qui constituent le processus,
est une fonction déterministe de variable réelle.

Moments d'ordre 2 (auto-corrélation et covariance)

La fonction d'auto-corrélation est le moment non-centré d'ordre deux du
p.s.:
[pic]
Propriétés
1. Une fonction d'auto-corrélation est définie non-négative, c'est à dire,
[pic]
De la même façon, si R(t,s) est une fonction définie non-négative, on peut
toujours trouver un processus d'ordre deux (c.a.d, de valeur moments
d'ordre deux finis), dont la fonction d'auto-corrélation est R(t,s).
2. Une fonction d'auto-corrélation est symétrique (pour variables
réelles) :
[pic]
Ceci découle directement de la définition.
3. Inégalité de Schwarz
[pic].

4. Fermeture
Si R(t,s) et P(t,s) sont des fonctions d'auto-corrélation, alors
. R(t,s)+P(t,s) est aussi une fonction d'auto-corrélation
. R(t,s)P(t,s) est aussi une fonction d'auto-corrélation
. Si a,b>0, alors aR(t,s)+bP(t,s) est encore une fonction d'auto-
corrélation
. Formes bilinéaires
Pour toute fonction f(t), R(t,s) =f(t)f(s) est une fonction
d'autocorrélation.


La fonction de covariance est le moment centré d'ordre deux:
[pic]

On défini encore le coefficient de corrélation, qui est une mesure
normalisée de la corrélation statistique entre les variables
correspondantes aux deux instants du temps, t et u:
[pic]
Le module du coefficient de corrélation est toujours inférieur à 1
(vérifier cette affirmation).

On remarque que les trois fonctions qu'on vient de définir sont des
fonctions réelles (déterministes) de deux variables réelles.

Exercice: Déterminer la caractérisation partielle d'ordre deux du
procéssus de l'exemple de la page 29.

1.3.1 Moments croisés de deux processus
De la même façon qu'on a défini la distribution conjointe deux variables
aléatoires, on peut aussi considérer la distribution conjointe de deux
processus. Les processus sont alors caractérisés par les distributions
conjointes de leurs respectives variables aléatoires. Soient [pic] et [pic]
deux processus conjointement distribués. Leur densité conjointe d'ordre N
est
[pic].

La corrélation croisée des processus [pic] et [pic] est le moment croisé
(non-centré) d'un pair de variables prises chacune dans un des processus
aléatoires:
[pic]

De la même façon, la covariance croisée est le moment centré correspondant:
[pic]

1.3.2 Processus Orthogonaux
On dit que deux processus sont orthogonaux quand leur fonction de
corrélation est identiquement nulle:
[pic]

On établi par la suite l'analogie entre cette notion d'orthogonalité
(statistique) et la notion géométrique d'orthogonalité de vecteurs
dans un espace Euclidean de dimension finie. Soient x et y deux
vecteurs en Rn, et représentons leur produit scalaire (ou produit
interne) par . On dit que les vecteurs sont orthogonaux (au sens
géométrique, c'est à dire qu'ils forment entre eux un angle de 90o) si
leur produit interne est nul:
[pic].


Considérons maintenant la condition de orthogonalité statistique,
[pic]
Admettons, pour simplifier, qu'il s'agit de deux processus qui
prennent valeurs dans deux ensembles finis,
[pic]
et soit [pic]la probabilité conjointe des deux processus. Alors la
valeur moyenne de l'équation antérieure peut s'écrire
[pic].
Admettons que l'on fait N tirages au sort des variables aléatoires
[pic] et [pic] et construisons deux vecteurs aléatoires X et Y, de
dimension N:
[pic],
où [pic] est la paire de valeurs obtenues dans le i-ièmme tirage.
Selon la loi des grands nombres, on doit avoir [pic] et [pic] un
nombre de fois égal à [pic]. La somme de l'expression antérieure est
donc égale a
[pic]
qui est bien l'expression du produit interne des deux vecteurs,
reliant ainsi les notions de orthogonalité statistique et de
orthogonalité géométrique.

1.3.3 Processus non-correlés
Deux processus sont non correlés si leur fonction de covariance est
identiquement nulle:
[pic]


Notons que non-corrélation n'implique pas, en général, orthogonalité.
On peut démontrer que
[pic].
On peut donc avoir corrélation nulle sans que les processus soient
orthogonaux. Cependant, pour des processus de moyenne zéro, les deux
conditions sont, évidemment, équivalentes.


1.4 Processus indépendants
Deux processus aléatoires sont indépendants si n'importe quel ensemble de
variables aléatoires prises dans les deux processus sont indépendantes.
Cela veut dire que, [pic] , la densité conjointe des variables aléatoires
[pic] de [pic], et [pic] de [pic], factorise de la façon suivante:
[pic]


1.5 Processus stationnaires
On dit qu'un processus est stationnaire si ses caractéristiques ne varient
pas avec la définition de l'origine du temps, ou, encore, si ses
caractéristiques statistiques ne varient pas le long du temps. On défini
plusieurs types de stationnarité.

Stationnarité au sens strict
Un processus est stationnaire au sens strict si pour toute valeur de N, sa
caractérisation d'ordre N est invariante par rapport à une translation de
l'axe des temps:
[pic]

Exemple.
Considérer le processus défini dans la page 28. Montrer qu'il s'agit
d'un processus stationnaire.


Stationnarité au sens large (ou de deuxième ordre)
Un processus aléatoire est stationnaire au sens large si sa moyenne est
constante,
[pic],
et sa fonction d'auto-covariance ne dépend pas de l'origine du temps. Comme
[pic] ne dépend que de deux instants du