4.1 Estimation de paramètres déterministes - I3S

Théorie de l'estimation

Estimation de paramètres déterministes. Biais et variance d'estimation.
Estimateurs non-biaisés de variance minimale. Maximum de vraisemblance.
Borne de Cramér Rao. Consistance et efficacité. Estimation dans le modèle
linéaire. Identification. Estimation MV des paramètres d'un modèle ARMA.
Prédiction linéaire. La méthode de Prony et la méthode de Pisarenko.
Méthodes d'haute résolution.


















4.1 Estimation de paramètres déterministes 77

4.2 Biais et variance d'estimation 77

4.3 Maximum de vraisemblance 78

4.4 Borne de Cramer-Rao 80

4.5 Efficacité. 81

Cas vectoriel 84

4.6 Le modèle linéaire 84

4.7 Identification 87

4.8 Identification MV des paramètres d'un modèle ARMA 88

4.9 Prédiction linéaire et la méthode de Prony 91

4.10 Méthode de Prony 92

4.11 Méthode de Pisarenko 95

Exercices 98

ANNEXE 1: Gradients vectoriels et matriciels 100

Gradients vectoriels 100

Gradients Matriciels 100

ANNEXE 2: Inversion de matrices 102


4.1 Estimation de paramètres déterministes


Les méthodes statistiques d'estimation de paramètres sont basés sur la
connaissance des trois composantes suivantes :
. l'ensemble où le(s) parametre(s) à estimer, ?, prennent valeurs :
l'espace de paramètres, ?;
. la loi de probabilité qui décrit l'effect du paramètre sur les
observations : p(r|?) ;
. l'ensemble où les observations, r, prennent valeurs : l'espace des
observations R.

De la connaissance de ces trois entités, on peut déduire une règle
d'estimation qui fait correspondre à chaque observation possible r, une
valeur du paramètre à estimer q, que l'on représente par [pic].
p(r|?)








espace de paramètres espace des observations
espace de paramètres
? R
?

Pour pouvoir déterminer d'une façon constructive une règle d'estimation, il
faut définir un critère qui évalue la qualité des résultats, et
définir l'estimée comme l'application de R en ? qui optimise ce critère. On
présente ensuite plusieurs mesures de la qualité (performance)
d'estimateurs.

On commence par analyser le cas où le paramètre à estimer est déterministe,
et la description statistique des observations est donnée par la fonction
densité de probabilité conditionnelle des observations pour chaque valeur
possible du paramètre :
[pic]

4.2 Biais et variance d'estimation

Les estimés [pic] sont des variables aléatoires dont la valeur est
déterminée par la réalisation qui est observée (la valeur de r). Il est
donc naturel d'analyser ses deux premiers moments.

Le premier moment est la moyenne (espérance)
[pic]
Idéalement,
[pic]
c'est-à-dire, l'estimée varie autour de la vraie valeur du paramètre.

On désigne la différence [pic] par biais d'estimation. Il nous indique la
valeur moyenne de l'erreur d'estimation [pic].
Trois cas sont possibles
. [pic] pour toutes les valeurs possibles du paramètre. On dit alors que
l'estimée est non-biaisée ;

. [pic]où B est indépendent de ?. Dans ce cas l'estimateur a un biais
constant et connu, qui peut toujours être eliminé ;
. [pic], c'est-à-dire, on a un biais qui dépend de ? (qui est inconnu).


On désire en général avoir des estimateurs qui soient non-biaisés.
Cependant, un estimateur peut être non-biaisé et être de mauvaise qualité,
s'il produit, avec une grande probabilité, des estimés qui sont très
différentes de la vraie valeur. Une deuxième caractéristique importante
d'un estimateur est la variance de l'erreur d'estimation :
[pic]
Cette variance doit être aussi petite que possible, de façon à que
l'estimée soit concentrée autour de la vraie valeur du paramètre.


Estimateurs non-biaisés à variance minimale

La conjonction des deux critères décrits conduit la définition d'estimées
non-biaisées à variance minimale. Il n'existe pas de procédure génerale
pour déterminer ces estimées.

Pour des modèles linéaires avec des observations gaussiennes, comme nous le
verrons dans la section 4.6, l'estimée non-biaisée de variance minimale
existe, et est égale à l'estimée de Maximum de Vraisemblance (voir section
4.3).


4.3 Maximum de vraisemblance

Les estimateurs de maximum de vraisemblance correspondent à prendre comme
estimateur la valeur [pic] qui rend les données plus probables :
[pic]
Nottons que dans cette équation la densité conditionnelle n'est pas
utilisée en tant que telle - c'est-à-dire, comme fonction de r - mais
plutôt comme fonction du paramètre estimer ?. Cette fonction s'appelle
fonction de vraisemblance, et, d'une façon analogue au rapport de
vraisemblance pour les tests d'hypothèses, elle joue un rôle majeur dans la
théorie de l'estimation. Maximiser la fonction de vraisemblance L(r,?)
[pic]
est équivalent maximiser son logarithme, et donc,
[pic]

Si le maximum de L(r|?) est un point intérieur de ?, et L( r|?) est une
fonction continue de ?, une condition nécessaire, qui doit être vérifiée
par l'estimée du Maximum de vraisemblance est
[pic]
Les estimateurs du maximum de vraisemblance possèdent plusieurs propriétés
asymptotiques (quand le nombre d'observations, N, est grand) :

. Consistance. On dit qu'un estimateur est consistent s'il tend vers la
vraie valeur du paramètre quand le nombre d'observations tend vers
infini :
[pic]
où la convergence doit être entendue en probabilité. Les estimateurs du
maximum de vraisemblance sont consistents.
. Les estimateurs du maximum de vraisemblance sont asymptotiquement
normales.

Exemple 4.1
Soit X=(xo,x1) deux échantillons indépendents d'une variable aléatoire
uniforme dans l'intervalle [0,?]. On désire déterminer l'estimé de
Maximum de Vraisemblance de ?.


La densité conditionnelle qui décrit les observations est
[pic]
(désinez cette fonction)
Ecrivons maintenant cette fonction comme fonction de ? :
[pic]
On peut donc vérfier que la fonction de vraisemblance est maximale pour


[pic]
Cet exemple ilustre le cas où la fonction de vraisemblance n'est pas
continue, et l'estimée ne peut pas être déterminée en dérivant [pic].


Exemple 4.2
Soit X=(x1,x2,...xN) N échantillons indépendents d'une variable
aléatoire gaussienne, demoyenne ? et de variance ?2.. On désire estimer
le vecteur de paramètres ?'(?,?2).


La densité conditionnelle qui décrit les observations est
[pic]
Par simple dérivation par rapport à ? et ?2 on obtient facilement
[pic]
c'est-à-dire la moyenne des échantillons et leur variance.


Exercice : Répéter l'exercice précédant pour le cas vectoriel.


4.4 Borne de Cramer-Rao

On dérive par la suite une inégalité très utile dans l'étude de problèmes
d'estimation paramétrique, et qui établi une borne inférieure pour la
variance de l' erreur d'estimées non-biaisées.

Admettons que les dérivées de premier et deuxième ordre du logarithme de
la fonction de varisemblance par rapport au paramètre à estimer,
[pic]

existent et sont absolument intégrables. Soit [pic] une estimée non-biaisée
de ? :
[pic]
Si on dérive cette équation par rapport à ? on obtient
[pic]
ou encore
[pic]
Nottons maintenant que
[pic].
Alors, léquation précédente peut s'écrire
[pic]
ou encore
[pic][pic]
Par l'inégalité de Schwartz,
[pic]
on peut écrire
[pic]
et, en reconnaissant l'opérateur valeur moyenne
[pic]
ce qui implique
[pic]
On a établi que la variance de l'erreur d'un estimateur non-biaisé est
bornée inférieurement par une limite qui est déterminée par la variation
locale du logarithme de la fonction de vraisemblance. Cette limite est
connue par le nom de borne de Cramér-Rao.



4.5 Efficacité.

On remarque que l'inégalité précédante est stricte si et seulement si les
deux fonctions intégrées sont proportionnelles (comme fonctions de r) :
[pic]
Les estimateurs qui vérifient avec égalité la borne de Cramér-Rao sont
efficaces. Si on écrit cette équation pour la valeur de ? qui est donnée
par l'estimateur de maximum de vraisemblance
[pic]
Cette équation possède deux solutions
[pic]
La première équation ne dépend pas des données, et ne détermine donc pas
une règle d'estimation, ce qui nous laisse la solution
On peut donc conclure que s'il existe un estimateur qui vérifie la borne de
Cramér-Rao avec égalité, cet estimateur doit être l'estimateur de maximum
de vraisemblance.

On peut établir une condition générale pour qu'un estimateur non-biaisé
soit efficace. Soit [pic] un estimateur non-biaisé :
[pic]
Si on dérive cette équation par rapport à ? :
[pic]
ce qui est équivalent à