document word

ESINSA Traitement Statistique du Signal
4-ème année
1999/2000 Maria João RENDAS Théorie des Probabilités
Espace de Probabilités. Probabilités Conditionnelles. La loi de Bayes.
Loi de la probabilité totale. Indépendance. La loi des Grands Nombres.
Variables aléatoires. Fonction de répartition. Densité de probabilité.
Densités conjointes et conditionnelles. Moments. Moments croisés.
Vecteurs aléatoires.
Processus Stochastiques
Définition. Caractérisation d'ordre N. Stationnarité. Ergodicité.
Moments. Processus Gaussiens. Théorème de Mercer, représentation de
Karhunen-Loève. Représentation spectrale. Processus blancs.
Echantillonnage. Interaction avec les Systèmes Linéaires Invariants
dans le Temps. Equations différentielles et modèles d'état. Modèles
paramétriques (AR, MA, ARMA). Processus Markoviens.
Théorie de la Décision
Tests d'hypothèses. Tests de Bayes. Rapport de Vraisemblance.
Statistique suffisante. Tests de Neyman-Pearson. ROC. Tests simples et
composés. Tests UMP. Rapport de Vraisemblance Généralisé. Détection
d'un signal dans un bruit: le filtre adapté.
Théorie de l'estimation.
Estimation de paramètres déterministes. Biais et variance
d'estimation. Estimateurs sans biais à variance minimale. Maximum de
vraisemblance. Borne de Cramer-Rao. Consistance et efficacité.
Estimation de paramètres aléatoires: coût de Bayes. Erreur
quadratique, moyenne conditionnelle et principe d'orthogonalité.
Maximum a posteriori. Filtre de Wiener. Filtre de Kalman. Prédiction
linéaire, algorithme de Levinson. 1. Théorie des Probabilités La théorie des probabilités permet de modéliser quantitativement
l'incertitude. Intuitivement, la probabilité d'un événement est une mesure
normalisée (entre 0 et 1) de la vraisemblance de que cet événement se
produise : une petite valeur de la probabilité indique qu'il est
extrêmement invraisemblable que l'événement se vérifie, et les valeurs de
probabilité près de 1 indiquent un événement presque certain. L'utilisation
de la théorie des probabilités pour la déduction de certaines
caractéristiques d'un phénomène ne peut être appréciée entièrement sans un
approfondissement de son étude. Cependant, l'exemple suivant permet déjà
d'apprécier le rôle important de la notion de probabilité. Un chercheur, après avoir étudié plusieurs rapports publiés dans la
dernière décennie, trouva qu'environ 30% de la population dans le
groupe 20-30 ans a un problème d'excès de poids. Le chercheur se
demande si ce pourcentage a changé ou s'il reste approximativement
constant. Pour essayer de répondre à cette question, il organisa une
enquête dans laquelle il observa 100 personnes, ayant constaté qu'au
moins 45 de ces 100 personnes avaient un poids excessif. Face à ce
résultat, est-ce possible d'admettre que le pourcentage de 30% se
maintient?
Evidemment, l'observation de plus de 45% de personnes avec excès de
poids parmi un groupe de 100 personnes peut toujours se produire,
indépendamment du pourcentage de personnes obèses, et donc elle ne
peut pas formellement invalider ou valider l'hypothèse initiale, c'est-
à-dire, démontrer ou contredire l'hypothèse d'un pourcentage de 30%
d'obèses dans la population étudiée. Cependant, cette observation
permet d'associer un degré de possibilité à la validité de l'hypothèse
: acceptons hypothétiquement que le pourcentage de 30% est correct.
Alors, la théorie de probabilités nous permet de calculer quelle est
la probabilité, pour une population avec 30% d'obèses, d'en observer
au moins 45 dans un ensemble de 100 personnes. Si la valeur de cette
probabilité est très petite (par exemple 0.005) alors, le chercheur
aura observé un ensemble extrêmement non représentatif de la
population. Si le choix des personnes a été fait au hasard, alors
l'observation contredit fortement l'hypothèse de 30% d'obèses et
permet de la mettre en doute . L'exemple précédant est un exemple de problèmes de décision, où on doit
choisir une parmi plusieurs hypothèses (dans ce cas deux hypothèses sont
possibles: que le pourcentage de 30% est correct, contre l'hypothèse de
qu'il ne représente plus l'ensemble de la population), face aux résultats
d'une expérience aléatoire (l'observation du nombre de personnes obèses
parmi un groupe de 100 personnes prises au hasard). Il nous montre le
besoin de savoir associer à des événements (dans le cas, l'observation d'au
moins 45 personnes obèses) la valeur de sa probabilité. Souvent, c'est le
problème inverse qui est d'intérêt: étant donné un ensemble de données sur
une population, on souhaite déterminer ses caractéristiques générales. In
s'agit dans ce dernier cas de problèmes d'estimation de paramètres.
1.1 Espace des réalisations et événements
La notion de probabilité est appropriée pour des situations où il existe
une incertitude sur le résultat d'une expérience avant qu'elle ne soit
réalisée. Par exemple, on peut considérer la probabilité pour qu'il pleuve
demain. L'incertitude associée à cet événement disparaîtra à la fin de la
journée du lendemain. C'est encore un outil indiqué pour décrire des
expériences qui, répétées (apparemment) sous les mêmes conditions,
produisent des résultats variables (par exemple la qualité de liaisons
téléphoniques qui utilisent le même équipement de communication, mais
effectuées à des instants différents, ne sera pas la même). On peut ainsi
dire qu'une expérience aléatoire est le moyen de décrire des données
produites par un phénomène qui présente de la variabilité dans les
résultats engendrés. On introduit d'abord les notions d'espace des réalisations et d'événement.
L'espace des réalisations est l'ensemble de tous les résultats possibles
d'une expérience aléatoire, et sera représenté par S. Chaque résultat
distinct possible est appelé événement simple, ou élémentaire, ou on dira
encore qu'il est un élément de l'espace des réalisations. On donne quelques exemples d'expériences aléatoires ainsi que de l'espace
des réalisations qui leur est associé:
(a) Le sexe des deux premiers bébés qui seront nés demain à Nice.
S={FF,FG,GF,GG}
où F et G représentent fille et garçon, respectivement.
(b) On donne à boire à 10 personnes du café soluble et de l'express,
et on note le nombre de personnes qui préfèrent le café soluble.
S={0,1,2,...,10}.
(c) On administre à des malades qui souffrent d'une maladie virale un
antibiotique, jusqu'à ce qu'un d'entre eux manifeste une réaction
néfaste.
S={R, NR, NNR, NNNR, .....}
où R et N représentent normale (sans réaction) et réaction,
respectivement.
(d) On donne à un enfant une certaine dose de vitamines, et on
enregistre la variation de son poids et sa taille au bout de 12
semaines.
S={(x,y):x est non-négatif et y est positif, nul ou négatif}
où x est la taille de l'enfant et y la variation de son poids Les éléments de l'espace des réalisations représentent la partition la plus
fine que l'on puisse considérer de l'espace des réalisations. Chaque fois
que l'on effectue une expérience, un et un seul événement élémentaire peut
se produire.
Les événements élémentaires peuvent, cependant, être combinés pour
constituer des événements composés, qui correspondent, de cette façon, à un
ensemble événements élémentaires qui possèdent une certaine propriété
commune. Par exemple, si on considère l'exemple (a) antérieurement décrit,
événement "naissance d'une seule fille" est un événement composé A qui
regroupe deux événements élémentaires: A={FG,GF}. La complexité de l'espace des réalisations dépend de la nature de
l'expérience considérée. Dans les exemples (a) et (b) antérieurement
présentés, l'espace des réalisations est fini. L'expérience (c) nous
donne, par contre, l'exemple d'une situation où l'espace des réalisations
est dénombrable infini. Dans ces deux cas, on dit que l'espace des
réalisations est discret. Finalement, le dernier exemple (d) nous montre
une situation où l'espace des réalisations est continu. 1.2 La probabilité d'un événement La façon la plus intuitive d'introduire la probabilité d'un événement est
donnée par l'approche fréquentielle. Elle consiste à déterminer la
probabilité d'un événement comme la fréquence limite de son occurrence dans
la réalisation répétée d'un grand nombre d'expériences. On représente la
probabilité associée à l'événement A par P(A).
[pic],
où N est le nombre d'éléments de S et [pic] est le nombre événements
élémentaires qui vérifient l'événement A. Cette définition est basée
implicitement sur une hypothèse d'équi-probabilité des événements
élémentaires. Finalement, ces deux approches intuitives de la définition de probabilité
ont été remplacées par une définition axiomatique d'espace de probabilités,
qu'on présente par la suite. Définition. Espace de probabilités (S,F,P)
(Kolmogoroff, 1933)
Un espace de probabilités formel consiste dans la définition de trois
entités: (S, F, P) où
(i) S est l'espace des réalisations;
(ii) F est une famille événements en S: [pic], telle que:
(a) [pic]
(b) [pic].
(iii) P est une mesure de probabilité définie sur les éléments de F, qu