Théorie de la Décision

Théorie de la Décision
Tests d'hypothèses. Tests de Bayes. Rapport de Vraisemblance.
Statistique suffisante. Tests de Neyman-Pearson. ROC. Tests simples et
composés. Tests UMP. Rapport de Vraisemblance Généralisé. Détection
d'un signal dans un bruit: le filtre adapté.


3.1 Tests d'hypothèses.

On étudie dans ce chapitre la conception de mécanismes de décision. La
figure suivante illustre les problèmes de teste d'hypothèses, pour le cas
de décision entre deux alternatives possibles, désignées par [pic] et
[pic].

[pic]
Figure 3.1: Décision entre deux hypothèses alternatives.

Exemples:
3-1 communications numériques.
Dans les systèmes de communication numérique, un signal analogique
[pic] souffre plusieurs transformations avant d'être effectivement
envoyé dans le canal de communication. Il est d'abord échantillonné (à
une vitesse au moins égale à la fréquence de Nyquist),
[pic],
ensuite chaque échantillon est quantifié,
[pic],
et finalement codé comme une séquence de symboles choisis dans un
alphabet fini (binaire, par exemple) :
[pic].
Le signal original est ainsi transformé dans une série de symboles
(binaires dans le cas de l'exemple).


Ce sont ces symboles qui modulent une porteuse (en phase, en amplitude
ou en fréquence) pour générer le signal transmis dans le canal de
communication. Ainsi, dans le cas où le système de modulation n'a pas
de mémoire (absence d'interférence inter-symbolique), le signal
[pic]émis pendant l'intervalle de temps correspondant à un symbole
est complètement déterminé par le symbole transmis. Par exemple, pour
les systèmes de modulation d'amplitude et avec des symboles binaires
[pic]


Le signal reçu à la sortie du canal de communication est, en général,
une version bruité et déformée de m(t):
[pic]
où [pic] est l'opérateur de transmission du canal, en général, connu.


Le système de réception doit, en chaque intervalle [pic], faire
correspondre au signal reçu, soit un symbole 1, soit un symbole 0. Il
doit donc résoudre le problème de décision suivant. Etant donné [pic],
décider laquelle des deux hypothèses suivantes est vraie:
[pic]
En référence à la Figure 3.1, on doit, pour cet exemple, effectuer les
correspondances suivantes:
source: système de codage, qui génère des symboles 0 ou 1;
mécanisme de transition: le canal, qui déforme le signal [pic]
et ajoute du bruit au message;
mécanisme de décision: Application qui fait correspondre à
chaque signal observé un des deux symboles:
[pic]


3-2 détection de cibles en radar
Les systèmes de radar utilisent une antenne pour détecter des cibles
dans l'espace (en général 3D) autour de l'antenne. Pour chaque cible,
on désire savoir sa position, sa direction et sa vitesse. On considère
ici le cas simple où on ne détermine pas la vitesse de la cible.
L'antenne du radar peut être dirigée de façon à émettre, à chaque
instant, une impulsion [pic] seulement dans un cône angulaire étroit
autour de la direction [pic]. S'il existe une cible dans cette
direction, le signal émis est réfléchi et reçu avec un temps de
retard qui est proportionnel à la distance d entre l'antenne et la
cible:
[pic]
où [pic] dépend de l'attitude de la cible, des ses propriétés de
réflexion, de la distance, etc., et c est la vitesse de propagation
des ondes électromagnétiques. Pour détecter la cible, le système doit
donc résoudre un problème de décision entre les deux hypothèses
suivantes:
[pic]
où la première hypothèse correspond à l'absence de cible dans la
direction [pic], et la deuxième à la présence d'une cible à une
distance qui est déterminée par [pic].
Nota: l'hypothèse [pic] de ce test binaire dépend des deux paramètres
[pic] et [pic] qui ne sont pas connus. Ce type de problèmes de
décision, bien plus difficile à résoudre, en général, que les
problèmes de décision simple (comme le cas de l'exemple précédant),
est connu sous le nom de tests d'hypothèses composées.


3-3 reconnaissance de mots
La reconnaissance de mots parmi un dictionnaire est encore un problème
de décision: étant donné un segment d'un signal de parole, qu'on admet
correspondre à un mot unique, on doit décider de quel mot il s'agit.
Ce problème très complexe peut être formalisé comme un problème de
décision, avec autant d'hypothèses que de mots. Dans ce cas encore,
chaque hypothèse (mot) est composée, puisque le signal de parole qui
correspond à un mot donné varie avec la personne qui le prononce
(homme/femme, région, âge, ...).

Dans tous les exemples présentés, le système de décision est défini par une
application de l'espace des observations dans l'ensemble des hypothèses
possibles. On désigne cette application par règle de décision. Elle
détermine, dans l'espace des observations, une partition en sous-ensembles
disjoints, chaque sous-ensemble correspondant aux observations qui sont
associées à une même hypothèse.


Règle de décision [pic] partition de l'espace d'observations en
régions [pic]associées aux différentes hypothèses
:[pic]


Comme on doit associer une hypothèse à chaque observation possible ,
[pic].
Et, comme les hypothèses sont alternatives, c'est-à-dire, l'occurrence
simultanée de deux hypothèses différentes est impossible, les sous-
ensembles [pic] sont disjoints:
[pic].

La règle de décision est facilement décrite en fonction des régions [pic]:

[pic]

où [pic] représente les observations (qui peuvent être scalaires,
vectorielles, où les échantillons d'un signal pris dans un intervalle de
temps).


3.2 Tests de Bayes.
Dans cette section, on étudie l'approche Bayesienne aux problèmes de
décision, qui est basée sur la connaissance, pour chaque hypothèse [pic],
de la probabilité a priori pour que cette hypothèse se réalise,
[pic],
et qui associe, à chaque comportement possible du système de décision, un
coût (équivalent à une pénalisation ou une récompense):
[pic].
La figure suivante illustre la définition de ces quantités pour un test
binaire (où on considère que seulement deux hypothèses sont possibles)

[pic]
Figure 3.2

Dans la figure précédente, les lignes interrompues représentent les
situations d'erreur.

Les tests de Bayes consistent à déterminer les régions de décision [pic] et
[pic] de façon à minimiser la valeur moyenne du coût:
[pic]

Chaque probabilité conjointe qui figure dans cette expression peut être
écrite comme:
[pic]
où l'on a exprimé la probabilité de décider [pic] quand [pic] est vraie
comme la probabilité pour que les observations appartiennent à la région
[pic] où on décide [pic], étant donné que [pic] est vraie.

Dans le cas de tests binaires, les deux régions de décision sont
complémentaires, [pic], et on peut donc écrire
[pic],
Avec ce résultat, on peut exprimer le coût de Bayes [pic] en fonction d'une
seule région:
[pic].
Les deux premiers termes dans cette expression de dépendent pas des régions
de décision, et constituent une pénalisation fixe. Pour minimiser C, il
faut donc minimiser l'intégrale. Pour cela, on doit attribuer à [pic] tous
les points de l'espace des observations pour lesquels l'intégrant est
négatif, ce qui est équivalent à la règle de décision suivante:
[pic],
où on a défini le seuil [pic]:
[pic].

On voit donc que le test de Bayes conduit à comparer le rapport entre les
densités de probabilités conditionnelles à un seuil ([pic]). On appelle le
rapport des densités conditionnelles dans l'équation précédente le rapport
de vraisemblance

Notons que les tests de probabilité d'erreur moyenne minimale sont un cas
particulier des tests de Bayes. Pour les obtenir, il suffit de prendre les
valeurs de coût suivantes:
[pic]
pour lesquels le test optimal est
[pic]


Rapport de Vraisemblance.
Le rapport de vraisemblance (entre les densités de probabilité
conditionnelles correspondant à chaque hypothèse), qui détermine les tests
de Bayes, joue un rôle très important dans tous les problèmes de décision
statistique et sera représenté par [pic]:
[pic].

En fait, si on considère que les densités conditionnelles résument notre
connaissance sur chacune des hypothèses, ce rapport compare directement la
vraisemblance des observations sous chacune des hypothèses.

Puisque l'application d'une fonction monotone n'affecte pas la validité
d'une inégalité, le test de Bayes est équ