La deuxième composante nécessaire à notre approche
F+D est de pouvoir disposer d'un moyen générique de construire
les descriptions.
Etant donné un ensemble de connaissances préalables C et de
données expérimentales D, il existe en général
une infinité de distributions de probabilités (descriptions)
compatibles avec ces connaissances.
Toutefois, toutes ces descriptions ne sont pas équivalentes. Certaines
semblent plus "cohérentes", plus "probables",
plus "intéressantes" que d'autres.
Cet "intérêt" peut être jugée dans un
sens mathématique précis par la fonction entropie H. Pour
une distribution discrète P, qui à q propositions, assigne
les probabilités {p1, ..., pq}, l'entropie
est définie par :
[4.11]
Le principe de maximum d'entropie affirme que parmi les distributions compatibles
avec un ensemble de connaissances préalables C et de données
expérimentales D, la meilleure possible est celle qui maximise l'entropie
H.
Ce principe donne donc le moyen théorique et générique
rechercher pour construire les descriptions.
Avant de justifier l'emploi de ce principe, nous allons tout d'abord présenter
en détail un exemple très simple afin de bien comprendre à
quoi il sert et comment il peut être utilisé.