La référence incontournable concernant ce paragraphe est
le livre de Jaynes intitulé "Probability Theory: The Logic of
Science" [Jaynes95]. Cet ouvrage inachevé n'a pas encore été
publié mais est accessible électroniquement depuis déjà
plus de deux ans et s'enrichit régulièrement de nouvelles
parties. Ce livre est le "chef-d'oeuvre" de Jaynes qui fait la
synthèse des travaux de toute une vie concernant le raisonnement
probabiliste, les techniques de maximum d'entropie et leurs applications
à la physique.
Un historique passionnant de cette approche peut être trouvé
dans [Jaynes79].
Une analyse épistémologique des probabilités est donnée
dans [Matalon67] précisant notamment la nature du débat entre
"fréquentiste" et "subjectiviste".
Concernant plus spécifiquement le théorème de Cox on
se référera à [Cox46] & [Cox61]. Une démonstration
de ce théorème peut aussi être trouvée au chapitre
2 de [Jaynes95].
La logique, comme cas particulier des probabilités, est un sujet
abordé par plusieurs auteurs, notamment, bien sur, par Jaynes dans
[Jaynes95]. [Cox79] est un article entièrement consacré à
ce sujet.
Les problèmes directs et inverses sont largement développés
dans les chapitres 3, 4, 6, 9 et 10 de [Jaynes95].
Pour une introduction à la notion d'entropie, on se référera
bien évidemment à l'article fondateur de Shannon [Shannon49]
qui introduisit le premier la notion d'entropie en dehors de la thermodynamique
et de la mécanique statistique, ainsi qu'au passionnant livre de
Campbell [Campbell82] qui présente bien les différents aspects
de cette notion.
Les justifications théoriques de l'approche probabiliste et du principe
de maximum d'entropie peuvent être trouvées, notamment, dans
[Cox46], [Cox61], [Cox79], [deFinetti72], [Shore80], [Shore81], [VanCampenhout81],
[Jaynes82], [Cheeseman85], [Shore86], [Hunter86] et [Robert91]. [Jaynes82]
et [Robert91] méritant une mention particulière puisqu'il
propose respectivement des démonstrations des théorèmes
de concentration d'entropie dans les cas discret et continue
Les outils mathématiques correspondant à ces techniques et
les applications en physique sont amplement décrites dans [Levine79],
[Smith85], [Tarentola87], [Erickson88a], [Erickson88b], [Bretthorst88],
[Kapur92], [Mohammad-Djafari92] et évidemment [Jaynes95].
L'exemple du dé de Wolf est présenté et discuté
en détail dans [Fougere88].
Des exemples d'applications à des problèmes de contrôle
sont donnés par [MacKay92a] ou [Neal93].
La description des "réseaux Bayésiens", une intéressante
implantation informatique du raisonnement probabiliste peut être trouvée
dans [Pearl91] même si la dimension apprentissage en est presque totalement
absente.