V.4 Vers une approche évolutionniste des connaissances préalables?

Un processus évolutionniste suppose 4 composantes fondamentales:

• Un code
• Un processus d'ontogenèse qui à partir du code soit capable par l'interaction avec l'environnement de produire des objets.
• Un processus d'échange d'information mutuelle qui à partir de 2 codes (ou plus) soit en mesure d'engendrer de nouveaux codes, assez ressemblant à leurs "ancêtres" pour en garder les acquis, mais assez différents d'eux pour explorer de nouvelles solutions.
• Un processus de sélection qui "évalue" ces objets et sélectionne les meilleurs en favorisant pour eux l'accès au processus de génération de nouveaux codes.

Nous sommes avec l'approche F+D dans une situation qui rend apparemment possible la mise en place d'un processus évolutionniste pour le développement des facultés de perception de décision et d'action d'un système sensori-moteur de type robotique.

Les connaissances préalables telles qu'elles ont été définies sont des objets mathématiques bien structurés. En tant que tels, il est certainement possible de les coder.
Par exemple, les connaissances préalables structurelles correspondent au choix d'un ensemble de variables parmi toutes les variables potentiellement utilisables par le système sensori-moteur. Il existe de multiples manières connues de coder simplement le choix de n objets parmi m.
Les connaissances préalables de dépendances peuvent se traduire par le choix parmi les n variables précédemment sélectionnées d'un certain nombre de sous ensembles, eux-mêmes divisés en deux, entre les variables conditionnées et les variables conditionnantes. De multiples codes semblent, aussi ici, possibles.
Pour les connaissances a priori et les connaissances préalables d'observation, les formes de code possibles sont moins évidentes à imaginer, mais étant donné qu'il s'agit de connaissances formelles de type mathématique, trouver de tels codes est certainement possible.

PaL et le principe de maximum d'entropie tels qu'ils ont été décrits tout au long de cet article offrent le processus de développement du code des connaissances préalables par interaction avec les données expérimentales pour produire les objets appelés descriptions.

Dans la mesure où un code a été trouvé pour représenter un ensemble de connaissances préalables, il est facile d'imaginer divers opérateurs d'échanges d'information mutuelle entre codes afin de produire de nouveaux codes correspondant à de nouveaux ensembles de connaissances préalables. Les travaux actuels sur les algorithmes génétiques proposent de nombreuses solutions qui devront être étudiées.

Le processus de sélection devant favoriser les meilleures descriptions, est peut-être la partie la plus délicate à imaginer. Les critères de cette sélection ne sont pas encore forcément claire et devront faire l'étude d'une étude approfondie. Cependant, plusieurs possibilités paraissent d'ors et déjà intéressantes à approfondir :

• Les descriptions "plates", les distributions de probabilités proches de la distribution uniforme, celles traduisant une très grande incertitude sont de manière évidente moins intéressantes que celles très "pointues" qui présentent des pics de probabilités. Les premières sont moins informationnelles que les secondes et leur exploitation plus délicate et plus difficile. L'entropie semble, une fois de plus une intéressante métrique pour quantifier cette notion, les distributions "plates" ayant une entropie beaucoup plus grande que les "pointues". Les distributions très "plates" révèlent en général que les connaissances préalables ont été mal choisies (présence de variable cachée, mauvais choix de la structure de dépendance, etc...).
• Pour un jeu de données expérimentales, la proximité entre la description et les données, mesurée par ce qui est souvent appelé biais, semble souhaitable. La problématique du problème inverse introduite au paragraphe IV.1.3 et reprise plus en détail sur un exemple au paragraphe IV.2.3 permet de calculer la probabilité relative de 2 hypothèses (ensemble de connaissances préalables) vis-à-vis d'un jeu de données. Elle propose une méthode précise et rigoureuse pour quantifier ce deuxième critère.
• Inversement, avoir des descriptions complètement "irrégulières", sans aucune "continuité", ayant une très grande variance semble non souhaitable. Ces distributions sont en général le reflet exact des données d'apprentissage mais offre de très mauvaises capacités de "généralisation".
• Enfin, pour pouvoir être exploitable en pratique les descriptions doivent être parcimonieuses dans l'emploi de la mémoire (représentation paramétrique économique) et permettre des calculs probabilistes faciles et surtout rapides. On retrouve ici la vieille notion de "rasoir d'Occam" qui propose de favoriser les représentations simples aux détriments des plus complexes.

Tous ces critères sont évidemment en contradiction les uns avec les autres, notamment le dilemme biais versus variance est bien connu et largement étudié (voir [Geman92]). Une large voie de recherche s'ouvre donc devant nous afin d'imaginer, étudier et implanter des processus de sélection de description intéressants.