Réflexion CQLearning et GNG
Brouillon à développer / revoir / corriger / supprimer.
Présentation des algos
Pour plus de détails, se réferrer aux articles :
- CQ-Learning : http:www.aamas-conference.org/Proceedings/aamas2010/pdf/01%20Full%20Papers/15_02_FP_0421.pdf * GNG : http:liris.cnrs.fr/sasem/doku.php?id=memento-td-gng
CQ-Learning est un algo d'apprentissage multi-agent qui a pour but la coopération entre les agents et la limitation des collisions. Pour cela l'algo donne un ensemble d'états propre à chaque agents. Ceux-ci les développe et les trie en deux catégories “safe” et “dangerous”. Un état “dangerous” est un état partagé avec un autre agent.
GNG permet de partitionner l'ensemble des états et de les regrouper par noeuds où tous les états d'un même noeud auront le même tuple <état, action> et les même Qvaleurs. Ce procédé réduit artificiellement le nombre d'états et induit une convergence plus rapide des Qvaleurs tout en limitant l'usage de la mémoire.
Piste
CQ-Learning part du principe que les agents ont déjà une politique personnelle optimale. L'algo limite le nombre d'états des agents dans sa partie “anti-collision”, mais comme dit la phrase précédente, nous sommes déjà censé avoir une politique optimale pour chaque agent. C'est à dire qu'individuellement ils remplissent tous très bien les tâches demandées.
A priori, l'algo GNG peut donc très bien utilisé en complémentarité de CQ-Learning. Il permettrait de réduire un peu plus l'ensemble d'états pour chaque agent.
Bon voila, maintenant que j'ai écrit ces lignes ça me parait assez évident, mais ce n'était pas le cas avant...
A continuer
