DokuWiki

Utiliser un algorithme non déterministe de discrétisation peut être efficace pour qu'un agent se dirige dans un environnement. Ce n'est pas le cas lorsque plusieurs agents agissent dans le même environnement.

Dans le cas de l'algorithme du CQ-learning, les agents ont besoin d'avoir la même perception des états pour pouvoir se coordonner. Dans un grid world, les états sont uniformes et le problème ne se pose pas. Dans certains environnements (tel que le puddle world), l'environnement doit d'abord être discrétisé pour permettre à l'agent d'avancer. Si plusieurs agents se trouvent dans un environnement similaire la discrétisation ne sera pas identique aux deux agents (car algo non déterministe). Les agents essayeront alors de se coordonner avec des états qui ont des représentations différentes. Le Qlearning n'est alors plus assuré de convergé.

Plusieurs cas sont possible selon les hypothèses. Qui fait la discrétisation de l'environnement ? - Une entité autre que les agents : discrétisation centralisée, les agents reoivent une discrétisation identique à celles des autres agents. Plus de problème pour la coordination.

- L'agent lui même : discrétisation décentralisée, chacun à sa discrétisation. Cependant, même si le GNG n'est pas déterministe, discrétiser plusieurs fois le même environnement devrait donner des résultats proches (car l'espace d'entré est toujours le même et que l'on choisi de manière aléatoire / uniforme les points de l'espace d'entré pour mettre à jour les poids des noeuds, plus le nombre d'itérations est grand et plus les résultats devraient être identiques).

Si l'on part de l'hypothèse dans laquelle chaque agent fait sa discrétisation, alors chaque agent à un résultat plus ou moins similaire à celui des autres agents.