DokuWiki

<h2>Environnement Grilles et CQ-Learning-ers</h2>
<div class="level2">

<p>
Article utilisé : http:<em>www.aamas-conference.org/Proceedings/aamas2010/pdf/01%20Full%20Papers/15_02_FP_0421.pdf

==== Présentation ====

Le CQ-Learning permet la coordination d'agents. Son implémentation fait office de surcouche au QLearning qui rend les agents sensibles aux collisions.

Les agents suivent leur politique optimale jusqu'à rentrer en collision, c'est alors qu'ils créent un état joint qui leur permettra de se coordonner. La politique optimale n'est jamais mise à jour, les états joints le sont à chaque fois qu'ils sont utilisés.

Etant donné que certaines parties de l'article cité plus haut ne sont pas claires, l'algorithme implémenté ici est peut être légèrement différent sur certains points, cependant le principe reste le même.

==== Expérience ====

L'algorithme est testé sur trois environnements différents, un Tunnel to Goal (ttg) un cmu (quoi que cela puisse vouloir dire), et un Two Robots Game (tr).

CMU
<a href="/lib/exe/fetch.php?media=cmu_exemple.png" class="media mediafile mf_png" title="cmu_exemple.png (3.2 KB)">cmu_exemple.png</a>

Les cases de couleurs sont les objectifs des agents de même couleur (sauf dans le ttg où il les deux agent sont le même objectif).

Seul les résultats pour le CMU seront montrés.
==== Resultats ====

Voici les stats obtenues en lançant l'expérience 5 fois consécutives :

=== CMU ===

A la 3 000eme itération, la politique devient déterministe, l'agent ne peut plus choisir d'actions aléatoirement.

Moyenne des sommes des récompenses :<br/>

<a href="/lib/exe/fetch.php?media=cmu3_rewards.png" class="media mediafile mf_png" title="cmu3_rewards.png (33 KB)">cmu3_rewards.png</a>

Moyenne du nombre de collisions :<br/>

<a href="/lib/exe/fetch.php?media=cmu3_collisions.png" class="media mediafile mf_png" title="cmu3_collisions.png (25.9 KB)">cmu3_collisions.png</a>

Moyenne du nombre d'états joints :<br/>

Petite optimisation sur les états joints, lorsqu'ils n'ont pas été utilisés depuis trop longtemps, ceux-ci sont supprimés. Ils le sont aussi lorsqu'ils indiquent la même action que l'état individuel.

Stats :
 
En moyenne, les agents ont besoin de  10.9  etapes <br/>

Avec un ecart-type de   0.943398113206

En moyenne, les agents ont  0.0  collisions <br/>

Avec un ecart-type de   0.0

En moyenne, les agents ont  1.9  etats joints <br/>

Avec un ecart-type de   1.13578166916 
</p>

</div>

Enable Complex Tables Editor Height px Turn supplementary image paste support on

Edit summary: Minor changes

Please fill all the letters into the box to prove you're human. C X P N Y Please keep this field empty:

DokuWiki

Site Tools

Page Tools