Page locked

This page is currently locked for editing by another user. You have to wait until this user finishes editing or the lock expires.

Currently locked by: 18.117.158.174
Lock expires at: 2025/04/18 19:45 (0 min)

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.

===== Memento Processus décisionnels de Markov et systèmes multi-agents =====

Voir la thèse p78 : https://tel.archives-ouvertes.fr/file/index/docid/362529/filename/these_matignon.pdf

==== Définitions ====

   * Agent : Un agent est une entité capable de : percevoir, au moins partiellement, son environnement, agir sur son environnement, décider de manière autonome, communiquer avec d'autres agents.
   * SMA : Un SMA est composé d'agents qui interagissent entre eux.
   * Emergence : Les SMA orientés émergence considèrent des ensembles d'agents autonomes interagissant pour résoudre un problème donné dont la difficulté est au-delà de leurs capacité ou connaissances individuelles.
   * Kénétique : Désigne la science qui étudie les organisations artificielles et les interactions entre entités, qu'elles soient informatiques, physique, biologiques...
   * Situation de coopération : Lorsque des agents ont des objectifs compatibles mais que les ressources ou les compétences d'un ou plusieurs agents sont insuffisantes.
   * Observalité : L'observalité d'un environnement caractérise l'ensemble des informations qui sont accessibles à un agent.
   * Observalité partielle : L'observalité est partielle quand toutes les informations nécessaires à la connaissance de l'état du système ne sont pas accessibles.

====  ====

Les états, actions et fonctions de récompense d'un PDM (processus décisionnel de Markov) peuvent être défini à 2 niveaux :
   * niveau global : observation de la dynamique globale du système, observation de l'avancement de la résolution du problème.
   * niveau local : les agents perçoivent leur environnement et prennent leur décisions.

Problème de distribution des récompenses :
Objectif est défini de manière globale, la récompense peut-être définie par une fonction commune à tous les agents selon l'état global et les actions jointes.
Deux possibilités :
   * La récompense peut être distribuée individuellement à chaque agent (tout en dépendant des actions jointe, maximiser ses satisfactions individuelles ne conduit pas forcément à maximiser celle du groupe)
   * Distribuer une récompense globale et laisser les agents décider eux-même dans quelle mesure leur comportement a participé à la résolution du problème.

Définir les politiques individuelles :
   * Architecture centralisée : un contrôleur central dispose de l'état global du système, des actions jointes, des récompenses. Il calcule la politique jointe et distribue les commandes individuellement parmi les agents. Avantages/Inconvénients :
     * +Nombre limité d'unités de contrôles nécessaire
     * +Pas de mécanisme de coordination inter-agent
     * -Peu robuste
     * -Difficilement modifiable (pas de modularité) 
   * Architecture décentralisée (architecture hétérarchique) : chaque agent construit sa propre politique à partir de ses connaissances. Avantages/Inconvénients :
     * +Meilleure modularité
     * +Meilleure robustesse
     * -Perception partielle
     * -Communication inter-agent
     * -Coordination inter-agent

DokuWiki

Site Tools

Page locked

Page Tools