Table of Contents

Compte-rendu de l'état de l'art de la thèse de S. Mazac

Types d’apprentissage artificiel
Caractéristiques de l’apprentissage pour les systèmes artificiels

Principaux types d’apprentissage

Apprentissage supervisé

le feedback spécifie exactement l’activité désirée de l’apprenant. L’objectif de l’apprentissage est de s’y conformer le plus possible. Permet l'apprentissage de concepts ciblés. Exemple : Réseaux de neurones et reconnaissance d'images

Apprentissage non supervisé

Pas de feedback explicite. L’objectif est de trouver les activités utiles et désirées sur la base du tâtonnement. Recherche de points commun dans les données contextuellement à l'objectif fixé. Souvent basé sur le sstatistiques. Exemple : ?

Apprentissage par récompense

le feedback spécifie seulement l’utilité du comportement par une valeur, l’objectif étant de la maximiser.

Apprentissage par récompense (renforcement)

Apprend un comportement par tatonnement. Recoit en entrée une perception, genère une action puis la valeur de cette action lui est passé. Exemple : TPs Mif24 bras qui avance / robot qui sort du labyrinthe.

Apprentissage par récompense (Stochastique)

Evaluer, selectionner, faire muter et recomencer juqu'à avoir une solution. Exemple : Algo génétique

L’apprentissage dans le cadre de l’AmI

Les techniques de classification

Efficace pour apprendre un concept ciblé dans un environnement maîtrisé. Pas de capacité d'abstraction -> pas utilisable pour un agent autonome. Exemple : Algorithme d'apprentissage supervisé basé sur des arbres de décisions

L’apprentissage par renforcement

Difficilement utilisable pour l'AmI, car :

  1. discrétisation du temps est faite de manière arbitraire
  2. compliqué d'interpréter le feedback venant de l'utilisateur.

Bilan : Besoin d'une approche plus globale ne se limitant pas à mettre en place des solutions pour des sous problèmes indépendants.

Exemple d’une approche globale

Triplet de capteurs (O, M, C) [Objet, Mouvement, Contextuel], Représentations définies sur un triplet (E, C, A) [Evenement, Condition, Action], Algo de classification -> chercher des motifs d'interactions à partir des données. Permet de construire de manière générale la régularité puis d'affiner petit à petit.

Les systèmes multi-agents

Système complexe : système qui a un effet sur son environnement et ses propres composantes.

Application des SMA :

Façons d'envisager l'apprentissage décentralisé des SMA :

Catégories d'apprentissage des SMA :

L'apprentissage centralisé et décentralisé peuvent cohabiter.

Attribution des récompenses

Difficulté de donner des récompenses, comment savoir quels agents doivent avoir le feedback lors d'un changement au global ? (CAP : Credit Assignement Problem)

Décomposition du problème en deux sous problèmes :

Une solution plus simple consiste à diviser la récompense globale entre tous les agents du système, mais ceci ne marche pas correctement dans les cas plus complexe qui nécessitent un feedback plus précis.

Caractéristiques de l’apprentissage décentralisé

Apprendre un comportement collectif total ciblé est compliqué. Il est possible de simplifier le problème en isolant les comportements appris de certains agents, en réduisant l'hétérogénéité des comportements ou en réduisant la complexité des capacité des agents. Réduction de la complexité -> utiliser l'apprentissage par niveau (layered learning). Il faut alors décomposer automatiquement le problème et assurer une coordination des sous-comportements.

Modélisation directe d’une maison intelligente par un SMA