DokuWiki

• Mémorisation par cœur (rote learning) : implémentation directe du savoir et des compétences, pas d’évolution.
• Apprendre par instruction : transformation du savoir en représentation interne pour intégration au savoir préexistant.
• Apprendre par l’exemple et par entrainement : à partir d’exemples positifs ou négatifs et expérience pratique.
• Par analogie : extension d’un savoir d’un problème résolu vers un problème non résolu.
• Par découverte : faire des observations, des expériences. Construire et tester des hypothèses et théories.

• Apprentissage hors ligne (offline): la période d’apprentissage est préalable et indépendante à l’éxécution du programme.
• Apprentissage en ligne (online): le programme apprend au cours de son activité.
• Apprentissage par lots (batch learning): technique intermédiaire (des phases d’apprentissages offline à intervalle de temps régulier durant l’activité).

le feedback spécifie exactement l’activité désirée de l’apprenant. L’objectif de l’apprentissage est de s’y conformer le plus possible. Permet l'apprentissage de concepts ciblés. Exemple : Réseaux de neurones et reconnaissance d'images

Pas de feedback explicite. L’objectif est de trouver les activités utiles et désirées sur la base du tâtonnement. Recherche de points commun dans les données contextuellement à l'objectif fixé. Souvent basé sur le sstatistiques. Exemple : ?

le feedback spécifie seulement l’utilité du comportement par une valeur, l’objectif étant de la maximiser.

Apprend un comportement par tatonnement. Recoit en entrée une perception, genère une action puis la valeur de cette action lui est passé. Exemple : TPs Mif24 bras qui avance / robot qui sort du labyrinthe.

Evaluer, selectionner, faire muter et recomencer juqu'à avoir une solution. Exemple : Algo génétique

Efficace pour apprendre un concept ciblé dans un environnement maîtrisé. Pas de capacité d'abstraction -> pas utilisable pour un agent autonome. Exemple : Algorithme d'apprentissage supervisé basé sur des arbres de décisions

Difficilement utilisable pour l'AmI, car :

1. discrétisation du temps est faite de manière arbitraire
2. compliqué d'interpréter le feedback venant de l'utilisateur.

Bilan : Besoin d'une approche plus globale ne se limitant pas à mettre en place des solutions pour des sous problèmes indépendants.

Triplet de capteurs (O, M, C) [Objet, Mouvement, Contextuel], Représentations définies sur un triplet (E, C, A) [Evenement, Condition, Action], Algo de classification -> chercher des motifs d'interactions à partir des données. Permet de construire de manière générale la régularité puis d'affiner petit à petit.

Système complexe : système qui a un effet sur son environnement et ses propres composantes.

Application des SMA :

• alternative à la résolution de problèmes centralisés
• la simulation (biologie, sociologie...)
• paradigme de programmation

Façons d'envisager l'apprentissage décentralisé des SMA :

• Un système peut être améliorer en dotant ses agents de capacités d'apprentissage qui leur sont propre.
• Les agents peuvent apprendre de manière distribué et interactive -> c'est le système qui apprend par l'évolution des agents.

Catégories d'apprentissage des SMA :

• apprentissage centralisé : les agents apprennent seul.
• apprentissage décentralisé : les agents sont impliqués dans la même activé d'apprentissage

L'apprentissage centralisé et décentralisé peuvent cohabiter.

Difficulté de donner des récompenses, comment savoir quels agents doivent avoir le feedback lors d'un changement au global ? (CAP : Credit Assignement Problem)

Décomposition du problème en deux sous problèmes :

• CAP inter-agent : Rétribution des agents en fonction d'un changement de performance au niveau global.
• CAP intra-agent : Rétribution des inférences internes ou décisions d’un agent en fonction d’une action externe effectuée.

Une solution plus simple consiste à diviser la récompense globale entre tous les agents du système, mais ceci ne marche pas correctement dans les cas plus complexe qui nécessitent un feedback plus précis.

Apprendre un comportement collectif total ciblé est compliqué. Il est possible de simplifier le problème en isolant les comportements appris de certains agents, en réduisant l'hétérogénéité des comportements ou en réduisant la complexité des capacité des agents. Réduction de la complexité -> utiliser l'apprentissage par niveau (layered learning). Il faut alors décomposer automatiquement le problème et assurer une coordination des sous-comportements.

Approche connexionniste : modélise les phénomènes mentaux ou comportementaux comme des processus émergents de réseaux d’unités simples interconnectées.

L'IA actuelle (systèmes experts, solveurs logiques, ...) exécute des algos, alors que l'intelligence “réelle” consiste à comprendre. L'ordinateur à un fonctionnement éloigné de celui du cerveau. La meilleure solution pour reproduire un système intelligent tel qu'un cerveau n'est donc pas forcément d'imiter la construction de ce dernier.

Représentation invariante : régularité constante dans l'exécution d'un tâche.

Le système ACHE (Adaptive Control of Home Environments) utilise les réseaux de neurone afin de gérer les dispositifs d'une maison. Le système se base sur une représentation d'état et l'occupation des zones pour prédire l'état futur de la maison. Il agit ensuite en conséquence pour modifier l'environnement.

Problème de ce système :

• La connaissance acquise par les réseaux de neurones ne peut être utilisée que pour l'objectif défini. Si l'objectif change, le système doit tout réapprendre (Exemple : Si l'on souhaite maximiser la consommation d'énergie au lieu de la minimiser).
• La connaissance est difficilement interprétable (pour l'utilisateur ou d'autres systèmes).

En psychologie -> théorie constructiviste : le sujet construit sa vision du monde en agissant sur celui-ci. L'apprentissage est alors l'adaptation de la représentation du monde du sujet.

L’approche traditionnelle peut être résumée comme cela :

1. On part d’une tâche (connue par le concepteur)
2. On conçoit une représentation spécifique pour cette tâche
3. On crée un programme de résolution de la tâche qui utilise cette représentation
4. On lance le programme sur la machine

L’approche développementale quant à elle se résume par ces étapes :

1. On conçoit un corps adapté à l’environnement du robot
2. On conçoit un programme de développement
3. Initialement (à sa “naissance”) le robot démarre le programme de développement à partir d’une représentation vierge.
4. Le robot apprend à partir de son expérience.

Caractéristiques des programmes développementaux :

• Ils ne sont pas spécifiques à une tâche
• Les tâches sont globalement inconnues à priori
• Il s’agît d’un apprentissage en temps réel
• C’est un apprentissage ouvert (open-ended) : l’apprentissage d’un concept offre la possibilité d’apprendre un nouveau concept

Apprentissage sensorimoteur en premier lieu. Cet apprentissage doit permettre à l'agent de trouver des régularités dans les interactions avec l'environnement (mettre en relation actions et perceptions).

Schema learning : technique d'apprentissage constructiviste. Les régularités y sont représentées par des schémas (structure représentant la prédiction des effets d'une action).

Schéma : Triplet (Contexte, Action, Prédiction).

Ce système représente donc les conséquences de chaque actions à partir d'un contexte.

Problème d'amorçage : comment être sur que le résultat observé est dû à l'action qui vient d'être faite ?

Solution proposée : notions d'évaluation d'un schéma -> pertinence et fiabilité Un résultat est jugé pertinent si le résultat apparait plus souvent lorsque l'action est effectué.

Lorsque le résultat est pertinent, il faut savoir quand il est fiable. Il faut être capable de trouver les contextes permettant de distinguer les cas de succès et d'échecs.

<note important>Incompris, pour plus de détail sur la fiablité, voir : Page 87, Paragraphe 3</note>

Ce type d'apprentissage doit permettre une abstraction des connaissances.

Deux solution proposées :

• Ajout d'item synthétique -> Lorqu'on ne peut pas rendre fiable un schéma, ajout de conditions nécessaires pour que celui-ci soit valide. L'item synthétique n'est pas lié aux perceptions et ne prend une valeur que rétroactivement.
• Actions composites -> actions formées de plusieurs schémas pour atteindre un but.