Differences

This shows you the differences between two versions of the page.

--- memento-value-function-approximation [2025/10/17 07:57]
66.249.74.131 old revision restored (2025/08/29 15:54)
+++ memento-value-function-approximation [2025/10/19 23:11] (current)
216.73.216.169 old revision restored (2025/10/19 07:57)
@@ Line 11: / Line 11: @@
 ===Descente de gradient===
-Avec J(w), une fonction dérivable de paramètre w.
+Avec J(w), une fonction dérivable de paramètre w (w étant un vector contenant toutes les valeurs des états).
 Le gradient de J(w) est défini sous forme matricielle, [[http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching_files/FA.pdf | voir diapo 11]]
 Permet de trouver un minimum local J(w)
+Objectif : Trouver le paramètre w qui minimise le carré de l'erreur entre la valeur approximée et la vrai valeur.
+Questions :
+   * Que représente Δw (une valeur, un vector, ...), et à quoi s'en sert-on ?
+===Représentation d'un état dans un vector===
+Ranger dans le vector les n valeurs du même état.
+===Fonction approximation de valeur linéaire===
+(Linear Value Function Approximation)
+   * La descente de gradient stochastique converge vers un optimum global.
+   * Actualisation = step-size * prediction error * feature value
+Questions :
+   * Qu'est ce qu'on appelle une feature ?
+===Least Squares Prediction===
+Algorithme qui trouve le paramètre w qui minimise la somme des carrés des erreurs entre la fonction approximation et la la valeur cible.

DokuWiki