TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
Momentum
TEXTGRAD prend en charge l'utilisation du Momentum dans la descente de gradient textuelle. Dans la SGD standard, le momentum utilise une combinaison linéaire des gradients passés et du plus récent pour définir un nouveau gradient destiné à mettre à jour une variable. De même, TEXTGRAD conserve une trace des itérations passées de la variable. Ce suffixe est ajouté à l'invite de l'optimiseur.
1 optimizer = TextualGradientDescent(parameters=[solution], momentum_window=3)
Extrait de code 6 : Comment activer le momentum en utilisant les 3 étapes précédentes dans l'optimiseur TextualGradientDescent.
Invite du momentum
Voici les itérations passées de cette variable : <PAST_ITERATIONS> {past_values}</PAST_ITERATIONS>