Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Momentum

TEXTGRAD prend en charge l'utilisation du Momentum dans la descente de gradient textuelle. Dans la SGD standard, le momentum utilise une combinaison linéaire des gradients passés et du plus récent pour définir un nouveau gradient destiné à mettre à jour une variable. De même, TEXTGRAD conserve une trace des itérations passées de la variable. Ce suffixe est ajouté à l'invite de l'optimiseur.

1 optimizer = TextualGradientDescent(parameters=[solution], momentum_window=3)

Extrait de code 6 : Comment activer le momentum en utilisant les 3 étapes précédentes dans l'optimiseur TextualGradientDescent.

Invite du momentum

Voici les itérations passées de cette variable : &lt;PAST_ITERATIONS&gt; {past_values}</PAST_ITERATIONS>