TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
Momentum
TEXTGRAD unterstützt die Verwendung von Momentum im Textuellen Gradientenabstieg. Beim standardmäßigen SGD verwendet Momentum eine Linearkombination aus vergangenen Gradienten und dem jüngsten, um einen neuen Gradienten zur Aktualisierung einer Variable zu definieren. In ähnlicher Weise verfolgt TEXTGRAD vergangene Iterationen der Variable. Dieser Postfix wird an den Prompt für den Optimizer angehängt.
1 optimizer = TextualGradientDescent(parameters=[solution], momentum_window=3)
Code-Snippet 6: Wie man Momentum mit 3 vorherigen Schritten im TextualGradientDescent-Optimizer aktiviert.
Momentum-Prompt
Hier sind die vergangenen Iterationen dieser Variable: <PAST_ITERATIONS> {past_values}</PAST_ITERATIONS>