Zum Hauptinhalt springen
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Momentum

TEXTGRAD unterstützt die Verwendung von Momentum im Textuellen Gradientenabstieg. Beim standardmäßigen SGD verwendet Momentum eine Linearkombination aus vergangenen Gradienten und dem jüngsten, um einen neuen Gradienten zur Aktualisierung einer Variable zu definieren. In ähnlicher Weise verfolgt TEXTGRAD vergangene Iterationen der Variable. Dieser Postfix wird an den Prompt für den Optimizer angehängt.

1 optimizer = TextualGradientDescent(parameters=[solution], momentum_window=3)

Code-Snippet 6: Wie man Momentum mit 3 vorherigen Schritten im TextualGradientDescent-Optimizer aktiviert.

Momentum-Prompt

Hier sind die vergangenen Iterationen dieser Variable: &lt;PAST_ITERATIONS&gt; {past_values}</PAST_ITERATIONS>