メインコンテンツへスキップ
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

モメンタム

TEXTGRAD は、Textual Gradient Descent におけるモメンタムの使用をサポートしています。標準的な SGD のモメンタムでは、過去の勾配と最新の勾配の線形結合を用いて、変数を更新するための新しい勾配を定義します。同様に、TEXTGRAD は変数の過去のイテレーションを追跡します。この後置文はオプティマイザのプロンプトに付加されます。

1 optimizer = TextualGradientDescent(parameters=[solution], momentum_window=3)

コードスニペット6:TextualGradientDescent オプティマイザで過去3ステップを用いたモメンタムを有効にする方法。

モメンタムプロンプト

以下はこの変数の過去のイテレーションです:&lt;PAST_ITERATIONS&gt; {past_values}</PAST_ITERATIONS>