TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
モメンタム
TEXTGRAD は、Textual Gradient Descent におけるモメンタムの使用をサポートしています。標準的な SGD のモメンタムでは、過去の勾配と最新の勾配の線形結合を用いて、変数を更新するための新しい勾配を定義します。同様に、TEXTGRAD は変数の過去のイテレーションを追跡します。この後置文はオプティマイザのプロンプトに付加されます。
1 optimizer = TextualGradientDescent(parameters=[solution], momentum_window=3)
コードスニペット6:TextualGradientDescent オプティマイザで過去3ステップを用いたモメンタムを有効にする方法。
モメンタムプロンプト
以下はこの変数の過去のイテレーションです:<PAST_ITERATIONS> {past_values}</PAST_ITERATIONS>