跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

动量

TEXTGRAD 支持在文本梯度下降中使用动量。在标准 SGD 中,动量使用过去梯度与最近一次梯度的线性组合来定义用于更新变量的新梯度。类似地,TEXTGRAD 会记录变量的过去迭代。该后缀会被附加到优化器的提示中。

1 optimizer = TextualGradientDescent(parameters=[solution], momentum_window=3)

代码片段 6:如何在 TextualGradientDescent 优化器中使用 3 个先前步骤启用动量。

动量提示

以下是该变量过去的迭代:&lt;PAST_ITERATIONS&gt; {past_values}</PAST_ITERATIONS>