Ir al contenido principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Momentum

TEXTGRAD admite el uso de Momentum en el Descenso de Gradiente Textual. En el SGD estándar, el momentum utiliza una combinación lineal de gradientes pasados y el más reciente para definir un nuevo gradiente con el que actualizar una variable. De manera similar, TEXTGRAD lleva un registro de iteraciones pasadas de la variable. Este postfijo se añade al prompt del optimizador.

1 optimizer = TextualGradientDescent(parameters=[solution], momentum_window=3)

Fragmento de código 6: Cómo habilitar el momentum usando los 3 pasos previos en el optimizador TextualGradientDescent.

Prompt de momentum

Aquí están las iteraciones pasadas de esta variable: &lt;PAST_ITERATIONS&gt; {past_values}</PAST_ITERATIONS>