Ir al contenido principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Optimización por lotes

En la optimización por lotes, utilizamos la función tg.sum descrita anteriormente. En particular, los gradientes que se propagan desde múltiples instancias se concatenan entre sí, de modo que el optimizador ve toda la retroalimentación que llega a una variable proveniente de múltiples fuentes.

La sintaxis es tan sencilla como la siguiente:

1 losses == [loss_fn(answer, model(question)) for question, answer in batch] 2 total_loss == tg.sum(losses) 3 total_loss.backward()

Fragmento de código 4: Un ejemplo de uso para la optimización por lotes para respuesta a preguntas.