TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
Optimización por lotes
En la optimización por lotes, utilizamos la función tg.sum descrita anteriormente. En particular, los gradientes que se propagan desde múltiples instancias se concatenan entre sí, de modo que el optimizador ve toda la retroalimentación que llega a una variable proveniente de múltiples fuentes.
La sintaxis es tan sencilla como la siguiente:
1 losses [loss_fn(answer, model(question)) for question, answer in batch] 2 total_loss tg.sum(losses) 3 total_loss.backward()
Fragmento de código 4: Un ejemplo de uso para la optimización por lotes para respuesta a preguntas.