Ir al contenido principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Técnicas de optimización

La diferenciación automática es una analogía sólida para TEXTGRAD y proporciona apoyo conceptual para las técnicas de optimización implementadas en el marco. A continuación, describimos algunos ejemplos.

Optimización por lotes: Implementamos el descenso de gradiente estocástico con minilotes [18, 34] para la optimización de prompts. Específicamente, tras realizar un pase hacia adelante con múltiples instancias en un lote y evaluar los términos de pérdida individuales, usamos la función tg.sum para sumar las pérdidas (de forma análoga a torch.sum). En el pase hacia atrás, los gradientes sobre las variables a través de los términos de pérdida individuales se concatenan, reflejando la retropropagación a través de la suma.

Optimización con restricciones: Usamos restricciones en lenguaje natural, basándonos en la optimización con restricciones como analogía [35]. En particular, usamos restricciones en lenguaje natural (p. ej., como 'La última línea de tu respuesta debe tener el siguiente formato: 'Answer: \*SELECT', donde LETTER es una de ABCD.') para guiar el comportamiento del optimizador. Observamos que, gracias al ajuste por instrucciones [36, 37], los modelos de lenguaje pueden seguir estas restricciones simples, aunque su fiabilidad puede reducirse con demasiadas restricciones [38, 39].

Impulso: utilizamos la analogía con el impulso en el descenso de gradiente [40, 41]. Al optimizar una variable, el optimizador TGD puede ver opcionalmente las iteraciones anteriores de la variable al realizar la actualización. Para más detalles sobre las técnicas de optimización implementadas en TEXTGRAD, véase el Apéndice B.