4 Trabajo relacionado
Una línea de trabajo relacionada investigó el problema de la optimización de indicaciones (prompts). Los profesionales demostraron que las estrategias de ingeniería de indicaciones, como seleccionar inteligentemente ejemplos de pocos disparos y el aprendizaje en contexto, CoT, los ensembles, pueden aumentar significativamente el rendimiento de los LLM [66]. Para automatizar este proceso, se desarrollaron métodos de caja blanca que aprovechan los gradientes numéricos para optimizar las indicaciones [67-70]; sin embargo, estos métodos no pueden usarse con modelos de código cerrado, ya que requieren acceso a los parámetros del modelo. Diversos trabajos investigaron el uso de LLM como optimizadores de indicaciones [12, 25, 71].
Dentro de la optimización de indicaciones, hay dos trabajos más cercanos a nuestra filosofía que han sido nuestras inspiraciones. Primero, DSPy [10, 72, 73] fue pionero en la idea de ver los sistemas complejos basados en LLM como programas con potencialmente muchas capas, y propone formas de construirlos y optimizarlos de manera programática. El marco es extenso, con resultados que mejoran el rendimiento de los LLM en diversas tareas de respuesta a preguntas, razonamiento y optimización de indicaciones. Nuestro trabajo adopta una perspectiva diferente: que la retropropagación y sus extensiones pueden ser un marco general y potente para optimizar la nueva generación de sistemas de IA, y realizar múltiples tareas fuera de la optimización de indicaciones. En particular, tratamos no solo las instrucciones o demostraciones como variables a optimizar, sino también las instancias que nos importan en sí mismas —como moléculas, planes de tratamiento, fragmentos de código, etc.—. Segundo, muy inspirador para nosotros, Prompt Optimization with Textual Gradients (ProTeGi) [25] define los Gradientes Textuales en el contexto de la optimización de indicaciones, donde los gradientes son retroalimentación en lenguaje natural de los LLM dada a los errores cometidos durante la tarea. Si bien ProTeGi se basa en la analogía del gradiente textual, ampliamos esta analogía más ampliamente hacia la diferenciación automática, y vamos sustancialmente más allá de las tareas de optimización de indicaciones. En particular, tanto DSPy como ProTeGi se centraron en la optimización de indicaciones, mientras que un avance significativo de TExTGRAD, como se demuestra a través de nuestras diversas aplicaciones, está en la optimización de instancias.
De manera más general, existe una línea emergente de trabajo construida sobre la idea de alto nivel de usar LLM como críticos u optimizadores [10, 12, 25, 26, 30, 71, 74-80]. Si bien muchos de estos marcos anteriores demostraron la utilidad de los LLM como optimizadores, proponemos un marco único y general que se probó con éxito en una variedad de aplicaciones. Dentro de este marco, podemos razonar sobre la optimización de cadenas o pilas de LLM [81-83]: propagamos retroalimentación en lenguaje natural. De manera similar, una vez visto como un motor de optimización de propósito general, podemos formular muchos problemas relevantes instanciados como unas pocas líneas de código en nuestro marco, como el entrenamiento en tiempo de prueba [42, 43] o el autorrefinamiento de soluciones y la automejora [26, 30, 44, 84-91]. Construyendo sobre la analogía de optimización, ya transferimos varias analogías de la literatura de optimización tradicional, como el impulso [40] mediante el uso de iteraciones anteriores en el contexto, el uso de optimización por lotes [92], la optimización con restricciones [35] usando restricciones en lenguaje natural, etc. Nuestro trabajo abre un gran espacio para diseñar la nueva generación de algoritmos de optimización, todo dentro del mismo marco.