Ir al contenido principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

1 Introducción

Está surgiendo un cambio de paradigma en la forma en que se construyen los sistemas de IA, debido a los avances de los modelos de lenguaje grandes (LLM) [1- 6]. La nueva generación de aplicaciones de IA son cada vez más sistemas compuestos que involucran múltiples componentes sofisticados, donde cada componente podría ser un agente basado en LLM, una herramienta como un simulador o una búsqueda en la web. Por ejemplo, un sistema de LLM que se comunican con solucionadores simbólicos puede resolver problemas matemáticos de nivel de olimpiada [7]; un sistema de LLM que usa motores de búsqueda y herramientas de intérprete de código tiene un rendimiento comparable al de programadores competitivos humanos [8] y está resolviendo problemas del mundo real de GitHub [9]. Sin embargo, muchos de estos avances provinieron de sistemas creados manualmente por expertos en el dominio de la aplicación y ajustados mediante heurísticas. Por lo tanto, desarrollar formas automatizadas y con fundamentos sólidos para optimizar sistemas de IA es uno de los desafíos más cruciales para construir sistemas compuestos con LLM, y es necesario para desbloquear el poder de la IA [10–12].

Durante los últimos 15 años, muchos avances en IA han dependido de redes neuronales artificiales y optimización diferenciable [7, 13–17]. Diferentes partes de las redes neuronales (p. ej., dos neuronas artificiales) se comunican mediante funciones diferenciables como multiplicaciones de matrices [18]. Por lo tanto, usar gradientes numéricos y retropropagación [19], que proporcionan la dirección para ajustar cada parámetro y mejorar un modelo, ha sido la forma natural de entrenar modelos de IA. Los marcos flexibles de diferenciación automática que implementan retropropagación [20–24] han sido indispensables para el desarrollo de modelos de IA.

Para optimizar la nueva generación de sistemas de IA, presentamos TEXTGRAD, diferenciación automática mediante texto. Aquí usamos diferenciación y gradientes como una metáfora de la retroalimentación textual de los LLM. En este marco, cada sistema de IA se transforma en un gráfico de computación, donde las variables son entradas y salidas de llamadas a funciones complejas (no necesariamente diferenciables). La retroalimentación a las variables (denominada "gradientes textuales" [25]) se proporciona en forma de crítica en lenguaje natural informativa e interpretable dirigida a las variables; describiendo cómo debería cambiarse una variable para mejorar el sistema. Los gradientes se propagan a través de funciones arbitrarias, como llamadas a la API de LLM, simuladores o solucionadores numéricos externos.

Demostramos el poder de nuestro marco en un conjunto diverso de dominios, que van desde benchmarks de respuesta a preguntas hasta optimización de planes de tratamiento de radioterapia y generación de moléculas (Fig. 1). Los LLM pueden proporcionar gradientes en lenguaje natural muy ricos, legibles y expresivos a las variables en esta amplia gama de dominios, como proponer modificaciones a moléculas, prompts para otros LLM y fragmentos de código. Nuestro marco se basa en el supuesto de que los LLM de última generación actuales son capaces de razonar sobre componentes individuales y subtareas del sistema que intenta optimizar. Demostramos la flexibilidad de TEXTGRAD con los siguientes resultados:

1. Programación: En la Sección 3.1, optimizamos soluciones a problemas de programación difíciles de LeetCode [26], donde aumentamos el rendimiento de gpt-4o y del mejor método existente en un 20%20\% de ganancia de rendimiento relevante. 2. Resolución de problemas: En la Sección 3.2, optimizamos soluciones a preguntas científicas complejas para mejorar el rendimiento de cero disparos de GPT-4o. Por ejemplo, en el benchmark Google-Proof Question Answering [27], mejoramos la precisión de cero disparos del 51%51\% al 55%55\% refinando las soluciones en el momento de la prueba. 3. Razonamiento: En la Sección 3.3, optimizamos prompts para mejorar el rendimiento de los LLM, donde llevamos el rendimiento de GPT-3.5 cerca de GPT-4 en varias tareas de razonamiento. 4. Química: En la Sección 3.4, diseñamos nuevas moléculas pequeñas con druglikeness deseable y afinidad de unión in silico a dianas farmacológicas. 5. Medicina: En la Sección 3.5, optimizamos planes de tratamiento de radiación para pacientes con cáncer de próstata para lograr una dosis objetivo deseable y reducir los efectos secundarios.

Nuestros resultados en un amplio conjunto de aplicaciones demuestran la promesa de TEXTGRAD para optimizar automáticamente sistemas de IA compuestos mediante la retropropagación de retroalimentación textual. Para acelerar el progreso en esta dirección, publicamos nuestro marco como código abierto en https://github.com/zou- group/textgrad.