Resumen
La IA está experimentando un cambio de paradigma, con avances logrados por sistemas que orquestan múltiples modelos de lenguaje grandes (LLM) y otros componentes complejos. Como resultado, desarrollar métodos de optimización automatizados y con fundamentos sólidos para sistemas de IA compuestos es uno de los nuevos desafíos más importantes. Las redes neuronales enfrentaron un desafío similar en sus primeros días, hasta que la retropropagación y la diferenciación automática transformaron el campo al hacer que la optimización fuera inmediata. Inspirados por esto, presentamos TEXTGRAD, un marco potente que realiza "diferenciación" automática mediante texto. TEXTGRAD retropropaga la retroalimentación textual proporcionada por los LLM para mejorar componentes individuales de un sistema de IA compuesto. En nuestro marco, los LLM proporcionan sugerencias ricas, generales y en lenguaje natural para optimizar variables en gráficos de computación, que van desde fragmentos de código hasta estructuras moleculares. TEXTGRAD sigue la sintaxis y la abstracción de PyTorch y es flexible y fácil de usar. Funciona de manera inmediata para una variedad de tareas, donde los usuarios solo proporcionan la función objetivo sin ajustar componentes ni prompts del marco. Mostramos la efectividad y generalidad de TEXTGRAD en una amplia gama de aplicaciones, desde respuesta a preguntas y optimización de moléculas hasta planificación de tratamientos de radioterapia. Sin modificar el marco, TEXTGRAD mejora la precisión de cero disparos de GPT-4o en Google-Proof Question Answering del 51 % al 55 %, produce una ganancia de rendimiento relativa del 20 % en la optimización de soluciones a problemas de programación LeetCode-Hard, mejora los prompts para razonamiento, diseña nuevas moléculas pequeñas similares a fármacos con afinidad de unión in silico deseable y diseña planes de tratamiento de oncología radioterápica con alta especificidad. TEXTGRAD establece una base para acelerar el desarrollo de la próxima generación de sistemas de IA.