Ir al contenido principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

3.1 Optimización de código

La optimización de código es un caso de uso emblemático de la optimización de instancias. Aquí, el objetivo es optimizar algún código para mejorar, por ejemplo, la corrección o la complejidad en tiempo de ejecución. A menudo tenemos un grafo de computación como el siguiente:

Objetivo de Refinamiento de Código =LLM(Problem+Code+Test−timeInstruction+LocalTestResults)= \mathrm{LLM}(\mathrm{Problem} + \mathrm{Code} + \mathrm{Test - time} \mathrm{Instruction} + \mathrm{Local} \mathrm{Test} \mathrm{Results}) (14)

donde optimizamos el Código para resolver un Problema dado con supervisión de pruebas locales limitada y autoevaluación mediante una instrucción de prueba que solicita criticar la iteración actual del código. La Figura 1e muestra un ejemplo para el problema Se te da un arreglo nums de tamaño n que consiste en enteros distintos de 1 a n y un entero positivo k. Devuelve el número de subarreglos no vacíos en nums que tengan una mediana igual a k. La primera solución propuesta por gpt-4o no pasa las pruebas. TEXTGRAD identifica un caso límite en la primera solución y proporciona una sugerencia sobre cómo mejorarla. La implementación optimizada pasa todas las pruebas.

Tarea: Utilizamos el conjunto de datos LeetCode Hard [26] para evaluar la optimización de código. LeetCode es una plataforma en línea que ofrece preguntas de práctica de programación como preparación para entrevistas técnicas. El conjunto de datos LeetCode Hard contiene ejemplos de problemas de programación difíciles que están pensados para ser un desafío tanto para humanos como para modelos de lenguaje, donde la métrica de éxito es la Tasa de Finalización, es decir, pasar todos los casos de prueba para un problema dado (se informa que GPT-4 logró una tasa de finalización del 7% [26]). Los casos de prueba de LeetCode no son públicos y, por lo tanto, tras la generación, el código debe enviarse a la plataforma LeetCode para su evaluación en los casos de prueba no vistos. Esto hace que la plataforma sea más adecuada para evaluar el rendimiento de los modelos de lenguaje.

Línea base: Reflexion [26] es el método de vanguardia en el conjunto de datos LeetCode Hard. Su enfoque solicita a un LLM que reflexione sobre los fragmentos de código y los errores que se generaron en el momento de la prueba utilizando pruebas unitarias candidatas. Dada la autorreflexión, se solicita nuevamente al LLM que proporcione una pieza de código actualizada, condicionada a la autorreflexión y a los errores. Ejecutamos Reflexion en LeetCodeHard usando gpt-4o usando 1 demostración en contexto para guiar el comportamiento (one-shot). Además de Reflexion, también ejecutamos una línea base zero-shot usando gpt-4o imitando la misma línea base zero-shot descrita en [26]. En comparación, TEXTGRAD se ejecuta en un entorno zero-shot, sin ninguna demostración.

Resultados: Los resultados existentes [26] mostraron una tasa de aprobación del 7% para GPT-4 zero-shot y del 15% para GPT-4 con Reflexion. Mostramos que estos resultados ahora se han elevado al 23% para gpt-4o zero-shot y al 31% cuando se usa Reflexion. Con TEXTGRAD, podemos optimizar soluciones para lograr un rendimiento del 36%. Estas mejoras son más impresionantes considerando que Reflexion se ejecutó con demostraciones en contexto y TEXTGRAD no utilizó ninguna demostración (es decir, zero-shot).

Objetivo de Refinamiento de Código

LLM("Eres un asistente inteligente usado como evaluador, y parte de un sistema de optimización. Analizarás una implementación de código para un problema de programación y los resultados de las pruebas unitarias. El código será probado con pruebas más difíciles, así que no solo verifiques si el código pasa las pruebas proporcionadas. Piensa en la corrección del código y su rendimiento en casos de prueba más difíciles. Da retroalimentación muy concisa. Investiga el problema de código y la implementación proporcionada. Para cada caso de prueba unitaria fallido, comienza a analizarlo diciendo "El código no pasó esta prueba porque...". Explica por qué la implementación actual no está obteniendo la salida esperada. No proporciones una implementación revisada. Sugiere cuidadosamente por qué hay problemas con el código y proporciona retroalimentación. {Test-time Instruction}\\El problema de programación:\\ {Problem}\\Código generado que debe evaluarse por corrección y rendimiento en tiempo de ejecución\\ {Code}\\Los resultados de las pruebas:\\ {Local test Results}

TareaMétodoTasa de finalización
LeetCode Hard [26]Zero-shot [26]0.26
Reflexion (1 demostración, 5 iteraciones) [26]0.31 ± 0.012
TEXTGRAD (0 demostraciones, 5 iteraciones)0.36 ± 0.018
Tabla 1: Optimización de código para LeetCode Hard usando gpt-4o. Los resultados son promediados sobre 5 semillas.