3.2 Optimización de soluciones mediante entrenamiento en tiempo de prueba para mejorar la resolución de problemas
Aquí, nos centramos en la tarea de optimización de soluciones mediante TEXTGRAD. En la optimización de soluciones, el objetivo es mejorar la solución a un problema complejo, como una pregunta sobre mecánica cuántica o química orgánica. En particular, a menudo tenemos un grafo de computación como el siguiente:
donde el parámetro que optimizamos es la Solución, y la función de pérdida se obtiene mediante una evaluación de la solución, por ejemplo, con un LLM. En cada iteración, se solicita al LLM con la pregunta, la solución actual y alguna instrucción en tiempo de prueba que pide criticar o investigar la iteración actual. A lo largo de la trayectoria de optimización, la solución se refina usando esta autoevaluación en tiempo de prueba. De manera más general, esta idea se conoce como entrenamiento en tiempo de prueba [42, 43], donde un modelo de aprendizaje automático se entrena en una instancia de prueba en el momento de la prueba, a menudo con un objetivo autosupervisado. De manera similar, trabajos recientes han mostrado los méritos del autorrefinamiento también para tareas de razonamiento [26, 30, 44]. En particular, aunque un LLM puede no acertar la respuesta a una pregunta o la solución a un problema en el primer intento, puede mejorar la respuesta mediante refinamiento iterativo. Por ejemplo, la función objetivo para el refinamiento se ve así:
Objetivo de Refinamiento de Solución
LLM("A continuación se presenta una pregunta de opción múltiple y una predicción. Eres un científico crítico y creativo. Tu trabajo es investigar la predicción. Recorre críticamente los pasos de razonamiento y observa si hay alguna razón por la que la predicción podría ser incorrecta. Usa el Proceso Janusiano, piensa en si respuestas alternativas podrían ser verdaderas. Pregunta: {Question} Respuesta del modelo de lenguaje: {Solution}")
A continuación se presenta una implementación representativa de la optimización de soluciones en TEXTGRAD.
1 # Supongamos que tenemos el test_dataset 2 question, answer test_dataset[i] 3 # Inicializar la función de pérdida en tiempo de prueba 4 # Esta tiene el prompt del sistema proporcionado arriba como 'Solution Refinement Objective' 5 test_time_loss_fn MultipleChoiceTestTime() 6 # Obtener una solución zero-shot de un LLM 7 solution: Variable zero_shot_llm(question) 8 # Optimizar la solución en sí misma 9 optimizer tg.TextualGradientDescent(parameters [solution]) 10 11 for iteration in range(max_iterations): 12 optimizer.zero_grad() 13 # Nótese cómo la pérdida es autosupervisada (no depende de ninguna verdad de referencia). 14 loss test_time_loss_fn(question, solution) 15 # Poblar los gradientes y actualizar la solución 16 loss.backward() 17 optimizer.step()
Fragmento de Código 1: Una implementación representativa de la optimización de soluciones en TEXTGRAD.
Tarea: Question Answering a prueba de Google (GPQA) [27] es un benchmark reciente donde preguntas desafiantes de opción múltiple en física, biología y química son creadas y etiquetadas por expertos de dominio que tienen o están cursando títulos de doctorado. En este benchmark, se reporta que los expertos y los no expertos capacitados logran una precisión del y respectivamente, lo que demuestra la dificultad de las preguntas. De manera importante, este es un benchmark donde el rendimiento aún no se ha saturado, donde, según nuestro conocimiento, los mejores resultados reportados, logrados por gpt-4o, obtienen una precisión del en el subconjunto diamond. También usamos dos subconjuntos desafiantes (Machine Learning y College Physics) del benchmark de question answering MMLU [45] que se utiliza para rastrear el progreso del modelado del lenguaje y si los LLM alcanzaron un rendimiento a nivel humano. Aquí la precisión humana experta en promedio es de alrededor del . Para los detalles del formato de las preguntas y los prompts, véase el Apéndice D.
Método: Presentamos dos líneas de base. Primero, los resultados reportados en el documento de lanzamiento de gpt-4o indican una precisión del . Sin embargo, su implementación oficial utiliza una temperatura de 0.5 para las generaciones, por lo que también evaluamos gpt-4o con temperatura 0 y con indicaciones de Cadena de Pensamiento (CoT, por sus siglas en inglés) [46, 47] proporcionadas en la implementación oficial1. Para TEXTGRAD, realizamos 3 iteraciones de actualizaciones en tiempo de prueba (es decir, actualizamos la solución tres veces) y llevamos a cabo una votación por mayoría entre todas las soluciones para obtener la respuesta final. Utilizamos métricas basadas en cadenas de texto para calcular la precisión final de cada respuesta.
Resultados: Con TEXTGRAD, mejoramos el rendimiento de gpt-4o en las exigentes tareas de respuesta a preguntas y reportamos los resultados en la Tabla 2. Hasta donde sabemos, es el mejor resultado conocido en el conjunto de datos GPQA hasta la fecha. De manera similar, mejoramos el rendimiento en subconjuntos de MMLU de a (Aprendizaje Automático) y de a (Física Universitaria). Estos resultados muestran que al invertir más cómputo en tiempo de prueba mediante la autorrefinación de TEXTGRAD, podemos mejorar el rendimiento en respuesta a preguntas incluso de los modelos más capaces.