3.2 Lösungsoptimierung durch Test-Time-Training zur Verbesserung der Problemlösung
Hier konzentrieren wir uns auf die Aufgabe der Lösungsoptimierung mittels TEXTGRAD. Bei der Lösungsoptimierung besteht das Ziel darin, die Lösung für ein komplexes Problem zu verbessern, etwa eine Frage zur Quantenmechanik oder zur organischen Chemie. Insbesondere haben wir oft einen Berechnungsgraphen wie den folgenden:
wobei der Parameter, den wir optimieren, die Lösung ist und die Verlustfunktion durch eine Bewertung der Lösung erhalten wird, z. B. mit einem LLM. Bei jeder Iteration wird das LLM mit der Frage, der aktuellen Lösung und einer Test-Time-Instruktion konfrontiert, die dazu auffordert, die aktuelle Iteration zu kritisieren oder zu untersuchen. Über den Optimierungsverlauf hinweg wird die Lösung mithilfe dieser Test-Time-Selbstevaluierung verfeinert. Allgemeiner ist diese Idee als Test-Time-Training [42, 43] bekannt, bei dem ein maschinelles Lernmodell zur Testzeit an einer Testinstanz trainiert wird, oft mit einem selbstüberwachten Ziel. In ähnlicher Weise haben neuere Arbeiten die Vorzüge der Selbstverfeinerung auch für Reasoning-Aufgaben gezeigt [26, 30, 44]. Insbesondere kann ein LLM, auch wenn es die Antwort auf eine Frage oder die Lösung eines Problems nicht beim ersten Versuch richtig trifft, die Antwort durch iterative Verfeinerung verbessern.Beispielsweise sieht die Zielfunktion für die Verfeinerung wie folgt aus:
Lösungsverfeinerungsziel
LLM("Below is a multi-choice question and a prediction. You are a critical and creative scientist. Your job is to investigate the prediction. Critically go through reasoning steps, and see if there is a reason why the prediction could be incorrect. Use the Janusian Process, think about whether alternative answers could be true. Question: {Question} Answer by the language model: {Solution}")
Nachfolgend finden Sie eine repräsentative Implementierung der Lösungsoptimierung in TEXTGRAD.
1 # Angenommen, wir haben die Testdatensatz-Frage, Antwort test_dataset[i] 2 # Initialisiere die Testzeit-Verlustfunktion 3 # Diese hat den oben angegebenen System-Prompt als 'Solution Refinement Objective' 4 # Holen einer Zero-Shot-Lösung von einem LLM 5 solution: Variable zero_shot_llm(question) 6 # Optimiere die Lösung selbst 7 optimizer tg.TextualGradientDescent(parameters [solution]) 8 9 for iteration in range(max_iterations): 10 optimizer.zero_grad() 11 # Beachte, dass der Verlust selbstüberwacht ist (nicht von Ground Truth abhängt) 12 loss test_time_loss_fn(question, solution) 13 # Fülle die Gradienten und aktualisiere die Lösung 14 loss.backward() 15 optimizer.step() Code-Snippet 1: Eine repräsentative Implementierung der Lösungsoptimierung in TEXTGRAD.
Aufgabe: Google-proof Question Answering (GPQA) [27] ist ein aktueller Benchmark, bei dem herausfordernde Multiple-Choice-Fragen aus Physik, Biologie und Chemie von Domänenexperten erstellt und gekennzeichnet werden, die einen PhD-Abschluss haben oder anstreben. In diesem Benchmark wird berichtet, dass Experten und erfahrene Nicht-Experten eine Genauigkeit von bzw. erreichen, was die Schwierigkeit der Fragen zeigt. Wichtig ist, dass dies ein Benchmark ist, bei dem die Leistung noch nicht gesättigt ist, bei dem nach unserem Wissen die besten berichteten Ergebnisse, die von gpt-4o erzielt wurden, Genauigkeit im Diamond-Subset erreichen. Wir verwenden außerdem zwei herausfordernde Subsests (Machine Learning und College Physics) des MMLU [45] Question-Answering-Benchmarks, der verwendet wird, um den Fortschritt der Sprachmodellierung und ob LLMs menschliches Leistungsniveau erreicht haben, zu verfolgen. Hier liegt die Genauigkeit menschlicher Experten im Durchschnitt bei etwa . Für Details zum Frageformat und zu den Prompts siehe Anhang D.
Methode: Wir berichten zwei Baselines. Erstens geben die berichteten Ergebnisse im gpt-4o-Release-Dokument eine Genauigkeit von an. Ihre offizielle Implementierung verwendet jedoch eine Temperatur von 0,5 für Generierungen, daher testen wir gpt-4o auch mit Temperatur 0 und Chain-of-Thought (CoT) [46, 47]-Prompting, wie in der offiziellen Implementierung1 angegeben. Für TEXTGRAD führen wir 3 Iterationen von Testzeit-Updates durch (d. h. wir aktualisieren die Lösung dreimal) und führen Majority Voting über alle Lösungen durch, um die endgültige Antwort zu erhalten. Wir verwenden stringbasierte Metriken, um die endgültige Genauigkeit jeder Antwort zu berechnen.
Ergebnisse: Mit TEXTGRAD verbessern wir die Leistung von gpt-4o bei den herausfordernden Question-Answering-Aufgaben und berichten die Ergebnisse in Tabelle 2. Nach unserem besten Wissen ist das derzeit beste bekannte Ergebnis im GPQA-Datensatz. Ebenso verbessern wir die Leistung in MMLU-Subsets von auf (Machine Learning) und von auf (College Physics). Diese Ergebnisse zeigen, dass wir durch mehr Rechenaufwand zur Testzeit mittels TEXTGRAD-Selbstverfeinerung die Question-Answering-Leistung selbst der leistungsfähigsten Modelle verbessern können.