3.3 Prompt-Optimierung für das Reasoning
Obwohl LLMs bei Reasoning-Aufgaben eine beeindruckende Leistung zeigen, kann ihre Leistung empfindlich von dem Prompt abhängen, der zur Steuerung ihres Verhaltens verwendet wird. Insbesondere kann ihre Leistung bei der richtigen Wahl eines Prompts deutlich verbessert werden [49]. Bei der Prompt-Optimierung besteht das Ziel darin, einen Prompt oder eine Anweisung zu finden, die das Verhalten eines LLMs so steuert, dass es bei einer gegebenen Aufgabe gut abschneidet. Insbesondere haben wir oft einen Berechnungsgraphen wie den folgenden:
| Datensatz | Methode | Genauigkeit (%) |
| Google-proof QA [27] | CoT [46, 47] | 51,0 |
| Best reported [48] | 53,6 | |
| TEXTGRAD | 55,0 | |
| MMLU-Machine Learning [45] | CoT [46, 47] | 85,7 |
| TEXTGRAD | 88,4 | |
| MMLU-College Physics [45] | CoT [46, 47] | 91,2 |
| TEXTGRAD | 95,1 |
wobei wir eine Question für die Aufgabe, eine Answer auf die Frage und eine Evaluation Metric haben, die die Qualität der Ausgabe angesichts der Ground-Truth-Antwort angibt. Für eine Frage-Antwort-Aufgabe wäre die Evaluationsmetrik beispielsweise die Genauigkeit der Antwort, die z. B. mit stringbasierten Metriken bewertet wird.
Hier ist – gegeben eine Handvoll Trainingsbeispiele zur Optimierung eines Prompt – das Ziel, die Leistung eines LLMs bei der gegebenen Aufgabe zu maximieren. In unseren Experimenten ist unser Ziel, die Leistung eines schwächeren und günstigeren Modells (z. B. gpt-3.5-turbo-0125) mithilfe des von stärkeren Modellen (z. B. gpt-4o) erzeugten Feedbacks zu verbessern. Dies ist in der Praxis nützlich, weil durch die Zahlung fester Kosten für die Optimierung eines Prompt das prompt-optimierte schwächere Modell mit günstigeren Inferenzkosten verwendet werden kann, anstatt das starke und teurere Modell zu nutzen.
1 # Initialize the system prompt 2 system_prompt = tg.Variable("You are a helpful language model. Think step by step.", 3 requires_grad=True, 4 role_description="system prompt to the language model") 5 6 # Set up the model object 'parameterized by' the prompt. 7 model = tg.BlackboxLLM(system_prompt=system_prompt) 8 9 # Optimize the system prompt 10 optimizer = tg.TextualGradientDescent(parameters=[system_prompt]) 11 12 for iteration in range(max_iterations): 13 batch_x, batch_y = next(train_loader) 14 optimizer.zero_grad() 15 # Do the forward pass 16 responses = model(batch_x) 17 losses = [loss_fn(response, y) for (response, y) in zip(responses, batch_y)] 18 total_loss = tg.sum(losses) 19 # Perform the backward pass and compute gradients 20 total_loss.backward() 21 # Update the system prompt 22 optimizer.step()
Code-Snippet 2: Eine einfache Implementierung der Prompt-Optimierung mit TEXTGRAD.
Hier verwenden wir TEXTGRAD in einem Minibatch-Setting für stochastisches Gradientenverfahren [18, 34]. Insbesondere verwenden wir bei jeder Iteration einige Trainingsbeispiele, um den Forward-Pass in Gleichung 16 auszuführen. Ein Pseudocode und eine kurze Implementierung finden sich im obigen Snippet. Vollständige Details der Prompt-Optimierung finden sich in Anhang E. Anders als bei der Instanzoptimierung, bei der TEXTGRAD versucht, jede einzelne Lösung zu optimieren, besteht das Ziel hier darin, einen einzelnen Prompt zu optimieren, der über alle Fragen in einem Benchmark hinweg gut funktioniert.
Aufgaben: Wir untersuchen die Prompt-Optimierung in mehreren Datensätzen, darunter die beiden standardmäßigen Reasoning-Aufgaben (Object Counting und Word Sorting) aus Big Bench Hard (zufällig aufgeteilt in 50/100/100 Trainings-/Validierungs-/Testbeispiele) [50, 51] sowie GSM8k zur Lösung von Mathematikaufgaben auf Grundschulniveau [52] (unter Verwendung der Trainings-/Validierungs-/Testaufteilungen von DSPy). Für GSM8k und Object Counting verwenden wir eine stringbasierte Exact-Match-Metrik, um die Genauigkeit zu quantifizieren (d. h., ob die in der Antwort angegebene endgültige Zahl mit der Ground-Truth-Antwort übereinstimmt).Für Word Sorting verwenden wir ein LLM, um die Antwort und die Ground-Truth-Antwort zu vergleichen. Weitere Details zu den Aufgaben, Prompts und Beispielabfragen geben wir in Anhang E.1.
.
.
.
Methoden: Wir untersuchen die Verbesserung der Leistung von gpt-3.5-turbo-0125 unter Verwendung von gpt-4o [48], um während der Backpropagation Feedback zu geben. Insbesondere verwenden wir, während das Forward-Modell, das das Reasoning durchführt, gpt-3.5-turbo-0125 ist, gpt-4o, um das Feedback zu liefern und den Prompt zu verbessern. Wir verwenden eine Batch-Größe von 3 mit 12 Iterationen, d. h., das Modell sieht insgesamt 36 Trainingsbeispiele, die zufällig mit Zurücklegen gezogen werden. Nach jeder Iteration führen wir eine Validierungsschleife mit dem Validierungssatz der Datensätze aus, und wenn die Leistung besser ist als in der vorherigen Iteration, aktualisieren wir den Prompt.
Baselines: Wir haben zwei Haupt-Baselines:
1. Zero-shot Chain-of-Thought (CoT) [46, 47]: Wir initialisieren alle Prompts als Zero-shot-CoT-Prompt, bei dem ein Modell angewiesen wird, „Schritt für Schritt zu denken“, um seine Argumentation zu erklären, bevor es seine Antwort gibt. Diese Strategie ist bekanntermaßen eine starke Baseline für das Prompting.
2. DSPy ist ein hochmodernes Framework für die Programmierung von Sprachmodellen und die Prompt-Optimierung [10], daher verwenden wir es als Referenz-Baseline. Wir instanziieren den BootstrappedFewShotRandomSearch-(BFSR-)Optimierer von DSPy mit 10 Kandidatenprogrammen und 8 Few-Shot-Beispielen. Dieser Optimierer identifiziert Demonstrationen, die als Few-Shot-Beispiele in den Prompt aufgenommen werden sollen. Dies geschieht durch die Erzeugung von Traces von LLM-Eingaben und -Ausgaben, die die Metrik (in diesem Fall Genauigkeit) individuell erfüllen und CoT-Reasoning enthalten. Anschließend wendet er eine Zufallssuche über Teilmengen von bis zu acht Shots mit diesen Demonstrationen an.
| Datensatz | Methode | Genauigkeit (%) |
| Objekte zählen [50, 51] | CoT (0-shot) [46, 47] | 77,8 |
| DSPy (BFSR, 8 Demonstrationen) [10] | 84,9 | |
| TExTGRAD (nur Instruktion, 0 Demonstrationen) | 91,9 | |
| Wortsortierung [50, 51] | CoT (0-shot) [46, 47] | 76,7 |
| DSPy (BFSR, 8 Demonstrationen) [10] | 79,8 | |
| TExTGRAD (nur Instruktion, 0 Demonstrationen) | 79,8 | |
| GSM8k [52] | CoT (0-shot) [46, 47] | 72,9 |
| DSPy (BFSR, 8 Demonstrationen) [10] | 81,1 | |
| TExTGRAD (nur Instruktion, 0 Demonstrationen) | 81,1 |
Beispiel: Von TextGrad optimierter Prompt für gpt-3.5-turbo-0125
Prompt bei der Initialisierung (GSM8k-Genauigkeit ):
You will answer a mathematical reasoning question. Think step by step. Always conclude the last line of your response should be of the following format: 'Answer: VALUE' where VALUE is a numerical value."
Prompt nach 12 Iterationen mit Batch-Größe 3 (GSM8k-Genauigkeit ):
You will answer a mathematical reasoning question. Restate the problem in your own words to ensure understanding. Break down the problem into smaller steps, explaining each calculation in detail. Verify each step and re-check your calculations for accuracy. Use proper mathematical notation and maintain consistency with the context of the question. Always conclude with the final answer in the following format: 'Answer: VALUE' where VALUE is a numerical value.
Ergebnisse: Über alle drei Aufgaben hinweg verbessert TEXTGRAD die Leistung des 0-Shot-Prompts deutlich. Es schneidet ähnlich ab wie DSPy [10] bei Word Sorting und GSM8k und verbessert sich gegenüber DSPy um bei Object Counting. Während die 8 Demonstrationen im Kontext das Verhalten des LLMs leiten können, können sie die Inferenzkosten erhöhen. Interessanterweise nehmen der DSPy-Optimierer und TEXTGRAD komplementäre Anpassungen vor – Ersterer fügt In-Context-Demonstrationsbeispiele hinzu, Letzterer optimiert den System-Prompt. Das Hinzufügen der von DSPy ausgewählten Beispiele zum von TEXTGRAD optimierten Prompt könnte die Leistung weiter verbessern (für GSM8k erhöht die direkte Kombination der Demonstrationen von DSPy mit der Anweisung von TextGrad die Genauigkeit auf ), was darauf hindeutet, dass eine fruchtbare Richtung darin besteht, beide Ansätze zu kombinieren.