3.1 Code-Optimierung
Die Code-Optimierung ist ein Paradeanwendungsfall der Instanzoptimierung. Hier besteht das Ziel darin, einen Code zu optimieren, um z. B. die Korrektheit oder die Laufzeitkomplexität zu verbessern. Wir haben oft einen Berechnungsgraphen wie den folgenden:
Code-Verfeinerungsziel (14)
wobei wir den Code optimieren, um ein gegebenes Problem mit begrenzter lokaler Testüberwachung und Selbstevaluierung durch eine Test-Instruktion zu lösen, die dazu auffordert, die aktuelle Iteration des Codes zu kritisieren. Abbildung 1e zeigt ein Beispiel für das Problem: You are given an array nums of size n consisting of distinct integers from 1 to n and a positive integer k. Return the number of non-empty subarrays in nums that have a median equal to k. Die erste von gpt-4o vorgeschlagene Lösung besteht die Tests nicht. TEXTGRAD identifiziert einen Randfall in der ersten Lösung und gibt einen Vorschlag, wie sie verbessert werden kann. Die optimierte Implementierung besteht alle Tests.
Aufgabe: Wir verwenden den LeetCode-Hard-Datensatz [26] zum Benchmarking der Code-Optimierung. LeetCode ist eine Online-Plattform, die Übungsaufgaben zum Programmieren zur Vorbereitung auf technische Interviews anbietet. Der LeetCode-Hard-Datensatz enthält Beispiele für schwierige Programmierprobleme, die sowohl für Menschen als auch für Sprachmodelle herausfordernd sein sollen, wobei die Erfolgsmetrik die Abschlussrate ist, d. h. das Bestehen aller Testfälle für ein gegebenes Problem (GPT-4 erreichte Berichten zufolge eine Abschlussrate von 7 % [26]). LeetCode-Testfälle sind nicht öffentlich, und daher muss der Code nach der Generierung zur Bewertung an den unbekannten Testfällen auf der LeetCode-Plattform eingereicht werden. Dies macht die Plattform besser geeignet, um die Leistung von Sprachmodellen zu bewerten.
Baseline: Reflexion [26] ist die State-of-the-Art-Methode auf dem LeetCode-Hard-Datensatz. Ihr Ansatz veranlasst ein LLM, über Code-Snippets und die zur Testzeit mithilfe von Kandidaten-Unit-Tests erzeugten Fehler zu reflektieren. Angesichts dieser Selbstreflexion wird das LLM erneut aufgefordert, einen aktualisierten Code bereitzustellen, konditioniert auf die Selbstreflexion und die Fehler. Wir haben Reflexion auf LeetCodeHard mit gpt-4o unter Verwendung von 1 In-Context-Demonstration ausgeführt, um das Verhalten zu lenken (One-Shot). Zusätzlich zu Reflexion führen wir auch eine Zero-Shot-Baseline mit gpt-4o aus, die die in [26] beschriebene Zero-Shot-Baseline nachahmt. Im Vergleich dazu läuft TEXTGRAD in einem Zero-Shot-Setting ohne jegliche Demonstrationen.
Ergebnisse: Bestehende Ergebnisse [26] zeigten eine Bestehensrate von 7 % für GPT-4 Zero-Shot und 15 % für GPT-4 mit Reflexion. Wir zeigen, dass diese Ergebnisse nun auf 23 % für gpt-4o Zero-Shot und 31 % bei Verwendung von Reflexion gesteigert wurden. Mit TEXTGRAD können wir Lösungen optimieren, um eine Leistung von 36 % zu erreichen. Diese Verbesserungen sind umso beeindruckender, wenn man bedenkt, dass Reflexion mit In-Context-Demonstrationen ausgeführt wurde und TEXTGRAD keine Demonstrationen verwendete (d. h. Zero-Shot).
Code-Verfeinerungsziel
LLM("You are an intelligent assistant used as an evaluator, and part of an optimization system. You will analyze a code implementation for a coding problem and unit test results. The code will be tested with harder tests, so do not just check if the code passes the provided tests. Think about the correctness of the code and its performance in harder test cases. Give very concise feedback. Investigate the code problem and the provided implementation. For each failed unit test case, start analyzing it by saying "The code did not pass this test because...". Explain why the current implementation is not getting the expected output. Do not provide a revised implementation. Carefully suggest why there are issues with the code and provide feedback. {Test-time Instruction}\\The coding problem:\\ {Problem}\\Code generated that must be evaluated for correctness and runtime performance\\ {Code}\\The test results:\\ {Local test Results}
| Aufgabe | Methode | Abschlussrate |
| LeetCode Hard [26] | Zero-shot [26] | 0,26 |
| Reflexion (1 Demonstration, 5 Iterationen) [26] | 0,31 ± 0,012 | |
| TEXTGRAD (0 Demonstrationen, 5 Iterationen) | 0,36 ± 0,018 |