1 Einleitung
Aufgrund der Durchbrüche großer Sprachmodelle (LLMs) [1–6] vollzieht sich ein aufkommender Paradigmenwechsel darin, wie KI-Systeme gebaut werden. Die neue Generation von KI-Anwendungen sind zunehmend zusammengesetzte Systeme, die mehrere ausgefeilte Komponenten umfassen, wobei jede Komponente ein LLM-basierter Agent, ein Werkzeug wie ein Simulator oder eine Websuche sein könnte. Beispielsweise kann ein System von LLMs, die mit symbolischen Lösern kommunizieren, Mathematikprobleme auf Olympiade-Niveau lösen [7]; ein System von LLMs, das Suchmaschinen und Code-Interpreter-Werkzeuge verwendet, schneidet vergleichbar mit menschlichen Wettbewerbsprogrammierern ab [8] und löst reale GitHub-Issues [9]. Viele dieser Durchbrüche stammen jedoch von Systemen, die von Experten auf dem jeweiligen Anwendungsgebiet von Hand gefertigt und durch Heuristiken angepasst werden. Daher ist die Entwicklung prinzipienbasierter und automatisierter Wege zur Optimierung von KI-Systemen eine der entscheidendsten Herausforderungen für den Bau zusammengesetzter Systeme mit LLMs und notwendig, um die Kraft der KI zu erschließen [10–12].
In den vergangenen 15 Jahren haben viele Fortschritte in der KI auf künstlichen neuronalen Netzen und differenzierbarer Optimierung beruht [7, 13–17]. Verschiedene Teile neuronaler Netze (z. B. zwei künstliche Neuronen) kommunizieren über differenzierbare Funktionen wie Matrixmultiplikationen [18]. Daher war die Verwendung numerischer Gradienten und der Backpropagation [19], die die Richtung liefern, in der jeder Parameter angepasst werden muss, um ein Modell zu verbessern, der natürliche Weg, KI-Modelle zu trainieren. Flexible Frameworks zur automatischen Differenzierung, die Backpropagation implementieren [20–24], waren für die Entwicklung von KI-Modellen unverzichtbar.
Um die neue Generation von KI-Systemen zu optimieren, führen wir TEXTGRAD ein, die automatische Differenzierung über Text. Hier verwenden wir Differenzierung und Gradienten als Metapher für textuelles Feedback von LLMs. In diesem Framework wird jedes KI-System in einen Berechnungsgraphen umgewandelt, wobei Variablen Eingaben und Ausgaben komplexer (nicht notwendigerweise differenzierbarer) Funktionsaufrufe sind. Das Feedback an die Variablen (als „textuelle Gradienten“ bezeichnet [25]) wird in Form informativer und interpretierbarer Kritik in natürlicher Sprache an die Variablen bereitgestellt; sie beschreibt, wie eine Variable geändert werden sollte, um das System zu verbessern. Die Gradienten werden durch beliebige Funktionen propagiert, wie LLM-API-Aufrufe, Simulatoren oder externe numerische Löser.
Wir demonstrieren die Stärke unseres Frameworks in einer vielfältigen Menge von Bereichen, von Fragebeantwortungs-Benchmarks bis hin zur Optimierung von Strahlentherapie-Plänen und Molekülgenerierung (Abb. 1). LLMs können sehr reichhaltige, lesbare und ausdrucksstarke natürliche Sprachgradienten für Variablen in diesem breiten Spektrum von Bereichen liefern, wie etwa Vorschläge zur Modifikation von Molekülen, Prompts für andere LLMs und Code-Schnipsel. Unser Framework baut auf der Annahme auf, dass die aktuellen hochmodernen LLMs in der Lage sind, über einzelne Komponenten und Teilaufgaben des Systems zu reasoning, das es zu optimieren versucht. Wir demonstrieren die Flexibilität von TEXTGRAD mit den folgenden Ergebnissen:
1. Programmierung: In Abschnitt 3.1 optimieren wir Lösungen für schwierige Programmierprobleme von LeetCode [26], wobei wir die Leistung von gpt-4o und der besten bestehenden Methode um relativen Leistungsgewinn steigern. 2. Problemlösung: In Abschnitt 3.2 optimieren wir Lösungen für komplexe wissenschaftliche Fragen, um die Zero-Shot-Leistung von GPT-4o zu verbessern. Beispielsweise verbessern wir im Benchmark Google-Proof Question Answering [27] die Zero-Shot-Genauigkeit von auf , indem wir die Lösungen zur Testzeit verfeinern. 3. Reasoning: In Abschnitt 3.3 optimieren wir Prompts zur Verbesserung der LLM-Leistung, wobei wir die Leistung von GPT-3.5 in mehreren Reasoning-Aufgaben nahe an GPT-4 heranführen. 4. Chemie: In Abschnitt 3.4 entwerfen wir neue kleine Moleküle mit wünschenswerter Arzneimittelähnlichkeit und In-silico-Bindungsaffinität zu Wirkstoffzielen. 5. Medizin: In Abschnitt 3.5 optimieren wir Strahlenbehandlungspläne für Prostatakrebspatienten, um eine wünschenswerte Zieldosierung zu erreichen und Nebenwirkungen zu reduzieren.
Unsere Ergebnisse in einer breiten Menge von Anwendungen demonstrieren das Versprechen von TEXTGRAD, zusammengesetzte KI-Systeme automatisch über die Backpropagation von Textfeedback zu optimieren. Um den Fortschritt in dieser Richtung zu beschleunigen, stellen wir unser Framework als Open Source unter https://github.com/zou-group/textgrad bereit.