4 Verwandte Arbeiten
Ein verwandter Forschungsstrang untersuchte das Problem der Prompt-Optimierung. Praktiker zeigten, dass Prompt-Engineering-Strategien wie das intelligente Auswählen von Few-Shot-Beispielen und In-Context-Learning, CoT sowie Ensembles die Leistung von LLMs erheblich steigern können [66]. Zur Automatisierung dieses Prozesses wurden White-Box-Methoden entwickelt, die numerische Gradienten nutzen, um Prompts zu optimieren [67-70]; diese Methoden können jedoch nicht mit Closed-Source-Modellen verwendet werden, da sie Zugriff auf Modellparameter erfordern. Verschiedene Arbeiten untersuchten die Verwendung von LLMs als Prompt-Optimierer [12, 25, 71].
Unter der Prompt-Optimierung gibt es zwei Arbeiten, die unserer Philosophie am nächsten stehen und uns inspiriert haben. Erstens hat DSPy [10, 72, 73] die Idee vorangetrieben, komplexe LLM-basierte Systeme als Programme mit potenziell vielen Schichten zu betrachten, und schlägt Wege vor, sie programmatisch zu erstellen und zu optimieren. Das Framework ist umfangreich, und die Ergebnisse verbessern die LLM-Leistung bei verschiedenen Fragebeantwortungs-, Reasoning- und Prompt-Optimierungsaufgaben. Unsere Arbeit nimmt eine andere Perspektive ein: dass Backpropagation und ihre Erweiterungen ein allgemeines und leistungsfähiges Framework zur Optimierung der neuen Generation von KI-Systemen sein können und mehrere Aufgaben außerhalb der Prompt-Optimierung ausführen können. Insbesondere behandeln wir nicht nur Anweisungen oder Demonstrationen als zu optimierende Variablen, sondern auch die Instanzen, die uns interessieren, selbst – wie Moleküle, Behandlungspläne, Code-Snippets und so weiter. Zweitens, und für uns sehr inspirierend, definiert Prompt Optimization with Textual Gradients (ProTeGi) [25] die Textuellen Gradienten im Kontext der Prompt-Optimierung, wobei Gradienten natürliche Sprachrückmeldungen von LLMs zu den während der Aufgabe gemachten Fehlern sind. Während ProTeGi auf der Analogie des textuellen Gradienten aufbaut, erweitern wir diese Analogie breiter auf die automatische Differenzierung und gehen wesentlich über Prompt-Optimierungsaufgaben hinaus. Insbesondere konzentrierten sich sowohl DSPy als auch ProTeGi auf die Prompt-Optimierung, während ein bedeutender Fortschritt von TExTGRAD, wie durch unsere vielfältigen Anwendungen gezeigt, in der Instanzoptimierung liegt.
Allgemeiner gibt es einen aufkommenden Forschungsstrang, der auf der übergeordneten Idee aufbaut, LLMs als Kritiker oder Optimierer zu verwenden [10, 12, 25, 26, 30, 71, 74-80]. Während viele dieser früheren Frameworks den Nutzen von LLMs als Optimierer demonstrierten, schlagen wir ein einziges und allgemeines Framework vor, das erfolgreich in einer Vielzahl von Anwendungen getestet wurde. Innerhalb dieses Frameworks können wir über die Optimierung von Ketten oder Stapeln von LLMs [81-83] reasoning betreiben: Wir propagieren natürliche Sprachrückmeldungen. In ähnlicher Weise können wir, sobald es als allgemeine Optimierungsmaschine betrachtet wird, viele relevante Probleme, die als wenige Codezeilen in unserem Framework instanziiert werden, formulieren, wie etwa Test-Time-Training [42, 43] oder Selbstverfeinerung von Lösungen und Selbstverbesserung [26, 30, 44, 84-91]. Aufbauend auf der Optimierungsanalogie haben wir bereits mehrere Analogien aus der traditionellen Optimierungsliteratur übertragen, wie etwa Momentum [40] durch die Verwendung früherer Iterationen im Kontext, die Nutzung von Batch-Optimierung [92], restringierte Optimierung [35] unter Verwendung natürlicher Sprachbeschränkungen und so weiter. Unsere Arbeit eröffnet einen großen Raum für die Gestaltung der neuen Generation von Optimierungsalgorithmen, alles innerhalb desselben Frameworks.