Zum Hauptinhalt springen
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Zusammenfassung

Die KI durchläuft einen Paradigmenwechsel, mit Durchbrüchen, die durch Systeme erzielt werden, die mehrere große Sprachmodelle (LLMs) und andere komplexe Komponenten orchestrieren. Infolgedessen ist die Entwicklung prinzipienbasierter und automatisierter Optimierungsmethoden für zusammengesetzte KI-Systeme eine der wichtigsten neuen Herausforderungen. Neuronale Netze standen in ihren Anfängen vor einer ähnlichen Herausforderung, bis Backpropagation und automatische Differenzierung das Feld transformierten, indem sie die Optimierung zu einer schlüsselfertigen Angelegenheit machten. Davon inspiriert führen wir TEXTGRAD ein, ein leistungsfähiges Framework, das eine automatische „Differenzierung“ über Text durchführt. TEXTGRAD propagiert textuelles Feedback, das von LLMs bereitgestellt wird, rückwärts, um einzelne Komponenten eines zusammengesetzten KI-Systems zu verbessern. In unserem Framework liefern LLMs reichhaltige, allgemeine Vorschläge in natürlicher Sprache zur Optimierung von Variablen in Berechnungsgraphen, von Code-Schnipseln bis hin zu molekularen Strukturen. TEXTGRAD folgt der Syntax und Abstraktion von PyTorch und ist flexibel und einfach zu verwenden. Es funktioniert out-of-the-box für eine Vielzahl von Aufgaben, bei denen die Nutzer nur die Zielfunktion angeben, ohne Komponenten oder Prompts des Frameworks abzustimmen. Wir zeigen die Wirksamkeit und Allgemeinheit von TEXTGRAD über eine vielfältige Bandbreite von Anwendungen, von Fragebeantwortung und Moleküloptimierung bis hin zur Strahlentherapie-Planung. Ohne Änderung des Frameworks verbessert TEXTGRAD die Zero-Shot-Genauigkeit von GPT-4o in Google-Proof Question Answering von 51 % auf 55 %, erzielt einen relativen Leistungsgewinn von 20 % bei der Optimierung von Lösungen für LeetCode-Hard-Programmierprobleme, verbessert Prompts für das Reasoning, entwirft neue arzneimittelähnliche kleine Moleküle mit wünschenswerter In-silico-Bindung und entwirft strahlenonkologische Behandlungspläne mit hoher Spezifität. TEXTGRAD legt eine Grundlage, um die Entwicklung der nächsten Generation von KI-Systemen zu beschleunigen.