Zielfunktionen
In der numerischen Optimierung und der automatischen Differenzierung ist die Zielfunktion typischerweise eine differenzierbare Funktion, wie etwa der mittlere quadratische Fehler oder die Kreuzentropie. In TEXTGRAD kann die Zielfunktion eine komplexe und potenziell nicht differenzierbare Funktion sein, bei der Definitionsbereich und Wertebereich der Funktion unstrukturierte Daten sein können. Diese Wahl verleiht dem Framework wichtige Allgemeinheit und Flexibilität. Beispielsweise zeigen wir, dass die Zielfunktion in natürlichem Sprachtext angegeben und durch Prompting eines Sprachmodells berechnet werden kann (§3.3), als Ausgabe eines Code-Interpreters, der Unit-Tests ausführt (§3.1), oder als Ausgaben von Molekularsimulations-Engines (§3.4). Beispielsweise kann eine einfache Verlustfunktion für einen Codeausschnitt die folgende sein:
Hier ist das Ziel für diesen Ausschnitt: Bewerte den Ausschnitt hinsichtlich Korrektheit und Laufzeitkomplexität.),
wobei wir dieses Bewertungssignal nutzen können, um den Codeausschnitt zu optimieren, gestützt auf die gut dokumentierte Fähigkeit von LLMs, menschliches Feedback zu simulieren, sich selbst zu evaluieren und sich selbst zu verbessern [10, 28-33].