Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

4 Travaux connexes

Un axe de travail connexe a porté sur le problème de l'optimisation de prompts. Des praticiens ont démontré que des stratégies d'ingénierie de prompts telles que la sélection intelligente d'exemples few-shot et l'apprentissage en contexte, le CoT, les ensembles peuvent considérablement améliorer les performances des LLM [66]. Pour automatiser ce processus, des méthodes en boîte blanche exploitant les gradients numériques ont été développées pour optimiser les prompts [67-70] ; toutefois, ces méthodes ne peuvent pas être utilisées avec des modèles à code fermé, car elles nécessitent l'accès aux paramètres du modèle. Divers travaux ont étudié l'utilisation des LLM comme optimiseurs de prompts [12, 25, 71].

Dans le domaine de l'optimisation de prompts, deux travaux sont les plus proches de notre philosophie et ont constitué nos sources d'inspiration. Premièrement, DSPy [10, 72, 73] a été pionnier de l'idée de considérer les systèmes complexes basés sur les LLM comme des programmes comportant potentiellement de nombreuses couches, et propose des moyens de les construire et de les optimiser de manière programmatique. Le cadre est étendu, avec des résultats améliorant les performances des LLM dans diverses tâches de question-réponse, de raisonnement et d'optimisation de prompts. Notre travail adopte une perspective différente : la rétropropagation et ses extensions peuvent constituer un cadre général et puissant pour optimiser la nouvelle génération de systèmes d'IA, et réaliser de multiples tâches en dehors de l'optimisation de prompts. En particulier, nous traitons comme variables à optimiser non seulement les instructions ou les démonstrations, mais aussi les instances qui nous intéressent elles-mêmes — telles que les molécules, les plans de traitement, les extraits de code, etc. Deuxièmement, source d'inspiration majeure pour nous, Prompt Optimization with Textual Gradients (ProTeGi) [25] définit les gradients textuels dans le contexte de l'optimisation de prompts, où les gradients sont des retours en langage naturel fournis par les LLM sur les erreurs commises au cours de la tâche. Alors que ProTeGi repose sur l'analogie du gradient textuel, nous élargissons cette analogie plus largement à la différentiation automatique, et allons substantiellement au-delà des tâches d'optimisation de prompts. En particulier, DSPy et ProTeGi se sont tous deux concentrés sur l'optimisation de prompts, tandis qu'une avancée significative de TExTGRAD, comme le montrent nos diverses applications, réside dans l'optimisation d'instance.

Plus généralement, un axe de travail émergent repose sur l'idée de haut niveau d'utiliser les LLM comme critiques ou optimiseurs [10, 12, 25, 26, 30, 71, 74-80]. Alors que nombre de ces cadres antérieurs ont démontré l'utilité des LLM comme optimiseurs, nous proposons un cadre unique et général qui a été testé avec succès dans une variété d'applications. Au sein de ce cadre, nous pouvons raisonner sur l'optimisation de chaînes ou de piles de LLM [81-83] : nous propageons des retours en langage naturel. De même, une fois considéré comme un moteur d'optimisation polyvalent, nous pouvons formuler de nombreux problèmes pertinents instanciés en quelques lignes de code dans notre cadre, tels que l'entraînement au moment du test [42, 43] ou l'auto-affinage des solutions et l'auto-amélioration [26, 30, 44, 84-91]. En nous appuyant sur l'analogie avec l'optimisation, nous avons déjà transposé plusieurs analogies issues de la littérature traditionnelle sur l'optimisation, comme le momentum [40] via l'utilisation d'itérations antérieures dans le contexte, l'utilisation de l'optimisation par lots [92], l'optimisation sous contraintes [35] à l'aide de contraintes en langage naturel, etc. Notre travail ouvre un large espace pour concevoir la nouvelle génération d'algorithmes d'optimisation, le tout dans un même cadre.