Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

1 Introduction

Il y a un changement de paradigme émergent dans la façon dont les systèmes d'IA sont construits, en raison des percées des grands modèles de langage (LLM) [1- 6]. La nouvelle génération d'applications d'IA est de plus en plus constituée de systèmes composites impliquant plusieurs composants sophistiqués, où chaque composant peut être un agent basé sur un LLM, un outil tel qu'un simulateur, ou une recherche web. Par exemple, un système de LLM communiquant avec des solveurs symboliques peut résoudre des problèmes de mathématiques de niveau olympiade [7] ; un système de LLM utilisant des moteurs de recherche et des outils d'interpréteur de code obtient des performances comparables à celles de programmeurs compétitifs humains [8] et résout des problèmes réels de GitHub [9]. Cependant, bon nombre de ces percées proviennent de systèmes élaborés manuellement par des experts du domaine d'application et ajustés par des heuristiques. Par conséquent, développer des moyens automatisés et fondés sur des principes pour optimiser les systèmes d'IA est l'un des défis les plus cruciaux pour construire des systèmes composites avec des LLM, et est nécessaire pour libérer la puissance de l'IA [10–12].

Au cours des 15 dernières années, de nombreux progrès en IA ont reposé sur les réseaux de neurones artificiels et l'optimisation différentiable [7, 13–17]. Différentes parties des réseaux de neurones (par exemple, deux neurones artificiels) communiquent par des fonctions différentiables comme les multiplications matricielles [18]. Par conséquent, l'utilisation de gradients numériques et de la rétropropagation [19], qui fournissent la direction pour ajuster chaque paramètre afin d'améliorer un modèle, a été le moyen naturel d'entraîner des modèles d'IA. Des cadres flexibles de différentiation automatique implémentant la rétropropagation [20–24] ont été indispensables au développement des modèles d'IA.

Pour optimiser la nouvelle génération de systèmes d'IA, nous introduisons TEXTGRAD, la différentiation automatique via le texte. Ici, nous utilisons la différentiation et les gradients comme métaphore du retour d'information textuel des LLM. Dans ce cadre, chaque système d'IA est transformé en un graphe de calcul, où les variables sont les entrées et sorties d'appels de fonctions complexes (pas nécessairement différentiables). Le retour d'information aux variables (appelé « gradients textuels » [25]) est fourni sous la forme de critiques en langage naturel informatives et interprétables adressées aux variables ; décrivant comment une variable devrait être modifiée pour améliorer le système. Les gradients sont propagés à travers des fonctions arbitraires, telles que des appels d'API de LLM, des simulateurs ou des solveurs numériques externes.

Nous démontrons la puissance de notre cadre dans un ensemble diversifié de domaines, allant de benchmarks de réponse aux questions à l'optimisation de plans de traitement de radiothérapie et à la génération de molécules (Fig. 1). Les LLM peuvent fournir des gradients en langage naturel très riches, lisibles et expressifs aux variables dans cette large gamme de domaines, tels que proposer des modifications à des molécules, des prompts à d'autres LLM, et des extraits de code. Notre cadre repose sur l'hypothèse que les LLM de pointe actuels sont capables de raisonner sur les composants individuels et les sous-tâches du système qu'il tente d'optimiser. Nous démontrons la flexibilité de TEXTGRAD avec les résultats suivants :

1. Codage : Dans la section 3.1, nous optimisons les solutions à des problèmes de codage difficiles de LeetCode [26], où nous augmentons la performance de gpt-4o et de la meilleure méthode existante d'un gain de performance relatif de 20%20\%. 2. Résolution de problèmes : Dans la section 3.2, nous optimisons les solutions à des questions scientifiques complexes pour améliorer la performance zéro-shot de GPT-4o. Par exemple, dans le benchmark Google-Proof Question Answering [27], nous améliorons la précision zéro-shot de 51%51\% à 55%55\% en affinant les solutions au moment du test. 3. Raisonnement : Dans la section 3.3, nous optimisons les prompts pour améliorer la performance des LLM, où nous rapprochons la performance de GPT-3.5 de celle de GPT-4 dans plusieurs tâches de raisonnement. 4. Chimie : Dans la section 3.4, nous concevons de nouvelles petites molécules avec une ressemblance aux médicaments et une affinité de liaison in silico souhaitables envers des cibles médicamenteuses. 5. Médecine : Dans la section 3.5, nous optimisons des plans de traitement par irradiation pour des patients atteints de cancer de la prostate afin d'atteindre une dose cible souhaitable et de réduire les effets secondaires.

Nos résultats dans un large ensemble d'applications démontrent la promesse de TEXTGRAD pour optimiser automatiquement des systèmes d'IA composites via la rétropropagation de retours d'information textuels. Pour accélérer les progrès dans cette direction, nous publions notre cadre en open source à l'adresse https://github.com/zou- group/textgrad.