Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

5 Discussion

TextGrad repose sur trois principes clés : i) c'est un cadre général et performant qui n'est pas conçu sur mesure pour un domaine d'application spécifique, ii) il est facile à utiliser, reflétant les abstractions de PyTorch et permettant ainsi le transfert de connaissances, iii) il est entièrement open source. Grâce à TEXTGRAD, nous avons obtenu des résultats de pointe en optimisation de code et en question-réponse de niveau doctorat, optimisé des prompts, et fourni des résultats de preuve de concept dans des applications scientifiques telles que le développement de molécules et l'optimisation de plans de traitement.

Bien que nous ayons fait un premier pas, diverses limites motivent des travaux futurs pour réaliser le potentiel des cadres de différentiation automatique alimentés par les LLM. Premièrement, bien que nous ayons démontré le potentiel de la rétropropagation de retours textuels, notre cadre peut être étendu à de nombreuses applications. Nous espérons que TEXTGRAD pourra être utilisé pour accélérer les processus itératifs de découverte scientifique et augmenter la productivité des efforts d'ingénierie. Par exemple, pour le permettre, nous espérons étendre les opérations de nos graphes de calcul afin d'inclure davantage de composants utilisés dans les applications pratiques des LLM, tels que pour l'utilisation d'outils [83] ou les systèmes de génération augmentée par récupération [93]. Deuxièmement, l'analogie avec la différentiation automatique ouvre un large espace de conception pour les algorithmes. Nous pensons que de nombreuses connexions fructueuses peuvent être établies entre l'optimisation numérique, la différentiation automatique et TEXTGRAD. En particulier, accroître la stabilité de l'optimisation à l'aide de techniques de réduction de variance [94], de gradients adaptatifs [95] ou d'auto-vérification à l'aide de LLM [96] sont des connexions intéressantes. Les approches de méta-apprentissage [97-99] pour optimiser le cadre TextGrad à l'aide de méthodes telles que TextGrad lui-même constituent également une direction intrigante pour des travaux futurs.

Enfin, bien que nous ayons mené des applications de preuve de concept de TEXTGRAD pour concevoir de nouvelles molécules et plans de traitement avec des validations in silico, le test ultime nécessite des évaluations expérimentales et cliniques, qui sortent du cadre de cet article.

Alors que le paradigme de l'IA passe de l'entraînement de modèles individuels à l'optimisation de systèmes composés impliquant de multiples composants LLM et outils en interaction, nous avons besoin d'une nouvelle génération d'optimiseurs automatisés. TEXTGRAD combine la puissance de raisonnement des LLM avec l'efficacité décomposable de la rétropropagation pour créer un cadre général d'optimisation des systèmes d'IA.