Résumé
L'IA connaît un changement de paradigme, avec des percées réalisées par des systèmes orchestrant plusieurs grands modèles de langage (LLM) et d'autres composants complexes. Par conséquent, le développement de méthodes d'optimisation automatisées et fondées sur des principes pour les systèmes d'IA composites constitue l'un des nouveaux défis les plus importants. Les réseaux de neurones ont été confrontés à un défi similaire à leurs débuts, jusqu'à ce que la rétropropagation et la différentiation automatique transforment le domaine en rendant l'optimisation immédiatement opérationnelle. Inspirés par cela, nous introduisons TEXTGRAD, un cadre puissant qui effectue une « différentiation » automatique via le texte. TEXTGRAD rétropropage le retour d'information textuel fourni par les LLM pour améliorer les composants individuels d'un système d'IA composite. Dans notre cadre, les LLM fournissent des suggestions riches, générales et en langage naturel pour optimiser les variables dans des graphes de calcul, allant d'extraits de code à des structures moléculaires. TEXTGRAD suit la syntaxe et l'abstraction de PyTorch et est flexible et facile à utiliser. Il fonctionne immédiatement pour une variété de tâches, où les utilisateurs ne fournissent que la fonction objectif sans ajuster les composants ou les prompts du cadre. Nous montrons l'efficacité et la généralité de TEXTGRAD à travers un éventail diversifié d'applications, allant de la réponse aux questions et de l'optimisation moléculaire à la planification de traitements de radiothérapie. Sans modifier le cadre, TEXTGRAD améliore la précision zéro-shot de GPT-4o dans Google-Proof Question Answering de 51 % à 55 %, produit un gain de performance relatif de 20 % dans l'optimisation de solutions à des problèmes de codage LeetCode-Hard, améliore les prompts pour le raisonnement, conçoit de nouvelles petites molécules semblables à des médicaments avec une liaison in silico souhaitable, et conçoit des plans de traitement en oncologie radiologique avec une haute spécificité. TEXTGRAD pose une fondation pour accélérer le développement de la prochaine génération de systèmes d'IA.