Le cas général
L’abstraction s’applique aisément à des systèmes arbitrairement complexes. Définissons un graphe de calcul par
où est une variable du graphe, est l’ensemble de toutes les variables du graphe, et SuccessorsOf renvoie les successeurs et PredecessorsOf renvoie les prédécesseurs d’une variable. De manière générale, la valeur de peut être des données non structurées, telles que du texte en langage naturel ou des images. Pour la plupart des résultats et exposés de cet article, est du texte en langage naturel.
De plus, prenons comme la transformation qui consomme un ensemble de variables et produit la variable . Par exemple, nous pouvons utiliser un LLM ou un simulateur numérique comme transformation. Étant donné que différentes fonctions auront différentes manières de calculer les gradients et de collecter les retours, nous utiliserons généralement pour désigner la fonction de gradient d’une fonction . Pour faciliter l’exposé, nous omettons l’indice lorsque la fonction est évidente.
Les gradients sont calculés par
où nous collectons l’ensemble des gradients de tous les successeurs de . Intuitivement, nous obtenons un retour de chaque contexte dans lequel une variable a été utilisée, et nous les agrégeons.
L’équation 11 calcule récursivement les gradients de l’objectif en aval par rapport aux variables souhaitées dans le graphe. La fonction prend en entrée les gradients de par rapport aux successeurs d’une variable donnée , la valeur de la variable et les successeurs eux-mêmes. Notons que la variable de gradient finale comprend un ensemble de contextes et de critiques pour tout endroit où une variable a été utilisée.
Enfin, pour mettre à jour toute variable souhaitée dans le graphe, nous pouvons utiliser un optimiseur :
qui met à jour la valeur de en fonction de sa valeur actuelle et des gradients. Pour un graphe de calcul comportant arêtes, chaque itération d’optimisation effectue au plus appels supplémentaires à un modèle de langage pour calculer les gradients (1 appel utilisant l’opérateur de gradient pour chaque arête du graphe de calcul). Pour les implémentations des opérations dans TEXTGRAD, voir l’annexe A.