Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Le cas général

L’abstraction s’applique aisément à des systèmes arbitrairement complexes. Définissons un graphe de calcul par

v=fv(PredecessorsOf(v))∀v∈V(10)v = f_{v}(\mathrm{PredecessorsOf}(v))\forall v\in \mathcal{V} \quad (10)

où vv est une variable du graphe, V\mathcal{V} est l’ensemble de toutes les variables du graphe, et SuccessorsOf renvoie les successeurs et PredecessorsOf renvoie les prédécesseurs d’une variable. De manière générale, la valeur de vv peut être des données non structurées, telles que du texte en langage naturel ou des images. Pour la plupart des résultats et exposés de cet article, vv est du texte en langage naturel.

De plus, prenons fvf_{v} comme la transformation qui consomme un ensemble de variables et produit la variable vv . Par exemple, nous pouvons utiliser un LLM ou un simulateur numérique comme transformation. Étant donné que différentes fonctions auront différentes manières de calculer les gradients et de collecter les retours, nous utiliserons généralement ∇f\nabla_{f} pour désigner la fonction de gradient d’une fonction ff . Pour faciliter l’exposé, nous omettons l’indice lorsque la fonction est évidente.

Les gradients sont calculés par

∂L∂v=⋃w∈SuccessorsOf(v)∇f(v,w,∂L∂w),(11)\frac{\partial\mathcal{L}}{\partial v} = \bigcup_{w\in \mathrm{SuccessorsOf}(v)}\nabla_{\mathrm{f}}\left(v,w,\frac{\partial\mathcal{L}}{\partial w}\right), \quad (11)

où nous collectons l’ensemble des gradients de tous les successeurs de vv . Intuitivement, nous obtenons un retour de chaque contexte dans lequel une variable vv a été utilisée, et nous les agrégeons.

L’équation 11 calcule récursivement les gradients de l’objectif en aval par rapport aux variables souhaitées vv dans le graphe. La fonction ∇i\nabla_{i} prend en entrée les gradients de L\mathcal{L} par rapport aux successeurs d’une variable donnée vv , la valeur de la variable vv et les successeurs eux-mêmes. Notons que la variable de gradient finale comprend un ensemble de contextes et de critiques pour tout endroit où une variable a été utilisée.

Enfin, pour mettre à jour toute variable souhaitée vv dans le graphe, nous pouvons utiliser un optimiseur :

vnew=TGD.step(v,∂L∂v),(12)v_{\mathrm{new}} = \mathrm{TGD.step}\left(v,\frac{\partial\mathcal{L}}{\partial v}\right), \quad (12)

qui met à jour la valeur de vv en fonction de sa valeur actuelle et des gradients. Pour un graphe de calcul comportant nn arêtes, chaque itération d’optimisation effectue au plus nn appels supplémentaires à un modèle de langage pour calculer les gradients (1 appel utilisant l’opérateur de gradient pour chaque arête du graphe de calcul). Pour les implémentations des opérations dans TEXTGRAD, voir l’annexe A.