Ir al contenido principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

El caso general

La abstracción se aplica sin dificultad a sistemas arbitrariamente complejos. Definimos un grafo de computación mediante

v=fv(PredecessorsOf(v))∀v∈V(10)v = f_{v}(\mathrm{PredecessorsOf}(v))\forall v\in \mathcal{V} \quad (10)

donde vv es una variable en el grafo, V\mathcal{V} es el conjunto de todas las variables en el grafo, y SuccessorsOf devuelve los sucesores y PredecessorsOf devuelve los predecesores de una variable. En términos generales, el valor de vv puede ser datos no estructurados, como texto en lenguaje natural o imágenes. Para la mayoría de los resultados y la exposición en este artículo, vv es texto en lenguaje natural.

Además, sea fvf_{v} la transformación que consume un conjunto de variables y produce la variable vv. Por ejemplo, podemos usar un LLM o un Simulador Numérico como transformación. Dado que distintas funciones tendrán distintas formas de calcular gradientes y recopilar retroalimentación, en general usaremos ∇f\nabla_{f} para denotar la función de gradiente de una función ff. En aras de la exposición, omitiremos el subíndice cuando la función sea obvia.

Los gradientes se calculan mediante

∂L∂v=⋃w∈SuccessorsOf(v)∇f(v,w,∂L∂w),(11)\frac{\partial\mathcal{L}}{\partial v} = \bigcup_{w\in \mathrm{SuccessorsOf}(v)}\nabla_{\mathrm{f}}\left(v,w,\frac{\partial\mathcal{L}}{\partial w}\right), \quad (11)

donde recopilamos el conjunto de gradientes de todos los sucesores de vv. Intuitivamente, obtenemos retroalimentación de cada contexto en el que se usó una variable vv, y los agregamos.

La ecuación 11 calcula recursivamente los gradientes del objetivo posterior con respecto a las variables deseadas vv en el grafo. La función ∇i\nabla_{i} toma como entrada los gradientes de L\mathcal{L} con respecto a los sucesores de una variable dada vv, el valor de la variable vv y los propios sucesores. Nótese que la variable de gradiente final comprende un conjunto de contextos y críticas para cualquier lugar en el que se haya usado una variable.

Finalmente, para actualizar cualquier variable deseada vv en el grafo, podemos usar un optimizador:

vnew=TGD.step(v,∂L∂v),(12)v_{\mathrm{new}} = \mathrm{TGD.step}\left(v,\frac{\partial\mathcal{L}}{\partial v}\right), \quad (12)

lo cual actualiza el valor de vv en función de su valor actual y los gradientes. Para un grafo de cómputo con nn aristas, cada iteración de optimización realiza como máximo nn llamadas adicionales al modelo de lenguaje para calcular gradientes (1 llamada usando el operador de gradiente para cada arista del grafo de cómputo). Para ver implementaciones de operaciones en TEXTGRAD, véase el Apéndice A.