跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

一般情况

该抽象很容易应用于任意复杂的系统。通过下式定义计算图

v=fv(PredecessorsOf(v))∀v∈V(10)v = f_{v}(\mathrm{PredecessorsOf}(v))\forall v\in \mathcal{V} \quad (10)

其中vv是图中的变量,V\mathcal{V}是图中所有变量的集合,SuccessorsOf返回一个变量的后继,PredecessorsOf返回一个变量的前驱。一般来说,vv的值可以是非结构化数据,例如自然语言文本或图像。对于本文中的大多数结果和论述,vv是自然语言文本。

此外,令fvf_{v}为消费一组变量并产生变量vv的变换。例如,我们可以使用LLM或数值模拟器作为变换。由于不同的函数将有不同的方式来计算梯度和收集反馈,我们通常使用∇f\nabla_{f}来表示函数ff的梯度函数。为便于论述,当函数显而易见时,我们将省略下标。

梯度通过下式计算

∂L∂v=⋃w∈SuccessorsOf(v)∇f(v,w,∂L∂w),(11)\frac{\partial\mathcal{L}}{\partial v} = \bigcup_{w\in \mathrm{SuccessorsOf}(v)}\nabla_{\mathrm{f}}\left(v,w,\frac{\partial\mathcal{L}}{\partial w}\right), \quad (11)

其中我们从vv的所有后继中收集梯度集合。直观地说,我们从变量vv被使用的每一个上下文中获得反馈,并将它们聚合起来。

公式11递归地计算下游目标关于图中所需变量vv的梯度。∇i\nabla_{i}函数以L\mathcal{L}关于给定变量vv的后继的梯度、变量vv的值以及后继本身作为输入。注意,最终的梯度变量包含变量被使用的任何位置的一组上下文和批评。

最后,为了更新图中任何所需的变量vv,我们可以使用优化器:

vnew=TGD.step(v,∂L∂v),(12)v_{\mathrm{new}} = \mathrm{TGD.step}\left(v,\frac{\partial\mathcal{L}}{\partial v}\right), \quad (12)

它基于vv的当前值及其梯度来更新vv的值。对于有nn条边的计算图,每次优化迭代最多执行nn次额外的语言模型调用来计算梯度(对计算图中的每条边使用梯度算子进行1次调用)。关于TEXTGRAD中各操作的实现,见附录A。