TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
该抽象很容易应用于任意复杂的系统。通过下式定义计算图
v=fv(PredecessorsOf(v))∀v∈V(10) 其中v是图中的变量,V是图中所有变量的集合,SuccessorsOf返回一个变量的后继,PredecessorsOf返回一个变量的前驱。一般来说,v的值可以是非结构化数据,例如自然语言文本或图像。对于本文中的大多数结果和论述,v是自然语言文本。
此外,令fv为消费一组变量并产生变量v的变换。例如,我们可以使用LLM或数值模拟器作为变换。由于不同的函数将有不同的方式来计算梯度和收集反馈,我们通常使用∇f来表示函数f的梯度函数。为便于论述,当函数显而易见时,我们将省略下标。
∂v∂L=w∈SuccessorsOf(v)⋃∇f(v,w,∂w∂L),(11) 其中我们从v的所有后继中收集梯度集合。直观地说,我们从变量v被使用的每一个上下文中获得反馈,并将它们聚合起来。
公式11递归地计算下游目标关于图中所需变量v的梯度。∇i函数以L关于给定变量v的后继的梯度、变量v的值以及后继本身作为输入。注意,最终的梯度变量包含变量被使用的任何位置的一组上下文和批评。
最后,为了更新图中任何所需的变量v,我们可以使用优化器:
vnew=TGD.step(v,∂v∂L),(12) 它基于v的当前值及其梯度来更新v的值。对于有n条边的计算图,每次优化迭代最多执行n次额外的语言模型调用来计算梯度(对计算图中的每条边使用梯度算子进行1次调用)。关于TEXTGRAD中各操作的实现,见附录A。