跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

预热:具有两次LLM调用的系统

示例计算图。在传统自动微分中,我们计算梯度,它提供了根据下游损失改进变量的方向,并遵循链式法则。作为一个简单的类比,让我们看一个简单系统:

Prediction=LLM(Prompt+Question),Evaluation=LLM(Evaluation+Prediction),(1)\begin{array}{r}\mathrm{Prediction} = \mathrm{LLM}(\mathrm{Prompt} + \mathrm{Question}),\\ \mathrm{Evaluation} = \mathrm{LLM}(\mathrm{Evaluation} + \mathrm{Prediction}), \end{array} \quad (1)

a 神经网络和使用数值梯度的反向传播

b 黑盒AI系统和使用自然语言“梯度”的反向传播

C 1 抽象中的类比

数学PyTorchTextGrad
输入xTensor(image)tg.Variable(article)
模型y = fθ(x)ResNet50( )tg.BlackboxLLM("You are a summarizer.")
损失L(y, y) = ∑ y; log( y; )CrossEntropyLoss( )tg.TextLoss("Rate the summary.")
优化器GD(θ; θ) = θ - θL/θ0SGD(List(model.parameters( )))tg.TGD(List(model.parameters( )))

2 自动微分

PyTorch和TextGrad共享相同的反向传播和优化语法。

d 用于分子优化的TextGrad

e 用于代码优化的TextGrad

f 用于治疗计划优化的TextGrad

g 用于提示优化的TextGrad

你将回答一个推理问题。逐步思考。你回答的最后一行应采用以下格式:‘Answer: ’SVAULE‘,其中VALUEl是一个数值。

初始化时的提示(准确率 = 77.8%)

你将回答一个推理问题。以清晰一致的格式列出每个项目及其数量,例如‘- Item: Quantity’。直接从列表中求和这些值,并提供简洁的求和结果。确保最终答案以以下格式清楚标明:‘Answer: ’SVAULE‘,其中VALUEl是一个数值。验证每个项目与查询上下文的相关性,并处理输入中的潜在错误或歧义。仔细检查最终计数以确保准确性。”

优化后的提示(准确率 = 91.9%)

图1:通过文本进行自动“微分”(a, b)。梯度的反向传播是深度学习的驱动力。对于黑盒AI系统的复合系统,我们没有梯度,但我们可以为基于文本的反馈构建类似的反向传播,这构成了TEXTGRAD的基础。TEXTGRAD中的抽象(c)。我们与PyTorch共享相同的抽象和语法,使我们的框架具有泛化性且易于学习。TEXTGRAD的应用(d,e,f,g)。在第3.4节中,我们优化分子结构以获得类药性和蛋白质结合亲和力等性质(d)。在第3.1节中,我们优化编码问题的解决方案(e)。在第3.5节中,我们优化放射治疗计划以改善患者结果(f)。在第3.3节中,我们优化提示以改进语言模型的推理(g)。其中我们用绿色表示待优化的自由参数,即提示,并用++表示两个字符串的拼接,用LLM(x)\mathrm{LLM}(x)表示将xx作为提示提供给语言模型以收集响应。我们将使用链式记号:

Prompt+Question→LLMEvaluationInstruction+Prediction→LLMEvaluation,(3)\mathrm{Prompt} + \mathrm{Question} \xrightarrow{\mathrm{LLM}} \mathrm{Evaluation} \mathrm{Instruction} + \mathrm{Prediction} \xrightarrow{\mathrm{LLM}} \mathrm{Evaluation}, \quad (3)

作为表示该系统的另一种方式,其中我们进行一次LLM调用以使用Prompt为Question生成Prediction,另一次LLM调用评估该Prediction。

示例梯度计算。在这个示例系统中,为了根据评估改进Prompt,我们通过以下方式实例化反向传播[19]算法的类比:

简单图的梯度计算:Prompt →LLM\xrightarrow{\mathrm{LLM}} Prediction →LLM\xrightarrow{\mathrm{LLM}} Evaluation

∂Evaluation∂Prompt=∂Evaluation∂Prediction⋅∂Prediction∂Prompt=∇LLM(Prediction,Evaluation),(4)\frac{\partial\mathrm{Evaluation}}{\partial\mathrm{Prompt}} = \frac{\partial\mathrm{Evaluation}}{\partial\mathrm{Prediction}}\cdot \frac{\partial\mathrm{Prediction}}{\partial\mathrm{Prompt}} = \nabla_{\mathrm{LLM}}(\mathrm{Prediction},\mathrm{Evaluation}), \quad (4)

其中当前向函数是LLM调用时,我们使用∇LLM\nabla_{\mathrm{LLM}}表示梯度算子。特别地,该函数返回自然语言反馈,例如“该预测可以通过……改进”,其中反馈描述了如何修改变量以改进下游目标,类似于优化中的梯度。我们首先使用评估收集对Prediction变量的反馈。然后,给定该反馈以及(Prompt →LLM\xrightarrow{\mathrm{LLM}} Prediction)调用,我们收集关于Prompt的反馈。

“请注意,我们对记号进行了重载,使其既表示输出变量没有后继节点的情况(例如 ∇LLM(Prediction,Evaluation)\nabla_{\mathrm{LLM}}(\mathrm{Prediction},\mathrm{Evaluation})),也表示其有后继节点、因而有梯度的情况(例如 ∇LLM(Prompt,Prediction,∂Loss∂Prediction)\nabla_{\mathrm{LLM}}(\mathrm{Prompt},\mathrm{Prediction},\frac{\partial\mathrm{Loss}}{\partial\mathrm{Prediction}}))。

下面是一种灵活实例化 ∇LLM\nabla_{\mathrm{LLM}} 的方式,用于为诸如 x→LLMy→LLMLx \xrightarrow{\mathrm{LLM}} y \xrightarrow{\mathrm{LLM}} \mathcal{L} 这样的简单系统收集反馈:

梯度算子的示例实现

\[\begin{array}{r l} & {\frac{\partial\mathcal{L}}{\partial x} = \nabla_{\mathrm{LLM}}(x,y,\frac{\partial\mathcal{L}}{\partial y})\triangleq \mathrm{"H e r e~i s~a~c o n v e r s a t i o n~w i t h~a n~L L M:~}\{x|y\} .}\\ & {\qquad +\qquad}\\ & {\qquad \mathrm{LLM}(\mathrm{H e r e~i s~a~c o n v e r s a t i o n~w i t h~a n~L L M:~}\{x|y\} .}\\ & {\qquad \mathrm{Below~a r e~t h e~c r i t i c i s m s~o n~\{y\} :}}\\ & {\qquad \left\{\frac{\partial\mathcal{L}}{\partial y}\right\}}\\ & {\qquad \mathrm{Explain~h o w~t o~i m p r o v e~\{x\} .),} \end{array} \quad (6)\]

其中梯度对象是该变量出现时所处上下文与从 LLMa\mathrm{LLM}^a 获得的反馈的组合,其定义方式类似于 Pryzant 等人 [25] 的定义。请注意,该算子不依赖于例如应用领域。一旦实现,用于 LLM 调用的梯度算子在所有应用的整个框架中都是固定的。

a我们实际使用的提示词有所不同,以确保通用性和灵活性;此处使用这些示例仅用于说明。

示例优化器。在标准梯度下降中,变量的当前值通过减法与梯度结合,例如:

θnew=GradientDescent.step(θ,∂L∂θ)=θ−∂L∂θ.(7)\theta_{\mathrm{new}} = \mathrm{GradientDescent.step}(\theta ,\frac{\partial\mathcal{L}}{\partial\theta}) = \theta -\frac{\partial\mathcal{L}}{\partial\theta}. \quad (7)

延续基于梯度的优化类比,我们使用文本梯度下降(TGD):

通过 TGD 更新简单图中的 Prompt 变量。

Promptnew=TGD.step(Prompt,∂Evaluation∂Prompt).(8)\mathrm{Prompt}_{\mathrm{new}} = \mathrm{TGD.step}(\mathrm{Prompt},\frac{\partial\mathrm{Evaluation}}{\partial\mathrm{Prompt}}). \quad (8)

为了更新参数,在本例中即Prompt。具体而言,给定当前变量以及我们为该变量收集的梯度(反馈),优化器寻求更新该变量。

实例化TGD的一种具体方式如下:

一个TGD迭代的示例实现

xnew=TGD.step(x,∂L∂x)≜LLM(Below are the criticisms on {x};{∂L∂x}Incorporate the criticisms, and produce a new variable. ).(9)\begin{array}{r l} & {x_{\mathrm{new}} = \mathrm{TGD.step}(x,\frac{\partial\mathcal{L}}{\partial x})\triangleq \mathrm{LLM}(\mathrm{Below~are~the~criticisms~on~}\{x\} ;}\\ & {\qquad \left\{\frac{\partial\mathcal{L}}{\partial x}\right\}}\\ & {\qquad \mathrm{Incorporate~the~criticisms,~and~produce~a~new~variable.~).}} \end{array} \quad (9)

其中xx是我们想要改进的变量,∂L∂x\frac{\partial\mathcal{L}}{\partial x}是我们在反向传播过程中为该变量获得的反馈。与梯度算子类似,该函数也不依赖于应用领域,并且TGD的实现在该框架的所有使用中都是相同的。

a我们使用的确切提示词有所不同,以确保通用性和灵活性;我们使用这些示例仅用于说明。