跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

A.3 函数

TEXTGRAD提供了若干操作,其前向和反向计算均有定义——因此,这些操作是可组合的。抽象类textgrad.autograd.Function有两个方法:

算法1 TEXTGRAD中的反向传播

1: 输入:图中的变量 v∈Vv\in \mathcal{V},损失变量 L\mathcal{L},将提供文本梯度的反向引擎(LLM)M\mathcal{M}2: # 初始化梯度3: for 每个 v∈Vv\in \mathcal{V} do4: vv 的梯度 =∅= \emptyset5: end for6: # 拓扑排序7: Q←Q\leftarrow TopologicalSort(G)8: # 反向传播9: for vv in QQ do10: # 在前驱中填充梯度11: for 每个 u∈u\in PredecessorsOf(v) do12: # 这里,我们省略了 ff 中的下标 vv。从语义上讲,ff 是生成 vv 的函数,而 ∇f\nabla_{f} 是该函数的反向操作。13: # 从语义上讲,这会在给定 vv 是如何产生以及我们已经为 vv 收集到的反馈的情况下,向变量 uu 提供反馈。14: uu .gradients.add (∇f(u,v,∂L∂v))\left(\nabla_{f}\left(u,v,\frac{\partial\mathcal{L}}{\partial v}\right)\right)15: end for16: end for前向和反向,与 PyTorch 语法相对应。每个函数都必须定义这两个方法。下面,我们描述本文中最常用的一些操作。

LLMCall 函数:目前,TEXTGRAD 中最关键的操作是对语言模型的调用。

前向模式。前向模式很简单:我们通过 API 或通过本地机器调用 LLM。当进行调用时,所有输入变量都会注册为 LLM 响应的前驱。例如,如果我们使用一条指令和一个问题变量向 LLM 提问,则响应变量的前驱将是 [instruction, question]。在进行反向传播时,响应上的梯度将被反向传播到 question 和 instruction。

反向模式。为确保反向函数运行顺利且具有通用性,我们在系统提示中添加以下词汇表:

LLMCall 函数反向模式的词汇表

将发送给你的标签词汇表:- - <LM_SYSTEM_PROMPT>:语言模型的系统提示。- - <LM_INPUT>:语言模型的输入。- - <LM_OUTPUT>:语言模型的输出。- - <OBJECTIVE_FUNCTION>:优化任务的目标。- - <VARIABLE>:指定变量的范围。- - <ROLE>:变量的角色描述。

使用这些标签,LLM 会了解目标、要向其提供反馈的变量的角色和值,以及前向模式中的完整对话。

该词汇表被提供在反向引擎 LLM 的系统提示中:

LLMcall 函数反向模式的系统提示

你是一个优化系统的一部分,该系统用于改进给定文本(即变量)。你是梯度(反馈)引擎。你唯一的职责是:在 <OBJECTIVE_FUNCTION </OBJECTIVE_FUNCTION> 标签中指定的目标下,向变量提供智能且有创造性的反馈和建设性批评。这些变量可能是问题的解决方案、给语言模型的提示、代码或任何其他基于文本的变量。注意变量的角色描述及其使用上下文。你应假设该变量将来会在类似上下文中使用。只提供改变该变量的策略、解释和方法。不要提出变量的新版本,那将是优化器的工作。你唯一的工作是发送反馈和批评(计算“梯度”)。例如,反馈可以采取以下形式:‘由于语言模型具有 X 失败模式……’、‘添加 X 可以修复此错误,因为……’、‘移除 X 可以改进目标函数,因为……’、‘将 X 改为 Y 可以修复该错误……’,这些都要针对下游目标。

如果某个变量已经运行良好(例如目标函数很完美,评估显示响应是准确的),你不应提供反馈。

[GLOSSARY]

这套设置的大部分目的,是确保用户不必修改梯度计算。我们在多样化应用集合中的所有实验都使用相同的反向模式。

例如,一个用于梯度计算的示例提示如下所示:

LLMcall 函数的一个反向模式提示示例

你将向一个具有以下角色的变量提供反馈:&lt;ROLE&gt; 语言模型的系统提示 &lt;/role&gt;。以下是与语言模型(LM)的一段对话:

&lt;LM_SYSTEM_PROMPT&gt; 你将回答一个推理问题。逐步思考。始终确保你回答的最后一行应为以下格式:‘Answer: §\S VALUE’,其中 VALUE 是一个数值。

</LM_SYSTEM_PROMPT>

&lt;LM_INPUT&gt; 我有一只鸡、一只青蛙、一只老鼠、一只猫、两只猪和两只兔子。我有多少只动物? </LM_INPUT>

&lt;LM_OUTPUT&gt; 要找出动物的总数,我们只需将每种动物的数量相加:1 只鸡 + 1 只青蛙 + 1 只老鼠 + 1 只猫 + 2 只猪 + 2 只兔子 = 8 只动物。

Answer: 8</LM_OUTPUT>8< /LM\_ OUTPUT>

这段对话是一个更大系统的一部分。&lt;LM_OUTPUT&gt; 后来被用作语言模型的响应。&lt;OBJECTIVE_FUNCTION&gt; 你的目标是向该变量提供反馈,以处理以下关于 LM_OUTPUT 的反馈:为了改进用于检查预测是否正确的基于字符串的函数的运行时,请考虑以下反馈:

1. \\简化响应\\:例如,与其使用“要找出动物的总数,我们只需将 (...) + 2 只猪 + 2 只兔子 = 8 只动物。Answer: 8”,像“动物总数:8”这样更简洁的响应会更高效。

通过实施这些策略,可以优化语言模型的响应,以改进用于检查预测是否正确的基于字符串的函数的运行时。 </OBJECTIVE_FUNCTION>

我们感兴趣的是向语言模型的系统提示提供反馈。具体来说,请向以下文本范围提供反馈:

&lt;VARIABLE&gt; 你将回答一个推理问题。逐步思考。(...) 以下格式:‘Answer: §\S VALUE’,其中 VALUE 是一个数值。 &lt;/variable&gt;

鉴于上述历史,请描述如何改进语言模型的系统提示,以改进 &lt;OBJECTIVE_FUNCTION&gt;。要非常有创造性、批判性和智能。

加法操作 在数值优化中,我们有以下内容:

z=x+yw=t+z∂w∂x=∂w∂z∂z∂x=∂w∂z(19)\begin{array}{c}{z = x + y}\\ {w = t + z}\\ {\frac{\partial w}{\partial x} = \frac{\partial w}{\partial z}\frac{\partial z}{\partial x} = \frac{\partial w}{\partial z}} \end{array} \quad (19)

... ... ... ...

在数值导数中,由于加法的线性性,我们有:

∂∑iNLi∂x=∑iN∂Li∂x.(22)\frac{\partial\sum_{i}^{N}L_{i}}{\partial x} = \sum_{i}^{N}\frac{\partial L_{i}}{\partial x}. \quad (22)

特别地,加法运算的反向函数将加法运算输出上的梯度传递给其输入。

tg.sum(L1,…,LN)="{L1}\n{L2}\n…{LN}"(23)\mathrm{tg.}\mathrm{sum}(L_{1},\ldots ,L_{N}) = " \{L_{1}\} \backslash n\{L_{2}\} \backslash n\ldots \{L_{N}\} " \quad (23)

类似地,在 TEXTGRAD 中,我们有 tg.sum 操作,它让输出变量上的梯度(反馈)传递给输入变量。

∂tg.sum(L1,…,LN)∂x=tg.sum(∂L1∂x,…,∂LN∂x)="{∂L1∂x}\n…{∂LN∂x}"(24)\frac{\partial\mathrm{tg.}\mathrm{sum}(L_{1},\ldots,L_{N})}{\partial x} = \mathrm{tg.}\mathrm{sum}(\frac{\partial L_{1}}{\partial x},\ldots ,\frac{\partial L_{N}}{\partial x}) = "{\Bigl \{}{\frac{\partial L_{1}}{\partial x}}{\Bigr \} \backslash n\ldots \Bigl \{}{\frac{\partial L_{N}}{\partial x}}{\Bigr \} "} \quad (24)

其中我们用 ++ 表示拼接。

用例:加法运算的一个典型用例是批量优化用例。特别地,我们在执行提示优化时实现了小批量梯度下降(第 3.3 节)。