A.3 函数
TEXTGRAD提供了若干操作,其前向和反向计算均有定义——因此,这些操作是可组合的。抽象类textgrad.autograd.Function有两个方法:
算法1 TEXTGRAD中的反向传播
1: 输入:图中的变量 ,损失变量 ,将提供文本梯度的反向引擎(LLM)2: # 初始化梯度3: for 每个 do4: 的梯度 5: end for6: # 拓扑排序7: TopologicalSort(G)8: # 反向传播9: for in do10: # 在前驱中填充梯度11: for 每个 PredecessorsOf(v) do12: # 这里,我们省略了 中的下标 。从语义上讲, 是生成 的函数,而 是该函数的反向操作。13: # 从语义上讲,这会在给定 是如何产生以及我们已经为 收集到的反馈的情况下,向变量 提供反馈。14: .gradients.add 15: end for16: end for前向和反向,与 PyTorch 语法相对应。每个函数都必须定义这两个方法。下面,我们描述本文中最常用的一些操作。
LLMCall 函数:目前,TEXTGRAD 中最关键的操作是对语言模型的调用。
前向模式。前向模式很简单:我们通过 API 或通过本地机器调用 LLM。当进行调用时,所有输入变量都会注册为 LLM 响应的前驱。例如,如果我们使用一条指令和一个问题变量向 LLM 提问,则响应变量的前驱将是 [instruction, question]。在进行反向传播时,响应上的梯度将被反向传播到 question 和 instruction。
反向模式。为确保反向函数运行顺利且具有通用性,我们在系统提示中添加以下词汇表:
LLMCall 函数反向模式的词汇表
将发送给你的标签词汇表:- - <LM_SYSTEM_PROMPT>:语言模型的系统提示。- - <LM_INPUT>:语言模型的输入。- - <LM_OUTPUT>:语言模型的输出。- - <OBJECTIVE_FUNCTION>:优化任务的目标。- - <VARIABLE>:指定变量的范围。- - <ROLE>:变量的角色描述。
使用这些标签,LLM 会了解目标、要向其提供反馈的变量的角色和值,以及前向模式中的完整对话。
该词汇表被提供在反向引擎 LLM 的系统提示中:
LLMcall 函数反向模式的系统提示
你是一个优化系统的一部分,该系统用于改进给定文本(即变量)。你是梯度(反馈)引擎。你唯一的职责是:在 <OBJECTIVE_FUNCTION </OBJECTIVE_FUNCTION> 标签中指定的目标下,向变量提供智能且有创造性的反馈和建设性批评。这些变量可能是问题的解决方案、给语言模型的提示、代码或任何其他基于文本的变量。注意变量的角色描述及其使用上下文。你应假设该变量将来会在类似上下文中使用。只提供改变该变量的策略、解释和方法。不要提出变量的新版本,那将是优化器的工作。你唯一的工作是发送反馈和批评(计算“梯度”)。例如,反馈可以采取以下形式:‘由于语言模型具有 X 失败模式……’、‘添加 X 可以修复此错误,因为……’、‘移除 X 可以改进目标函数,因为……’、‘将 X 改为 Y 可以修复该错误……’,这些都要针对下游目标。
如果某个变量已经运行良好(例如目标函数很完美,评估显示响应是准确的),你不应提供反馈。
[GLOSSARY]
这套设置的大部分目的,是确保用户不必修改梯度计算。我们在多样化应用集合中的所有实验都使用相同的反向模式。
例如,一个用于梯度计算的示例提示如下所示:
LLMcall 函数的一个反向模式提示示例
你将向一个具有以下角色的变量提供反馈:<ROLE> 语言模型的系统提示 </role>。以下是与语言模型(LM)的一段对话:
<LM_SYSTEM_PROMPT> 你将回答一个推理问题。逐步思考。始终确保你回答的最后一行应为以下格式:‘Answer: VALUE’,其中 VALUE 是一个数值。
</LM_SYSTEM_PROMPT>
<LM_INPUT> 我有一只鸡、一只青蛙、一只老鼠、一只猫、两只猪和两只兔子。我有多少只动物? </LM_INPUT>
<LM_OUTPUT> 要找出动物的总数,我们只需将每种动物的数量相加:1 只鸡 + 1 只青蛙 + 1 只老鼠 + 1 只猫 + 2 只猪 + 2 只兔子 = 8 只动物。
Answer:
这段对话是一个更大系统的一部分。<LM_OUTPUT> 后来被用作语言模型的响应。<OBJECTIVE_FUNCTION> 你的目标是向该变量提供反馈,以处理以下关于 LM_OUTPUT 的反馈:为了改进用于检查预测是否正确的基于字符串的函数的运行时,请考虑以下反馈:
1. \\简化响应\\:例如,与其使用“要找出动物的总数,我们只需将 (...) + 2 只猪 + 2 只兔子 = 8 只动物。Answer: 8”,像“动物总数:8”这样更简洁的响应会更高效。
通过实施这些策略,可以优化语言模型的响应,以改进用于检查预测是否正确的基于字符串的函数的运行时。 </OBJECTIVE_FUNCTION>
我们感兴趣的是向语言模型的系统提示提供反馈。具体来说,请向以下文本范围提供反馈:
<VARIABLE> 你将回答一个推理问题。逐步思考。(...) 以下格式:‘Answer: VALUE’,其中 VALUE 是一个数值。 </variable>
鉴于上述历史,请描述如何改进语言模型的系统提示,以改进 <OBJECTIVE_FUNCTION>。要非常有创造性、批判性和智能。
加法操作 在数值优化中,我们有以下内容:
... ... ... ...
在数值导数中,由于加法的线性性,我们有:
特别地,加法运算的反向函数将加法运算输出上的梯度传递给其输入。
类似地,在 TEXTGRAD 中,我们有 tg.sum 操作,它让输出变量上的梯度(反馈)传递给输入变量。
其中我们用 表示拼接。
用例:加法运算的一个典型用例是批量优化用例。特别地,我们在执行提示优化时实现了小批量梯度下降(第 3.3 节)。