4 相关工作
一个相关的研究方向研究了提示优化问题。实践者已经证明,诸如智能地选择少样本示例和上下文学习、CoT、集成等提示工程策略可以显著提升 LLM 的性能 [66]。为了自动化这一过程,研究者开发了利用数值梯度的白盒方法来优化提示 [67-70],然而,这些方法无法用于闭源模型,因为它们需要访问模型参数。多项工作研究了使用 LLM 作为提示优化器 [12, 25, 71]。
在提示优化领域,有两项工作与我们的理念最为接近,并且启发了我们。首先,DSPy [10, 72, 73] 开创了将复杂的基于 LLM 的系统视为可能具有许多层的程序的想法,并提出了以编程方式构建和优化它们的方法。该框架内容广泛,其结果在各类问答、推理和提示优化任务中提升了 LLM 的性能。我们的工作采取了不同的视角,即反向传播及其扩展可以成为一个通用且强大的框架,用于优化新一代 AI 系统,并执行提示优化之外的多种任务。特别是,我们不仅将指令或演示视为需要优化的变量,还将我们关心的实例本身——例如分子、治疗计划、代码片段等——视为变量。其次,对我们启发很大的是,使用文本梯度的提示优化(ProTeGi)[25] 在提示优化的背景下定义了文本梯度,其中梯度是 LLM 针对任务中所犯错误给出的自然语言反馈。虽然 ProTeGi 建立在文本梯度类比之上,但我们将这一类比更广泛地扩展到自动微分,并且大幅超越了提示优化任务。特别是,DSPy 和 ProTeGi 都专注于提示优化,而 TExTGRAD 的一项重大进展——如我们多样化的应用所示——在于实例优化。
更广泛地说,出现了一系列基于将 LLM 用作批评者或优化器这一高层次想法的工作 [10, 12, 25, 26, 30, 71, 74-80]。虽然这些早期框架中的许多都展示了 LLM 作为优化器的效用,但我们提出了一个单一且通用的框架,并已在多种应用中成功测试。在该框架内,我们可以推理如何优化 LLM 的链或堆栈 [81-83]:我们传播自然语言反馈。同样,一旦被视为通用优化引擎,我们就可以在我们的框架中用几行代码表达许多相关问题,例如测试时训练 [42, 43] 或解决方案的自我完善和自我改进 [26, 30, 44, 84-91]。基于优化类比,我们已经从传统优化文献中迁移了若干类比,例如通过在上下文中使用早期迭代来实现动量 [40]、使用批量优化 [92]、使用自然语言约束的约束优化 [35] 等。我们的工作开辟了一个广阔的空间,可以在同一框架内设计新一代优化算法。