跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

5 讨论

TextGrad 建立在三个关键原则之上:i) 它是一个通用且高性能的框架,并非针对特定应用领域手工定制;ii) 它易于使用,模仿 PyTorch 的抽象,从而允许知识迁移;iii) 它完全开源。通过 TEXTGRAD,我们在代码优化和博士级问答中获得了最先进的结果,优化了提示,并在科学应用(如开发分子和优化治疗计划)中提供了概念验证结果。

虽然我们迈出了第一步,但仍有各种局限性,这些局限性激励未来工作去实现由 LLM 驱动的自动微分框架的潜力。首先,虽然我们展示了反向传播文本反馈的潜力,但我们的框架可以扩展到许多应用。我们希望 TEXTGRAD 能够用于加速科学发现中的迭代过程,并提高工程工作的生产力。例如,为了实现这一点,我们希望扩展计算图中的操作,以包含实际 LLM 应用中使用的更多组件,例如用于工具使用 [83] 或检索增强生成系统 [93]。其次,自动微分类比为算法提供了巨大的设计空间。我们相信,在数值优化、自动微分和 TEXTGRAD 之间可以建立许多富有成果的联系。特别是,使用方差减少技术 [94]、自适应梯度 [95] 或使用 LLM 进行自我验证 [96] 来提高优化稳定性是有趣的联系。使用 TextGrad 本身等方法优化 TextGrad 框架的元学习方法 [97-99] 也是一个引人入胜的未来工作方向。

最后,虽然我们对 TEXTGRAD 在设计新分子和治疗计划方面进行了概念验证应用,并进行了计算机验证,但最终测试需要实验和临床评估,这超出了本文的范围。

随着 AI 范式从训练单个模型转向优化涉及多个交互式 LLM 组件和工具的复合系统,我们需要新一代自动化优化器。TEXTGRAD 将 LLM 的推理能力与反向传播的可分解效率相结合,创建了一个优化 AI 系统的通用框架。