1 引言
由于大型语言模型(LLM)[1-6]的突破,AI 系统的构建方式正在发生新兴的范式转变。新一代 AI 应用日益成为涉及多个复杂组件的复合系统,其中每个组件可以是基于 LLM 的智能体、模拟器等工具,或网络搜索。例如,LLM 与符号求解器通信的系统可以解决奥林匹克级别的数学问题[7];使用搜索引擎和代码解释器工具的 LLM 系统表现可与人类竞技程序员相媲美[8],并且正在解决现实世界中的 GitHub 问题[9]。然而,这些突破中的许多来自于由应用领域专家手工构建并通过启发式方法调整的系统。因此,开发有原则的自动化方法来优化 AI 系统是构建基于 LLM 的复合系统最关键挑战之一,也是释放 AI 潜力所必需的[10–12]。
过去15年来,人工智能领域的许多进展都依赖于人工神经网络和可微优化[7, 13–17]。神经网络的各个部分(例如两个人工神经元)通过矩阵乘法等可微函数进行通信[18]。因此,利用数值梯度和反向传播[19](它们为调整每个参数以改进模型提供了方向)一直是训练AI模型的自然方式。实现反向传播的灵活自动微分框架[20–24]对AI模型的发展不可或缺。
为了优化新一代AI系统,我们引入了TEXTGRAD,即通过文本进行自动微分。在这里,我们将微分和梯度用作来自LLM的文本反馈的隐喻。在该框架中,每个AI系统都被转换为一个计算图,其中变量是复杂(不一定可微)函数调用的输入和输出。对变量的反馈(称为“文本梯度”[25])以信息丰富且可解释的自然语言批评的形式提供给变量;描述应如何改变变量以改进系统。梯度通过任意函数传播,例如LLM API调用、模拟器或外部数值求解器。
我们在从问答基准到放疗治疗计划优化和分子生成等多个领域中展示了我们框架的强大能力(图1)。LLM可以为这一广泛领域中的变量提供非常丰富、清晰且富有表现力的自然语言梯度,例如提出对分子的修改、对其他LLM的提示以及代码片段。我们的框架建立在这样一个假设之上:当前最先进的LLM能够推理其试图优化的系统的各个组成部分和子任务。我们通过以下结果展示了TEXTGRAD的灵活性:
1. 编码:在第3.1节中,我们优化LeetCode[26]中困难编码问题的解决方案,我们将gpt-4o和最佳现有方法的性能提升了的相关性能增益。2. 问题求解:在第3.2节中,我们优化复杂科学问题的解决方案,以提高GPT-4o的零样本性能。例如,在Google-Proof Question Answering[27]基准中,我们通过在测试时改进解决方案,将零样本准确率从提高到。3. 推理:在第3.3节中,我们优化提示以改进LLM性能,在若干推理任务中将GPT-3.5的性能提升到接近GPT-4的水平。4. 化学:在第3.4节中,我们设计具有理想类药性和对药物靶点计算机模拟结合亲和力的新小分子。5. 医学:在第3.5节中,我们为前列腺癌患者优化放射治疗计划,以实现理想的目标剂量并减少副作用。
我们在广泛应用中取得的结果展示了TEXTGRAD通过文本反馈的反向传播自动优化复合AI系统的潜力。为加速这一方向的进展,我们在https://github.com/zou- group/textgrad 开源了我们的框架。