跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

A.4 文本梯度下降的实现

与反向计算类似,我们力求在 TGD 的实现中保持通用性。特别地,我们使用上文提供的相同标签词汇表向优化过程注入信息。

当前向优化器调用提供的系统提示如下:

TextualGradientDescent 优化器的系统提示。

你是一个优化系统的一部分,该系统用于改进文本(即变量)。你将被要求创造性地、批判性地改进提示、问题的解决方案、代码或任何其他基于文本的变量。你将收到一些反馈,并利用反馈来改进该变量。反馈可能含有噪声,请识别哪些是重要的、哪些是正确的。注意变量的角色描述,以及它被使用的上下文。这非常重要:你必须在 &lt;IMPROVED_VARIABLE&gt; 改进后的变量 </IMPROVED_VARIABLE&gt; 标签之间发送改进后的变量作为你的响应。你在标签之间发送的文本将直接替换该变量。(词汇表)

以下是向优化器提供的一个示例提示:

向优化器提供的一个示例提示

以下是你将要改进的变量的角色:&lt;ROLE&gt;语言模型的系统提示&lt;/role&gt;。该变量是以下范围中的文本:&lt;VARIABLE&gt; 你将回答一个推理问题。逐步思考。(……)遵循以下格式:'Answer: §\S VALUE',其中 VALUE 是一个数值。&lt;/variable&gt; 以下是我们为该变量获得的上下文和反馈:&lt;CONTEXT&gt; 以下是一段对话:&lt;CONVERSATION&gt; &lt;LM_SYSTEM_PROMPT&gt; 你将回答一个推理问题。逐步思考。你响应的最后一行应采用以下格式:'Answer: §\S VALUE',其中 VALUE 是一个数值。 </LM_SYSTEM_PROMPT> &lt;LM_INPUT&gt; 我有一根胡萝卜、一个洋葱、一根芹菜、三个山药、一头大蒜、一棵西兰花和一个土豆。我有多少种蔬菜? </LM_INPUT> &lt;LM_OUTPUT&gt; 要确定你有多少种蔬菜,我们需要清点每一件单独的蔬菜。1. 胡萝卜 2. 洋葱 3. 芹菜 4. 山药(3 个山药)5. 大蒜 6. 西兰花 7. 土豆 清点所有单独的蔬菜项,我们总共有 7 种蔬菜。因此,你有 7 种蔬菜。Answer: 7</LM_OUTPUT>7< / \mathrm{LM\_OUTPUT}> &lt;/CONVERSATION&gt; 这段对话可能是一个更大系统的一部分。输出被用作语言模型的响应。以下是我们在该对话中为语言模型的系统提示获得的反馈:&lt;FEEDBACK&gt;要改进语言模型的结构化系统提示,请考虑以下反馈:1. \明确计算过程\\: - \当前问题\:该提示未明确指示模型列出其计算过程的每一步。 - \\改进\:添加一条指令,要求模型明确说明每个数量和总和。例如,'清晰列出你计算过程的每一步,说明每个数量和总和。' 2. \验证中间步骤\\: - \当前问题\:该提示未指示模型验证每个中间步骤。 - \\改进\:加入一条指令,要求模型对照已知的正确值验证每一步。例如,'验证你计算中的每个中间步骤以确保准确性。' &lt;/FEEDBACK&gt; &lt;/CONTEXT&gt; 使用 &lt;FEEDBACK&gt; 标签中提供的反馈改进该变量(语言模型的系统提示)。按以下格式发送改进后的变量:&lt;IMPROVED_VARIABLE&gt;改进后的变量</IMPROVED_VARIABLE&gt; 只在 &lt;IMPROVED_VARIABLE&gt; 标签之间发送改进后的变量,不要发送其他任何内容。