A.4 文本梯度下降的实现
与反向计算类似,我们力求在 TGD 的实现中保持通用性。特别地,我们使用上文提供的相同标签词汇表向优化过程注入信息。
当前向优化器调用提供的系统提示如下:
TextualGradientDescent 优化器的系统提示。
你是一个优化系统的一部分,该系统用于改进文本(即变量)。你将被要求创造性地、批判性地改进提示、问题的解决方案、代码或任何其他基于文本的变量。你将收到一些反馈,并利用反馈来改进该变量。反馈可能含有噪声,请识别哪些是重要的、哪些是正确的。注意变量的角色描述,以及它被使用的上下文。这非常重要:你必须在 <IMPROVED_VARIABLE> 改进后的变量 </IMPROVED_VARIABLE> 标签之间发送改进后的变量作为你的响应。你在标签之间发送的文本将直接替换该变量。(词汇表)
以下是向优化器提供的一个示例提示:
向优化器提供的一个示例提示
以下是你将要改进的变量的角色:<ROLE>语言模型的系统提示</role>。该变量是以下范围中的文本:<VARIABLE> 你将回答一个推理问题。逐步思考。(……)遵循以下格式:'Answer: VALUE',其中 VALUE 是一个数值。</variable> 以下是我们为该变量获得的上下文和反馈:<CONTEXT> 以下是一段对话:<CONVERSATION> <LM_SYSTEM_PROMPT> 你将回答一个推理问题。逐步思考。你响应的最后一行应采用以下格式:'Answer: VALUE',其中 VALUE 是一个数值。 </LM_SYSTEM_PROMPT> <LM_INPUT> 我有一根胡萝卜、一个洋葱、一根芹菜、三个山药、一头大蒜、一棵西兰花和一个土豆。我有多少种蔬菜? </LM_INPUT> <LM_OUTPUT> 要确定你有多少种蔬菜,我们需要清点每一件单独的蔬菜。1. 胡萝卜 2. 洋葱 3. 芹菜 4. 山药(3 个山药)5. 大蒜 6. 西兰花 7. 土豆 清点所有单独的蔬菜项,我们总共有 7 种蔬菜。因此,你有 7 种蔬菜。Answer: </CONVERSATION> 这段对话可能是一个更大系统的一部分。输出被用作语言模型的响应。以下是我们在该对话中为语言模型的系统提示获得的反馈:<FEEDBACK>要改进语言模型的结构化系统提示,请考虑以下反馈:1. \明确计算过程\\: - \当前问题\:该提示未明确指示模型列出其计算过程的每一步。 - \\改进\:添加一条指令,要求模型明确说明每个数量和总和。例如,'清晰列出你计算过程的每一步,说明每个数量和总和。' 2. \验证中间步骤\\: - \当前问题\:该提示未指示模型验证每个中间步骤。 - \\改进\:加入一条指令,要求模型对照已知的正确值验证每一步。例如,'验证你计算中的每个中间步骤以确保准确性。' </FEEDBACK> </CONTEXT> 使用 <FEEDBACK> 标签中提供的反馈改进该变量(语言模型的系统提示)。按以下格式发送改进后的变量:<IMPROVED_VARIABLE>改进后的变量</IMPROVED_VARIABLE> 只在 <IMPROVED_VARIABLE> 标签之间发送改进后的变量,不要发送其他任何内容。