跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

D.1 方法

对于 CoT 0-shot 预测,我们使用 simple-evals 仓库中随 GPT-4o 发布的题目模板和系统提示。特别地,为了与其评估方式密切匹配,我们使用 ChatGPT 系统提示:You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture. \n Knowledge cutoff: 2023-12 \n Current date: 2024-04-01”。此外,我们使用以下模板:

多项选择题回答模板

回答以下多项选择题。你回答的最后一行应采用以下格式:'Answer: \(LETTER'(不带引号),其中 LETTER 是 ABCD 之一。在回答前逐步思考。

{Question}

A) {A}

B) {B}

C) {C}

D) {D}

在优化过程中,我们按照 simple-evals 仓库的做法,通过以下约束描述向优化器提供约束,即预测应以一个答案作结:你回答的最后一行应采用以下格式:'Answer: \(LETTER'(不带引号),其中 LETTER 是 ABCD 之一。

评估:同样,按照 simple-evals 仓库中的做法,我们执行字符串匹配以找到最终答案,即 ABCD 中的一个字母,并将其与真实答案进行比较。GPQA Diamond 子集包含 198 道题。MMLU Machine Learning 子集包含 112 道题,College Physics 子集包含 92 道题。在优化的每次迭代中,我们调用 gpt-4o 1 次以评估测试时损失,调用 1 次以收集梯度,并调用 1 次以更新解决方案。