跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

E.1 任务

下面,我们为提示优化部分中的每个任务提供一个示例查询。

单词排序的示例查询

按字母顺序对以下单词排序:List: oakland seaborg jacobi membrane trapezoidal allis marmot toggle anthology。

对象计数的示例查询

我有一张沙发、一张床、一辆汽车、一台冰箱、两张桌子、一个烤箱、一台烤面包机和一把椅子。我一共有多少个物体?

GSM8k 示例查询

Amber、Micah 和 Ahito 总共跑了 52 英里。Amber 跑了 8 英里。Micah 跑的距离是 Amber 的 3.5 倍。Ahito 跑了多少英里?

对于单词排序和物体计数,我们从 BBH 仓库获取数据集,并将示例随机划分为 50 个(训练)/100 个(验证)/100 个(测试)样本。对于 GSM8k,我们使用 DSPy [10] 中提供的划分,其包含 200 个(训练)/300 个(验证)/1319 个(测试)样本。

评估:对于物体计数和 GSM8k,我们使用基于字符串的精确匹配指标,该指标查看答案中提供的最后一个数值,并将其与真实答案进行比较。对于单词排序,我们提示 gpt-4o 通过以下提示将真实答案列表与答案中提供的回答进行比较:

用于单词排序评估的评估系统提示

系统提示:以下是一个问答任务中的问题、真实答案以及带有最终预测的推理。最终预测是否正确,即与真实答案相同?仅回答 1(是)或 0(否)。将你的回答返回在 <ACCURACY></ACCURACY>< \mathrm{ACCURACY} > < / \mathrm{ACCURACY}> 标签内。例如 <ACCURACY>0</ACCURACY>< \mathrm{ACCURACY} > 0 < / \mathrm{ACCURACY}> 或 <ACCURACY>1</ACCURACY>< \mathrm{ACCURACY} > 1 < / \mathrm{ACCURACY}>。

示例提示:\\任务问题:\\ {question} \\真实答案:\\ {answer} \\来自语言模型的推理和预测:\\ {prediction}