Zum Hauptinhalt springen
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

D.1 Methodik

Für die CoT-0-Shot-Vorhersage verwenden wir die Fragevorlage und den System-Prompt, die mit GPT-4o im simple-evals-Repository veröffentlicht wurden. Um insbesondere ihre Evaluationen eng nachzubilden, verwenden wir den ChatGPT-System-Prompt: You are ChatGPT, a large language model trained by OpenAI, based on the GPT- 4 architecture. \n Knowledge cutoff: 2023- 12 \n Current date: 2024- 04- 01". Darüber hinaus verwenden wir die folgende Vorlage:

Vorlage zur Beantwortung von Multiple-Choice-Fragen

Answer the following multiple choice question. The last line of your response should be of the following format: 'Answer: \(LETTER' (without quotes) where LETTER is one of ABCD. Think step by step before answering.

{Question}

A) {A}

B) {B}

C) {C}

D) {D}

Während der Optimierung geben wir dem Optimierer die Einschränkung vor, dass die Vorhersage mit einer Antwort abschließen sollte, indem wir, dem simple-evals-Repository folgend, die folgende Beschreibung der Einschränkung verwenden: The last line of your response should be of the following format: 'Answer: \(LETTER' (without quotes) where LETTER is one of ABCD.

Evaluation: In ähnlicher Weise führen wir, unter Verwendung der Praxis im simple-evals-Repository, einen Stringabgleich durch, um die endgültige Antwort zu finden, die einer der Buchstaben ABCD ist, und vergleichen sie mit der Ground-Truth-Antwort. Die GPQA-Diamond-Teilmenge enthält 198 Fragen. Die MMLU-Machine-Learning-Teilmenge enthält 112 Fragen, und die College-Physics-Teilmenge enthält 92 Fragen. Bei jeder Iteration der Optimierung führen wir 1 Aufruf an gpt-4o durch, um den Testzeitverlust zu evaluieren, 1 Aufruf, um Gradienten zu sammeln, und 1 Aufruf, um die Lösung zu aktualisieren.