D.1 方法論
CoT 0-shot 予測では、simple-evals リポジトリで GPT-4o とともに公開されている質問テンプレートとシステムプロンプトを使用します。特に、彼らの評価に密接に合わせるため、次の ChatGPT システムプロンプトを使用します: You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture. \n Knowledge cutoff: 2023-12 \n Current date: 2024-04-01"。さらに、次のテンプレートを使用します:
多肢選択問題回答テンプレート
次の多肢選択問題に答えてください。回答の最後の行は次の形式でなければなりません: 'Answer: \(LETTER'(引用符なし)。ここで LETTER は ABCD のいずれかです。答える前に段階的に考えてください。
{Question}
A) {A}
B) {B}
C) {C}
D) {D}
最適化中には、simple-evals リポジトリに従い、予測が回答で締めくくられるべきであるという制約を、次の制約記述を通じてオプティマイザに与えます: 回答の最後の行は次の形式でなければなりません: 'Answer: \(LETTER'(引用符なし)。ここで LETTER は ABCD のいずれかです。
評価: 同様に、simple-evals リポジトリでの慣行を用いて、最終回答である ABCD のいずれかの文字を見つけるために文字列照合を行い、それを正解と比較します。GPQA Diamond サブセットには198問が含まれます。MMLU Machine Learning サブセットには112問が含まれ、College Physics サブセットには92問が含まれます。最適化の各反復では、テスト時損失を評価するために gpt-4o を1回呼び出し、勾配を収集するために1回呼び出し、解を更新するために1回呼び出します。