3.2 テスト時訓練による解の最適化による問題解決の改善
ここでは、TEXTGRADによる解の最適化というタスクに焦点を当てる。解の最適化では、目標は、量子力学や有機化学に関する質問のような複雑な問題に対する解を改善することである。特に、しばしば次のような計算グラフを持つ:
ここで、我々が最適化するパラメータはSolutionであり、損失関数は解の評価、例えばLLMによる評価によって得られる。各反復において、LLMは質問、現在の解、および現在の反復を批評または調査するよう求める何らかのテスト時命令をプロンプトとして与えられる。最適化の軌跡に沿って、解はこのテスト時の自己評価を用いて洗練される。より一般に、このアイデアはテスト時訓練[42, 43]として知られており、そこでは機械学習モデルがテスト時にテストインスタンス上で、しばしば自己教師あり目的で訓練される。同様に、最近の研究は推論タスクに対しても自己洗練の利点を示している[26, 30, 44]。特に、LLMは質問への答えや問題の解を最初の試行で正しく得られないかもしれないが、反復的な洗練を通じて応答を改善できる。 例えば、洗練のための目的関数は次のようになる:
Solution Refinement Objective
LLM("Below is a multi-choice question and a prediction. You are a critical and creative scientist. Your job is to investigate the prediction. Critically go through reasoning steps, and see if there is a reason why the prediction could be incorrect. Use the Janusian Process, think about whether alternative answers could be true. Question: {Question} Answer by the language model: {Solution}")
以下は、TEXTGRADにおける解の最適化の代表的な実装である。
1 # Assume we have the test_dataset 2 question, answer test_dataset[i] 3 # Initialize the test time loss function 4 # This has the system prompt provided above as 'Solution Refinement Objective' 5 test_time_loss_fn MultipleChoiceTestTime() 6 # Get a zero-shot solution from an LLM 7 solution: Variable zero_shot_llm(question) 8 # Optimize the solution itself 9 optimizer tg.TextualGradientDescent(parameters [solution]) 10 11 for iteration in range(max_iterations): 12 optimizer.zero_grad() 13 # Note how the loss is self-supervised (does not depend on any ground truth.) 14 loss test_time_loss_fn(question, solution) 15 # Populate the gradients, and update the solution 16 loss.backward() 17 optimizer.step()
Code Snippet 1: TEXTGRADにおける解の最適化の代表的な実装。
タスク:Google-proof Question Answering(GPQA)[27]は、物理学、生物学、化学における挑戦的な多肢選択問題が、博士号を取得しているか取得を目指している領域専門家によって作成され、ラベル付けされた最近のベンチマークである。このベンチマークでは、専門家と熟練した非専門家がそれぞれとの正解率を達成したと報告されており、問題の難しさを示している。重要なことに、これは性能がまだ飽和していないベンチマークであり、我々の知る限り、報告されている最良の結果はgpt-4oによって達成されたdiamondサブセットにおけるの正解率である。また、言語モデリングの進歩とLLMが人間レベルの性能に到達したかどうかを追跡するために用いられるMMLU [45]質問応答ベンチマークの、挑戦的な2つのサブセット(Machine LearningおよびCollege Physics)も用いる。ここでの専門家による人間の正解率は平均でおよそである。質問形式とプロンプトの詳細については付録Dを参照されたい。
手法:我々は2つのベースラインを報告する。第一に、gpt-4oのリリース文書で報告されている結果はの正解率を示している。しかし、彼らの公式実装は生成に温度0.5を用いているため、我々は公式実装1で提供されている温度0およびChain-of-Thought(CoT)[46, 47]プロンプティングを用いたgpt-4oもテストする。TEXTGRADでは、テスト時更新を3回反復し(すなわち解を3回更新し)、最終的な答えを得るためにすべての解にわたる多数決投票を行う。各答えの最終的な正解率を計算するために、文字列ベースの指標を用いる。
結果:TEXTGRADを用いることで、困難な質問応答タスクにおいてgpt-4oの性能を向上させ、その結果を表2に報告する。我々の知る限り、はGPQAデータセットにおいてこれまでに知られている最良の結果である。同様に、MMLUのサブセットにおいても性能を向上させ、から(機械学習)、およびから(大学物理)へと改善した。これらの結果は、TEXTGRADの自己洗練を通じてテスト時に多くの計算を費やすことで、最も高性能なモデルであっても質問応答性能を向上させられることを示している。