TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
インスタンス最適化 vs プロンプト最適化
我々が探究する最適化問題には2つのクラスがある。
インスタンス最適化では、問題の解——例えばコードスニペット、問題の解答、あるいは分子——を直接最適化変数として扱う。例えば、式13では、テスト時に改善したいコードインスタンスがある。我々のフレームワークはその勾配を生成し、コード変数を直接最適化する。
プロンプト最適化では、あるタスクについて複数のクエリにわたってLLMの性能を向上させるプロンプトを見つけることが目標である。例えば、数学的推論の質問における性能を向上させるLLMへのシステムプロンプトを見つけたい場合がある(例については3.3節を参照)。特に、インスタンス最適化ではテスト時に与えられたクエリに対する解を改善することだけが目標であるのとは対照的に、ここではシステムプロンプトが汎化することを望む。
決定的に重要なのは、どちらの種類の問題もフレームワークを手作業で作り込むことなく解けるということである。