TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
目的関数
数値最適化と自動微分において、目的関数は通常、平均二乗誤差や交差エントロピーのような微分可能な関数である。TEXTGRADでは、目的関数は複雑で潜在的に微分不可能な関数であり得、その関数の定義域と終域は非構造化データであり得る。この選択はフレームワークに重要な汎用性と柔軟性を加える。例えば、目的関数が自然言語テキストで指定され、言語モデルへのプロンプティングによって計算できること(§3.3)、単体テストを実行するコードインタプリタの出力(§3.1)、または分子シミュレーションエンジンの出力(§3.4)であることを我々は示す。例えば、コードスニペットに対する単純な損失関数は次のようになり得る:
以下が翻訳です。 このスニペットの目標は次のとおりです: スニペットの正しさと実行時計算量を評価せよ。),
ここで、この評価シグナルを用いてコードスニペットを最適化することができる。これは、LLMが人間のフィードバックを模擬し、自己評価し、自己改善する能力が十分に文書化されていることによって支えられている [10, 28-33]。