1 はじめに
大規模言語モデル(LLM)のブレークスルー[1-6]により、AIシステムの構築方法に新たなパラダイムシフトが生じている。新世代のAIアプリケーションは、複数の高度なコンポーネントを含む複合システムへとますます進化しており、各コンポーネントはLLMベースのエージェント、シミュレータなどのツール、またはウェブ検索であり得る。例えば、LLMが記号ソルバーと通信するシステムはオリンピック級の数学問題を解くことができ[7]、LLMが検索エンジンやコードインタプリタツールを使用するシステムは人間の競技プログラマーに匹敵する性能を発揮し[8]、現実世界のGitHubのissueを解決している[9]。しかし、これらのブレークスルーの多くは、応用領域の専門家によって手作業で構築され、ヒューリスティクスを通じて調整されたシステムから生じたものである。したがって、AIシステムを最適化するための原理的かつ自動化された方法を開発することは、LLMを用いた複合システムを構築する上で最も重要な課題の一つであり、AIの力を解き放つために必要である[10–12]。
過去15年間、AIにおける多くの進歩は人工ニューラルネットワークと微分可能な最適化に依存してきた[7, 13–17]。ニューラルネットワークの異なる部分(例えば2つの人工ニューロン)は、行列積のような微分可能な関数を通じて通信する[18]。したがって、各パラメータを調整してモデルを改善する方向を提供する数値勾配と誤差逆伝播法[19]を用いることが、AIモデルを訓練する自然な方法であった。誤差逆伝播法を実装した柔軟な自動微分フレームワーク[20–24]は、AIモデルの開発に不可欠であった。
新世代のAIシステムを最適化するために、我々はテキストによる自動微分であるTEXTGRADを導入する。ここでは、微分と勾配をLLMからのテキストフィードバックの比喩として用いる。このフレームワークでは、各AIシステムは計算グラフに変換され、変数は複雑な(必ずしも微分可能ではない)関数呼び出しの入力と出力である。変数へのフィードバック(「テキスト勾配」と呼ばれる[25])は、変数に対する情報豊かで解釈可能な自然言語による批評の形で提供され、システムを改善するために変数をどのように変更すべきかを記述する。勾配は、LLM API呼び出し、シミュレータ、外部の数値ソルバーなど、任意の関数を通じて伝播される。
我々は、質問応答ベンチマークから放射線治療計画の最適化や分子生成に至るまで、多様な領域においてフレームワークの力を実証する(図1)。LLMは、この広範な領域の変数に対して、分子への修正案、他のLLMへのプロンプト、コードスニペットなど、非常に豊かで読みやすく表現力豊かな自然言語勾配を提供することができる。我々のフレームワークは、現在の最先端のLLMが、最適化しようとするシステムの個々のコンポーネントやサブタスクについて推論できるという仮定に基づいている。我々は以下の結果をもってTEXTGRADの柔軟性を実証する:
1. コーディング:3.1節では、LeetCode[26]の困難なコーディング問題の解法を最適化し、gpt-4oおよび既存の最良手法の性能をの相対的性能向上で押し上げる。2. 問題解決:3.2節では、複雑な科学的問題の解法を最適化し、GPT-4oのゼロショット性能を改善する。例えば、Google-Proof Question Answering[27]ベンチマークでは、テスト時に解法を洗練させることでゼロショット精度をからに改善する。3. 推論:3.3節では、LLMの性能を改善するためにプロンプトを最適化し、いくつかの推論タスクにおいてGPT-3.5の性能をGPT-4に近づける。4. 化学:3.4節では、望ましい薬剤様性と薬剤標的へのin silico結合親和性を持つ新規小分子を設計する。5. 医学:3.5節では、前立腺がん患者の放射線治療計画を最適化し、望ましい標的線量を達成し副作用を低減する。
広範なアプリケーションにおける我々の結果は、テキストフィードバックの逆伝播を通じて複合AIシステムを自動的に最適化するTEXTGRADの可能性を示している。この方向での進歩を加速するため、我々はフレームワークをhttps://github.com/zou-group/textgrad でオープンソース化している。