4 関連研究
関連する研究の流れの一つは、プロンプト最適化の問題を調査したものである。実践者らは、少数ショット例の知的選択やインコンテキスト学習、CoT、アンサンブルといったプロンプトエンジニアリング戦略がLLMの性能を大幅に向上させ得ることを示した[66]。このプロセスを自動化するために、数値勾配を活用するホワイトボックス手法がプロンプトの最適化のために開発された[67-70]。しかしながら、これらの手法はモデルパラメータへのアクセスを必要とするため、クローズドソースモデルでは使用できない。様々な研究がLLMをプロンプトオプティマイザとして用いることを調査した[12, 25, 71]。
プロンプト最適化の下で、我々の理念に最も近く、我々の着想源となった2つの研究がある。第一に、DSPy[10, 72, 73]は、複雑なLLMベースのシステムを潜在的に多くの層を持つプログラムとして捉えるというアイデアを先駆けて提唱し、それらをプログラム的に構築・最適化する方法を提案した。このフレームワークは広範であり、様々な質問応答、推論、プロンプト最適化タスクにおいてLLMの性能を向上させる結果を示している。我々の研究は、誤差逆伝播法とその拡張が、新世代のAIシステムを最適化するための汎用的かつ強力なフレームワークとなり得て、プロンプト最適化以外の複数のタスクを実行できるという異なる視点を取る。特に、我々は命令や実演だけでなく、我々が関心を持つインスタンスそのもの——例えば分子、治療計画、コードスニペットなど——も最適化すべき変数として扱う。第二に、我々に多大な示唆を与えた、Textual Gradientsを用いたプロンプト最適化(ProTeGi)[25]は、プロンプト最適化の文脈においてTextual Gradientsを定義し、そこでは勾配はタスク中に生じた誤りに対してLLMから与えられる自然言語のフィードバックである。ProTeGiはテキスト勾配の類推に基づいて構築されているが、我々はこの類推を自動微分へとより広く拡張し、プロンプト最適化タスクを大幅に超えて進む。特に、DSPyとProTeGiはいずれもプロンプト最適化に焦点を当てていたが、我々の多様な応用を通じて示されるように、TExTGRADの重要な進歩はインスタンス最適化にある。
より一般に、LLMを批評家またはオプティマイザとして用いるという高レベルのアイデアに基づく研究の流れが台頭している[10, 12, 25, 26, 30, 71, 74-80]。これらの初期のフレームワークの多くはLLMをオプティマイザとして用いる有用性を示したが、我々は単一の汎用フレームワークを提案し、それを様々な応用において成功裏に検証した。このフレームワーク内では、LLMの連鎖やスタックの最適化について推論することができる[81-83]:我々は自然言語のフィードバックを伝播させる。同様に、汎用の最適化エンジンとして捉えれば、テスト時訓練[42, 43]や解の自己洗練および自己改善[26, 30, 44, 84-91]など、多くの関連問題を我々のフレームワークにおいて数行のコードとして定式化できる。最適化の類推に基づき、我々はすでに従来の最適化文献からいくつかの類推を移転してきた。例えば、コンテキスト内で以前の反復を用いることによるモメンタム[40]、バッチ最適化の使用[92]、自然言語の制約を用いた制約付き最適化[35]などである。我々の研究は、すべて同一のフレームワーク内で、新世代の最適化アルゴリズムを設計するための大きな空間を切り開く。