メインコンテンツへスキップ
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

最適化手法

自動微分はTEXTGRADにとって強いアナロジーであり、フレームワークに実装された最適化手法に対する概念的な支えを与える。以下ではいくつかの例を述べる。

バッチ最適化: 我々はプロンプト最適化のために確率的ミニバッチ勾配降下法 [18, 34] を実装する。具体的には、バッチ内の複数インスタンスで順伝播を行い個々の損失項を評価した後、tg.sum関数を用いて損失を合計する(torch.sumに類似)。逆伝播では、個々の損失項を通じた変数に関する勾配が連結され、加算を通じた逆伝播を反映する。

制約付き最適化: 我々は制約付き最適化をアナロジーとして [35]、自然言語の制約を用いる。特に、自然言語の制約(例えば「あなたの応答の最後の行は次の形式であるべきです: 'Answer: \*SELECT'。ここでLETTERはABCDのいずれかです。」など)を用いてオプティマイザの振る舞いを導く。命令チューニング [36, 37] のおかげで、言語モデルはこれらの単純な制約に従うことができるが、制約が多すぎるとその信頼性は低下しうることを我々は観察している [38, 39]。

モメンタム: 我々は勾配降下法におけるモメンタムとのアナロジーを用いる [40, 41]。変数を最適化する際、TGDオプティマイザは更新を行うときに任意でその変数の以前の反復を参照することができる。TEXTGRADに実装されている最適化手法の詳細については付録Bを参照されたい。