E.1 タスク
以下に、プロンプト最適化のセクションにおける各タスクのクエリ例を示す。
単語並べ替えのクエリ例
次の単語をアルファベット順に並べ替えよ:リスト:oakland seaborg jacobi membrane trapezoidal allis marmot toggle anthology。
物体計数のクエリ例
私はソファ、ベッド、車、冷蔵庫、テーブル2つ、オーブン、トースター、そして椅子を持っている。私が持っている物体はいくつあるか?
GSM8kのクエリ例
Amber、Micah、Ahitoは合計52マイル走った。Amberは8マイル走った。MicahはAmberが走った距離の3.5倍走った。Ahitoは何マイル走ったか?
単語並べ替えと物体計数については、BBHリポジトリからデータセットを取得し、例をランダムに50(訓練)/100(検証)/100(テスト)サンプルに分割する。GSM8kについては、DSPy [10]で提供される分割を使用し、200(訓練)/300(検証)/1319(テスト)サンプルからなる。
評価:物体計数とGSM8kについては、回答中に示された最後の数値を参照し、それを正解の答えと比較する文字列ベースの完全一致指標を使用する。単語並べ替えについては、以下のプロンプトを通じて、gpt-4oに正解リストと回答中に示された応答を比較させる:
単語並べ替え評価のための評価システムプロンプト
システムプロンプト:以下は質問応答タスクからの質問、正解の答え、および最終予測を含む推論である。最終予測は正しいか、すなわち正解の答えと同じであるか?1(はい)または0(いいえ)のみを答えよ。応答はタグ内に返せ。例:または。
プロンプト例:\\タスクの質問:\\ {question} \\正解の答え:\\ {answer} \\言語モデルからの推論と予測:\\ {prediction}