Optimisation d’instance vs optimisation d’invite
Nous explorons deux classes de problèmes d’optimisation.
Dans l’optimisation d’instance, nous traitons directement une solution à un problème—par exemple, un extrait de code, la solution à un problème ou une molécule—comme une variable d’optimisation. Par exemple, dans l’équation 13, nous avons une instance de code que nous souhaitons améliorer au moment du test. Notre cadre produit les gradients pour la variable de code et l’optimise directement.
Dans l’optimisation d’invite, l’objectif est de trouver une invite qui améliore les performances d’un LLM sur plusieurs requêtes pour une tâche. Par exemple, nous pouvons vouloir trouver une invite système pour un LLM qui améliore les performances sur des questions de raisonnement mathématique (voir la section 3.3 pour des exemples). En particulier, nous voulons que l’invite système généralise, contrairement à l’optimisation d’instance où le seul objectif est d’améliorer la solution pour une requête donnée au moment du test.
De manière cruciale, les deux types de problèmes peuvent être résolus sans concevoir le cadre à la main.