Optimización de instancias vs. de prompts
Exploramos dos clases de problemas de optimización.
En la optimización de instancias, tratamos directamente una solución a un problema —p. ej., un fragmento de código, la solución a un problema o una molécula— como una variable de optimización. Por ejemplo, en la Ecuación 13, tenemos una instancia de código que nos gustaría mejorar en el momento de la prueba. Nuestro marco produce los gradientes para y optimiza directamente la variable de código.
En la optimización de prompts, el objetivo es encontrar un prompt que mejore el rendimiento de un LLM a través de múltiples consultas para una tarea. Por ejemplo, podemos querer encontrar un prompt de sistema para un LLM que mejore el rendimiento en preguntas de razonamiento matemático (véanse ejemplos en la Sección 3.3). En particular, queremos que el prompt de sistema generalice, en contraste con la optimización de instancias, donde el único objetivo es mejorar la solución para una consulta dada en el momento de la prueba.
De manera crucial, ambos tipos de problemas pueden resolverse sin elaborar manualmente el marco.