3.3 Optimización de indicaciones para razonamiento
Si bien los LLM demuestran un rendimiento impresionante en tareas de razonamiento, su rendimiento puede ser sensible a la indicación utilizada para guiar su comportamiento. En particular, con la elección correcta de una indicación, su rendimiento puede mejorar significativamente [49]. En la optimización de indicaciones, el objetivo es encontrar una indicación o instrucción para guiar el comportamiento de un LLM, de modo que tenga un buen rendimiento en una tarea dada. En particular, a menudo tenemos un grafo de cómputo como el siguiente:
| Conjunto de datos | Método | Exactitud (%) |
| QA a prueba de Google [27] | CoT [46, 47] | 51,0 |
| Mejor reportado [48] | 53,6 | |
| TEXTGRAD | 55,0 | |
| MMLU-Aprendizaje automático [45] | CoT [46, 47] | 85,7 |
| TEXTGRAD | 88,4 | |
| MMLU-Física universitaria [45] | CoT [46, 47] | 91,2 |
| TEXTGRAD | 95,1 |
donde tenemos una Pregunta (Question) para la tarea, una Respuesta (Answer) a la pregunta y una Métrica de Evaluación que indica la calidad de la salida dada la respuesta de referencia. Por ejemplo, para una tarea de respuesta a preguntas, la métrica de evaluación sería la precisión de la respuesta, evaluada, por ejemplo, utilizando métricas basadas en cadenas de texto.
Aquí, dados unos pocos ejemplos de entrenamiento para optimizar una Indicación (Prompt), el objetivo es maximizar el rendimiento de un LLM en la tarea dada. En nuestros experimentos, nuestro objetivo es mejorar el rendimiento de un modelo más débil y económico (por ejemplo, gpt-3.5-turbo-0125) utilizando la retroalimentación generada por modelos más fuertes (por ejemplo, gpt-4o). Esto es útil en la práctica porque, al pagar un costo fijo para optimizar una Indicación, el modelo más débil optimizado mediante indicaciones puede utilizarse con costos de inferencia más bajos en lugar de usar el modelo fuerte y más costoso.
1 # Inicializar la indicación del sistema 2 system_prompt = tg.Variable("Eres un modelo de lenguaje útil. Piensa paso a paso.", 3 requires_grad=True, 4 role_description="indicación del sistema para el modelo de lenguaje") 5 6 # Configurar el objeto del modelo 'parametrizado por' la indicación. 7 model = tg.BlackboxLLM(system_prompt=system_prompt) 8 9 # Optimizar la indicación del sistema 10 optimizer = tg.TextualGradientDescent(parameters=[system_prompt]) 11 12 for iteration in range(max_iterations): 13 batch_x, batch_y = next(train_loader) 14 optimizer.zero_grad() 15 # Realizar la pasada hacia adelante 16 responses = model(batch_x) 17 losses = [loss_fn(response, y) for (response, y) in zip(responses, batch_y)] 18 total_loss = tg.sum(losses) 19 # Realizar la pasada hacia atrás y calcular gradientes 20 total_loss.backward() 21 # Actualizar la indicación del sistema 22 optimizer.step()
Fragmento de código 2: Una implementación simple de optimización de prompts con TEXTGRAD.
Aquí, usamos TEXTGRAD en un entorno de descenso de gradiente estocástico por minilotes [18, 34]. En particular, en cada iteración, usamos unos pocos ejemplos de entrenamiento para ejecutar el pase hacia adelante en la Ecuación 16. Se puede encontrar un pseudocódigo y una implementación breve en el fragmento anterior. Los detalles completos de la optimización de prompts se pueden encontrar en el Apéndice E. A diferencia de la optimización de instancias, donde TEXTGRAD intenta optimizar cada solución individual, el objetivo aquí es optimizar un único prompt que funcione bien en todas las preguntas de un benchmark.
Tareas: Exploramos la optimización de prompts en múltiples conjuntos de datos, incluidos las dos tareas estándar de razonamiento (Object Counting y Word Sorting) de Big Bench Hard (divididas aleatoriamente en 50/100/100 muestras de entrenamiento/validación/prueba) [50, 51], la resolución de problemas matemáticos de nivel escolar GSM8k [52] (usando las divisiones de entrenamiento/validación/prueba de DSPy). Para GSM8k y Object Counting, usamos una métrica de coincidencia exacta basada en cadenas para cuantificar la precisión (es decir, si el número final proporcionado en la respuesta es el mismo que la respuesta de referencia). Para Word Sorting, usamos un LLM para comparar la respuesta y la respuesta de referencia. Damos más detalles sobre las tareas, los prompts y las consultas de ejemplo en el Apéndice E.1.
.
.
.
Métodos: Exploramos mejorar el rendimiento de gpt-3.5-turbo-0125 usando gpt-4o [48] para proporcionar retroalimentación durante la retropropagación. En particular, mientras que el modelo de avance que realiza el razonamiento es gpt-3.5-turbo-0125, usamos gpt-4o para proporcionar la retroalimentación y mejorar el prompt. Usamos un tamaño de lote de 3 con 12 iteraciones, es decir, el modelo ve 36 ejemplos de entrenamiento en total, muestreados aleatoriamente con reemplazo. Después de cada iteración, ejecutamos un bucle de validación con el conjunto de validación de los conjuntos de datos, y si el rendimiento es mejor que en la iteración anterior, actualizamos el Prompt.
Líneas base: Tenemos dos líneas base principales:
1. Chain-of-Thought (CoT) de cero disparos [46, 47]: Inicializamos todos los prompts como un prompt CoT de cero disparos, donde se instruye a un modelo a 'Pensar paso a paso' para explicar su razonamiento antes de dar su respuesta. Esta estrategia es bien conocida por ser una línea base sólida para la creación de prompts.
2. DSPy es un framework de programación de modelos de lenguaje y optimización de prompts de última generación [10], por lo que lo usamos como línea base de referencia. Instanciamos el optimizador BootstrappedFewShotRandomSearch (BFSR) de DSPy con 10 programas candidatos y 8 ejemplos de pocos disparos. Este optimizador identifica demostraciones para incluir en el prompt como ejemplos de pocos disparos. Esto se hace mediante la generación de trazas de entradas y salidas del LLM que pasan individualmente la métrica (en este caso, precisión) e incluyen razonamiento CoT. Luego aplica búsqueda aleatoria sobre subconjuntos de hasta tamaño ocho disparos con estas demostraciones.
| Dataset | Método | Precisión (%) |
| Conteo de objetos [50, 51] | CoT (0-shot) [46, 47] | 77,8 |
| DSPy (BFSR, 8 demostraciones) [10] | 84,9 | |
| TExTGRAD (solo instrucción, 0 demostraciones) | 91,9 | |
| Ordenamiento de palabras [50, 51] | CoT (0-shot) [46, 47] | 76,7 |
| DSPy (BFSR, 8 demostraciones) [10] | 79,8 | |
| TExTGRAD (solo instrucción, 0 demostraciones) | 79,8 | |
| GSM8k [52] | CoT (0-shot) [46, 47] | 72,9 |
| DSPy (BFSR, 8 demostraciones) [10] | 81,1 | |
| TExTGRAD (solo instrucción, 0 demostraciones) | 81,1 |
Ejemplo: Prompt optimizado por TextGrad para gpt-3.5-turbo-0125
Prompt en la inicialización (Precisión en GSM8k ):
Responderás una pregunta de razonamiento matemático. Piensa paso a paso. Siempre concluye la última línea de tu respuesta con el siguiente formato: 'Answer: VALUE' donde VALUE es un valor numérico."
Prompt después de 12 iteraciones con tamaño de lote 3 (Precisión en GSM8k ):
Responderás una pregunta de razonamiento matemático. Reformula el problema con tus propias palabras para asegurar la comprensión. Desglosa el problema en pasos más pequeños, explicando cada cálculo en detalle. Verifica cada paso y vuelve a comprobar tus cálculos para mayor precisión. Usa notación matemática adecuada y mantén la consistencia con el contexto de la pregunta. Siempre concluye con la respuesta final en el siguiente formato: 'Answer: VALUE' donde VALUE es un valor numérico.
Resultados: En las tres tareas, TExTGRAD mejora significativamente el rendimiento del prompt de cero disparos. Se comporta de manera similar a DSPy [10] para Word Sorting y GSM8k, y mejora sobre DSPy en para Object Counting. Si bien las 8 demostraciones en el contexto pueden ayudar a guiar el comportamiento del LLM, pueden aumentar el costo de inferencia. Curiosamente, el optimizador DSPy y TExTGRAD hacen ajustes complementarios: el primero agrega ejemplos de demostración en contexto y el segundo optimiza el prompt del sistema. Agregar los ejemplos seleccionados por DSPy al prompt optimizado por TExTGRAD podría mejorar aún más el rendimiento (para GSM8k, combinar directamente las demostraciones de DSPy con la instrucción de TextGrad aumenta la precisión a ), lo que sugiere que una dirección fructífera es combinar ambos enfoques.