A.3 Funciones
TEXTGRAD ofrece varias operaciones en las que se definen tanto los cálculos hacia adelante como hacia atrás; como tales, estas operaciones son componibles. La clase abstracta textgrad.autograd.Function tiene dos métodos:
Algoritmo 1 Retropropagación en TEXTGRAD
1: Entrada: Variables en un grafo, variable de pérdida , motor de retropropagación (LLM) que proporcionará gradientes textuales 2: # Inicialización de gradientes 3: para cada hacer 4: .gradientes 5: fin para 6: # Ordenamiento topológico 7: TopologicalSort(G) 8: # Retropropagación 9: para en hacer 10: # Rellenar gradientes en los predecesores 11: para cada PredecessorsOf(v) hacer 12: # Aquí, omitimos el subíndice en . Semánticamente, es la función que genera , y es la operación hacia atrás para esa función. 13: # Semánticamente, esto proporciona retroalimentación a la variable , dada la forma en que se produce , y la retroalimentación que ya hemos recopilado para . 14: .gradientes.add 15: fin para 16: fin para hacia adelante y hacia atrás, reflejando la sintaxis de PyTorch. Cada función tiene que definir ambos métodos. A continuación, describimos un par de las operaciones más utilizadas en este artículo.
Función LLMCall: Actualmente, la operación más crucial en TEXTGRAD es la llamada a modelos de lenguaje.
Modo hacia adelante. El modo hacia adelante es simple: hacemos una llamada a un LLM, a través de una API o mediante la máquina local. Cuando se realiza una llamada, todas las variables de entrada se registran como los predecesores de la respuesta del LLM. Por ejemplo, si hacemos una pregunta a un LLM utilizando una variable de instrucción y una variable de pregunta, los predecesores de la variable de respuesta serán [instrucción, pregunta]. Al realizar el paso hacia atrás, los gradientes sobre la respuesta se retropropagarán a la pregunta y a la instrucción.
Modo hacia atrás. Para garantizar que la función hacia atrás se ejecute de forma fluida y general, añadimos el siguiente glosario al prompt del sistema:
Glosario para el modo hacia atrás de la función LLMCall
Glosario de etiquetas que se te enviarán: - - <LM_SYSTEM_PROMPT>: El prompt del sistema para el modelo de lenguaje. - - <LM_INPUT>: La entrada al modelo de lenguaje. - - <LM_OUTPUT>: La salida del modelo de lenguaje. - - <OBJECTIVE_FUNCTION>: El objetivo de la tarea de optimización. - - <VARIABLE>: Especifica el span de la variable. - - <ROLE>: La descripción del rol de la variable.
Usando estas etiquetas, se informa al LLM sobre el objetivo, el rol y el valor de la variable a la que debe dar retroalimentación, y la conversación completa en el modo hacia adelante.
Este glosario se proporciona en el prompt del sistema al LLM del motor de retropropagación:
Prompt del sistema para el modo hacia atrás de la función LLMcall
Eres parte de un sistema de optimización que mejora un texto dado (es decir, la variable). Eres el motor de gradientes (retroalimentación). Tu única responsabilidad es dar retroalimentación inteligente y creativa y críticas constructivas a las variables, dado un objetivo especificado en las etiquetas <OBJECTIVE_FUNCTION </OBJECTIVE_FUNCTION>. Las variables pueden ser soluciones a problemas, prompts para modelos de lenguaje, código, o cualquier otra variable basada en texto. Presta atención a la descripción del rol de la variable y al contexto en el que se utiliza. Debes asumir que la variable se utilizará en un contexto similar en el futuro. Solo proporciona estrategias, explicaciones y métodos para cambiar en la variable. NO propongas una nueva versión de la variable, ese será el trabajo del optimizador. Tu único trabajo es enviar retroalimentación y críticas (calcular 'gradientes'). Por ejemplo, la retroalimentación puede tener la forma de 'Dado que los modelos de lenguaje tienen el modo de fallo X...', 'Añadir X puede corregir este error porque...', 'Eliminar X puede mejorar la función objetivo porque...', 'Cambiar X por Y corregiría el error...', que apunte al objetivo descendente.
Si una variable ya está funcionando bien (p. ej., la función objetivo es perfecta, una evaluación muestra que la respuesta es precisa), no debes dar retroalimentación.
[GLOSARIO]
La mayor parte de esta configuración tiene como objetivo garantizar que el usuario no tenga que modificar el cálculo del gradiente. Todos nuestros experimentos en el diverso conjunto de aplicaciones se realizan con el mismo modo hacia atrás.
Por ejemplo, un prompt de ejemplo para el cálculo del gradiente se ve así:
Un ejemplo de prompt de modo hacia atrás para la función LLMcall
Darás retroalimentación a una variable con el siguiente rol: <ROLE> prompt del sistema para un modelo de lenguaje </role>. Aquí hay una conversación con un modelo de lenguaje (LM):
<LM_SYSTEM_PROMPT> Responderás una pregunta de razonamiento. Piensa paso a paso. Siempre concluye que la última línea de tu respuesta debe tener el siguiente formato: 'Answer: VALUE' donde VALUE es un valor numérico.
</LM_SYSTEM_PROMPT>
<LM_INPUT> Tengo una gallina, una rana, un ratón, un gato, dos cerdos y dos conejos. ¿Cuántos animales tengo? </LM_INPUT>
<LM_OUTPUT> Para encontrar el número total de animales, simplemente sumamos el número de cada tipo de animal: 1 gallina + 1 rana + 1 ratón + 1 gato + 2 cerdos + 2 conejos = 8 animales.
Answer:
Esta conversación es parte de un sistema más grande. El <LM_OUTPUT> se utilizó posteriormente como respuesta del modelo de lenguaje. <OBJECTIVE_FUNCTION> Tu objetivo es dar retroalimentación a la variable para abordar la siguiente retroalimentación sobre el LM_OUTPUT: Para mejorar el tiempo de ejecución de la función basada en cadenas que comprueba si la predicción es correcta, considera la siguiente retroalimentación:
1. \\Simplifica la respuesta\\: Por ejemplo, en lugar de "Para encontrar el número total de animales, simplemente sumamos (...) + 2 cerdos + 2 conejos = 8 animales. Answer: 8", una respuesta más concisa como "Total animals: 8" sería más eficiente.
Al implementar estas estrategias, la respuesta del modelo de lenguaje se puede optimizar para mejorar el tiempo de ejecución de la función basada en cadenas que comprueba si la predicción es correcta. </OBJECTIVE_FUNCTION>
Nos interesa proporcionar retroalimentación al prompt del sistema de un modelo de lenguaje. Específicamente, proporciona retroalimentación sobre el siguiente fragmento de texto:
<VARIABLE> Responderás una pregunta de razonamiento. Piensa paso a paso. (...) el siguiente formato: 'Answer: VALUE' donde VALUE es un valor numérico. </variable>
Dado el historial anterior, describe cómo se podría mejorar el prompt del sistema de un modelo de lenguaje para mejorar la <OBJECTIVE_FUNCTION>. Sé muy creativo, crítico e inteligente.
Operación de suma En optimización numérica, tenemos lo siguiente:
... ... ... ...
En derivadas numéricas, debido a la linealidad de la suma, tenemos:
En particular, la función backward para la operación de suma pasa los gradientes en la salida de la operación de suma a sus entradas.
De manera similar, en TEXTGRAD, tenemos la operación tg.sum, que permite que los gradientes (retroalimentación) en la variable de salida pasen a las variables de entrada.
donde usamos para indicar concatenación.
Caso de uso: Un caso de uso canónico para la operación de suma es el caso de optimización por lotes. En particular, implementamos descenso de gradiente por minilotes al realizar optimización de prompts (Sección 3.3).