A.1 Variables
Las variables son los nodos del grafo de computación. A continuación se presentan los atributos más importantes de las Variables:
1. El valor es la dato no estructurado que contiene la variable. A lo largo de este manuscrito, todos los valores son datos de texto.
2. La descripción del rol es una cadena informativa que describe el rol de la variable en el grafo de computación. Usamos estos roles para permitir que el usuario inyecte conocimiento en el grafo y guíe el comportamiento de optimización. A continuación se describe más información.
3. Los gradientes son la retroalimentación en lenguaje natural proporcionada por los LLM durante la pasada hacia atrás. Estos describen los cambios que deben realizarse en la variable para que la pérdida posterior pueda mejorarse. Para ver un ejemplo de operación hacia atrás que rellena los gradientes, consulte la Sección A.3.
4. Los predecesores son el conjunto de variables que se utilizan para generar una variable dada. Por ejemplo, si le estamos dando una instrucción a un LLM y obteniendo una respuesta, la instrucción sería el predecesor de la respuesta. Durante el paso hacia atrás, los gradientes sobre el sucesor se pasan a sus predecesores, para proporcionar orientación sobre cómo mejorar el objetivo descendente.
5. Requires grad indica si los gradientes se poblarán o no durante el paso hacia atrás, de forma análoga a PyTorch. Por ejemplo, si el usuario no desea calcular gradientes para una pregunta, entonces simplemente escriba Variable(value=question, requires_grad=False, ...) para indicarlo.
Descripción del rol: En TEXTGRAD, cada variable tiene una descripción del rol. En particular, esta es una cadena que describe el rol de la variable en el grafo de computación, como el prompt del sistema para el modelo de lenguaje o la predicción del modelo de lenguaje. Aunque a veces se puebla automáticamente, en general las descripciones de rol son una de las formas principales de inyectar conocimiento del usuario en el proceso de optimización.
Empíricamente, encontramos que las descripciones de rol pueden dirigir significativamente el proceso de optimización. Por ejemplo, establecer el rol de una predicción como la respuesta numérica final al modelo de lenguaje guía al optimizador de Descenso de Gradiente Textual, que solicita a un modelo de lenguaje que actualice el valor de la variable usando la retroalimentación, para actualizar la variable de modo que sea solo un valor numérico. En comparación, una descripción de rol como el razonamiento para la solución y la predicción final guía al optimizador a producir el razonamiento junto con la predicción final.
Aquí hay un ejemplo de uso:

Fragmento de código 3: Un ejemplo de uso de la descripción de un rol.