Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

A.3 Fonctions

TEXTGRAD propose plusieurs opérations dont les calculs en passe avant et en passe arrière sont définis – ces opérations sont donc composables. La classe abstraite textgrad.autograd.Function possède deux méthodes :

Algorithme 1 Rétropropagation dans TEXTGRAD

1: Entrée : Variables v∈Vv\in \mathcal{V} dans un graphe, variable de perte L\mathcal{L} , moteur de rétropropagation (LLM) M\mathcal{M} qui fournira les gradients textuels 2: # Initialisation des gradients 3: pour chaque v∈Vv\in \mathcal{V} faire 4: gradients de vv =∅= \emptyset 5: fin pour 6: # Tri topologique 7: Q←Q\leftarrow TopologicalSort(G) 8: # Rétropropagation 9: pour vv dans QQ faire 10: # Peupler les gradients dans les prédécesseurs 11: pour chaque u∈u\in PredecessorsOf(v) faire 12: # Ici, nous omettons l'indice vv dans ff . Sémantiquement, ff est la fonction qui génère vv , et ∇f\nabla_{f} est l'opération arrière pour cette fonction. 13: # Sémantiquement, cela fournit un retour d'information à la variable uu , étant donné la manière dont vv est produite, et le retour d'information que nous avons déjà collecté pour vv . 14: uu .gradients.add (∇f(u,v,∂L∂v))\left(\nabla_{f}\left(u,v,\frac{\partial\mathcal{L}}{\partial v}\right)\right) 15: fin pour 16: fin pour forward et backward, reprenant la syntaxe de PyTorch. Chaque fonction doit définir ces deux méthodes. Ci-dessous, nous décrivons quelques-unes des opérations les plus utilisées dans cet article.

Fonction LLMCall : Actuellement, l'opération la plus cruciale dans TEXTGRAD est l'appel aux modèles de langage.

Mode avant. Le mode avant est simple : nous effectuons un appel à un LLM, via une API ou via la machine locale. Lorsqu'un appel est effectué, toutes les variables d'entrée sont enregistrées comme prédécesseurs de la réponse du LLM. Par exemple, si nous posons une question à un LLM à l'aide d'une instruction et d'une variable de question, les prédécesseurs de la variable de réponse seront [instruction, question]. Lors de la passe arrière, les gradients sur la réponse seront rétropropagés vers la question et l'instruction.

Mode arrière. Pour garantir que la fonction arrière s'exécute de manière fluide et générale, nous ajoutons le glossaire suivant au prompt système :

Glossaire pour le mode arrière de la fonction LLMCall

Glossaire des balises qui vous seront envoyées :- - <LM_SYSTEM_PROMPT> : Le prompt système pour le modèle de langage.- - <LM_INPUT> : L'entrée du modèle de langage.- - <LM_OUTPUT> : La sortie du modèle de langage.- - <OBJECTIVE_FUNCTION> : L'objectif de la tâche d'optimisation.- - <VARIABLE> : Spécifie l'étendue de la variable.- - <ROLE> : La description du rôle de la variable.

À l'aide de ces balises, le LLM est informé de l'objectif, du rôle et de la valeur de la variable à laquelle donner un retour d'information, ainsi que de la conversation complète en mode avant.

Ce glossaire est fourni dans le prompt système au LLM moteur de rétropropagation :

Prompt système pour le mode arrière de la fonction LLMcall

Vous faites partie d'un système d'optimisation qui améliore un texte donné (c'est-à-dire la variable). Vous êtes le moteur de gradient (retour d'information). Votre seule responsabilité est de fournir un retour d'information intelligent et créatif ainsi qu'une critique constructive aux variables, étant donné un objectif spécifié dans les balises <OBJECTIVE_FUNCTION </OBJECTIVE_FUNCTION>. Les variables peuvent être des solutions à des problèmes, des prompts pour des modèles de langage, du code, ou toute autre variable à base de texte. Faites attention à la description du rôle de la variable, et au contexte dans lequel elle est utilisée. Vous devez supposer que la variable sera utilisée dans un contexte similaire à l'avenir. Fournissez uniquement des stratégies, des explications et des méthodes pour modifier la variable. NE proposez PAS une nouvelle version de la variable, ce sera le travail de l'optimiseur. Votre seul travail est d'envoyer un retour d'information et des critiques (calculer les 'gradients'). Par exemple, le retour d'information peut prendre la forme de 'Étant donné que les modèles de langage ont le mode de défaillance X...', 'Ajouter X peut corriger cette erreur parce que...', 'Retirer X peut améliorer la fonction objectif parce que...', 'Changer X en Y corrigerait l'erreur...', qui touche à l'objectif en aval.

Si une variable fonctionne déjà bien (par exemple, la fonction objectif est parfaite, une évaluation montre que la réponse est exacte), vous ne devez pas donner de retour d'information.

[GLOSSAIRE]

La majeure partie de cette configuration vise à garantir que l'utilisateur n'ait pas à modifier le calcul du gradient. Toutes nos expériences dans l'ensemble diversifié d'applications sont réalisées avec le même mode arrière.

Par exemple, un prompt d'exemple pour le calcul du gradient ressemble à ce qui suit :

Un exemple de prompt en mode arrière pour la fonction LLMcall

Vous allez donner un retour d'information à une variable ayant le rôle suivant : &lt;ROLE&gt; prompt système pour un modèle de langage &lt;/role&gt;. Voici une conversation avec un modèle de langage (LM) :

&lt;LM_SYSTEM_PROMPT&gt; Vous allez répondre à une question de raisonnement. Réfléchissez étape par étape. Concluez toujours la dernière ligne de votre réponse au format suivant : 'Answer: §\S VALUE' où VALUE est une valeur numérique.

</LM_SYSTEM_PROMPT>

&lt;LM_INPUT&gt; J'ai un poulet, une grenouille, une souris, un chat, deux cochons et deux lapins. Combien d'animaux ai-je ? </LM_INPUT>

&lt;LM_OUTPUT&gt; Pour trouver le nombre total d'animaux, nous additionnons simplement le nombre de chaque type d'animal : 1 poulet + 1 grenouille + 1 souris + 1 chat + 2 cochons + 2 lapins = 8 animaux.

Réponse : 8</LM_OUTPUT>8< /LM\_ OUTPUT>

Cette conversation fait partie d’un système plus vaste. Le &lt;LM_OUTPUT&gt; a ensuite été utilisé comme réponse du modèle de langage. &lt;OBJECTIVE_FUNCTION&gt; Votre objectif est de donner un retour à la variable pour répondre au retour suivant sur le LM_OUTPUT : Pour améliorer le temps d’exécution de la fonction basée sur des chaînes de caractères qui vérifie si la prédiction est correcte, tenez compte du retour suivant :

1. \\Simplifier la réponse\\ : Par exemple, au lieu de « Pour trouver le nombre total d’animaux, nous additionnons simplement (...) + 2 cochons + 2 lapins = 8 animaux. Réponse : 8 », une réponse plus concise comme « Total des animaux : 8 » serait plus efficace.

En mettant en œuvre ces stratégies, la réponse du modèle de langage peut être optimisée afin d’améliorer le temps d’exécution de la fonction basée sur des chaînes de caractères qui vérifie si la prédiction est correcte. </OBJECTIVE_FUNCTION>

Nous souhaitons donner un retour sur le prompt système d’un modèle de langage. Plus précisément, donnez un retour sur l’extrait de texte suivant :

&lt;VARIABLE&gt; Vous répondrez à une question de raisonnement. Réfléchissez étape par étape. (...) format suivant : 'Réponse : §\S VALEUR' où VALEUR est une valeur numérique. &lt;/variable&gt;

Compte tenu de l’historique ci-dessus, décrivez comment le prompt système d’un modèle de langage pourrait être amélioré afin d’améliorer la &lt;OBJECTIVE_FUNCTION&gt;. Soyez très créatif, critique et intelligent.

Opération d’addition En optimisation numérique, nous avons ce qui suit :

z=x+yw=t+z∂w∂x=∂w∂z∂z∂x=∂w∂z(19)\begin{array}{c}{z = x + y}\\ {w = t + z}\\ {\frac{\partial w}{\partial x} = \frac{\partial w}{\partial z}\frac{\partial z}{\partial x} = \frac{\partial w}{\partial z}} \end{array} \quad (19)

... ... ... ...

Dans les dérivées numériques, en raison de la linéarité de l’addition, nous avons :

∂∑iNLi∂x=∑iN∂Li∂x.(22)\frac{\partial\sum_{i}^{N}L_{i}}{\partial x} = \sum_{i}^{N}\frac{\partial L_{i}}{\partial x}. \quad (22)

En particulier, la fonction rétropropagée pour l’opération d’addition transmet les gradients sur la sortie de l’opération d’addition à ses entrées.

tg.sum(L1,…,LN)="{L1}\n{L2}\n…{LN}"(23)\mathrm{tg.}\mathrm{sum}(L_{1},\ldots ,L_{N}) = " \{L_{1}\} \backslash n\{L_{2}\} \backslash n\ldots \{L_{N}\} " \quad (23)

De même, dans TEXTGRAD, nous avons l’opération tg.sum, qui permet aux gradients (retours) sur la variable de sortie de passer aux variables d’entrée.

∂tg.sum(L1,…,LN)∂x=tg.sum(∂L1∂x,…,∂LN∂x)="{∂L1∂x}\n…{∂LN∂x}"(24)\frac{\partial\mathrm{tg.}\mathrm{sum}(L_{1},\ldots,L_{N})}{\partial x} = \mathrm{tg.}\mathrm{sum}(\frac{\partial L_{1}}{\partial x},\ldots ,\frac{\partial L_{N}}{\partial x}) = "{\Bigl \{}{\frac{\partial L_{1}}{\partial x}}{\Bigr \} \backslash n\ldots \Bigl \{}{\frac{\partial L_{N}}{\partial x}}{\Bigr \} "} \quad (24)

où nous utilisons ++ pour indiquer la concaténation.

Cas d’usage : Un cas d’usage canonique de l’opération d’addition est le cas de l’optimisation par lots. En particulier, nous mettons en œuvre la descente de gradient par mini-lots lors de l’optimisation de prompts (section 3.3).