Aller au contenu principal
Wujiang Xu et al.

Un agent oublie tout entre deux sessions. A-Mem garde ses souvenirs en notes liées qui se réécrivent. Papier NeurIPS 2025, gratuit en ligne.

A-Mem: Agentic Memory for LLM Agents

A-Mem : Mémoire agentique pour les agents LLM

Wujiang Xu1\mathbf{X}\mathbf{u}^{1} , Zujie Liang 2^{2} , Kai Mei 1^{1} , Hang Gao 1^{1} , Juntao Tan 1^{1} , Yongfeng Zhang 1,3^{1,3} 1^{1} Université Rutgers 2^{2} Chercheur indépendant 3^{3} Fondation AIOS wujiang.xu@rutgers.edu

Résumé

Bien que les agents fondés sur de grands modèles de langage (LLM) puissent utiliser efficacement des outils externes pour des tâches complexes du monde réel, ils ont besoin de systèmes de mémoire pour tirer parti des expériences passées. Les systèmes de mémoire actuels permettent un stockage et une récupération de base, mais manquent d'une organisation sophistiquée de la mémoire, malgré de récentes tentatives d'intégration de bases de données de graphes. De plus, les opérations et structures fixes de ces systèmes limitent leur adaptabilité à travers des tâches diverses. Pour remédier à cette limitation, cet article propose un nouveau système de mémoire agentique pour les agents LLM capable d'organiser dynamiquement les souvenirs de manière agentique. En suivant les principes de base de la méthode Zettelkasten, nous avons conçu notre système de mémoire pour créer des réseaux de connaissances interconnectés grâce à un indexage et un liage dynamiques. Lorsqu'un nouveau souvenir est ajouté, nous générons une note complète contenant plusieurs attributs structurés, notamment des descriptions contextuelles, des mots-clés et des étiquettes. Le système analyse ensuite les souvenirs historiques pour identifier les connexions pertinentes, établissant des liens là où des similarités significatives existent. De plus, ce processus permet l'évolution de la mémoire – à mesure que de nouveaux souvenirs sont intégrés, ils peuvent déclencher des mises à jour des représentations contextuelles et des attributs des souvenirs historiques existants, permettant au réseau de mémoire d'affiner continuellement sa compréhension. Notre approche combine les principes d'organisation structurée du Zettelkasten avec la flexibilité de la prise de décision pilotée par l'agent, permettant une gestion de la mémoire plus adaptative et sensible au contexte. Des expériences empiriques sur six modèles de base montrent une amélioration supérieure par rapport aux références SOTA existantes.

⊚\circledcirc Code pour l'évaluation comparative : https://github.com/WujiangXu/AgenticMemory ⊚\circledcirc Code pour la mémoire agentique prête pour la production : https://github.com/WujiangXu/A- mem- sys

1 Introduction

Les agents fondés sur de grands modèles de langage (LLM) ont démontré des capacités remarquables dans diverses tâches, les avancées récentes leur permettant d'interagir avec des environnements, d'exécuter des tâches et de prendre des décisions de manière autonome [23, 33, 7]. Ils intègrent les LLM avec des outils externes et des flux de travail délicats pour améliorer les capacités de raisonnement et de planification. Bien que l'agent LLM ait de fortes performances de raisonnement, il a encore besoin d'un système de mémoire pour fournir une capacité d'interaction à long terme avec l'environnement externe [35].

Les systèmes de mémoire existants [25, 39, 28, 21] pour les agents LLM offrent une fonctionnalité de base de stockage de la mémoire. Ces systèmes exigent que les développeurs d'agents prédéfinissent les structures de stockage de la mémoire, spécifient les points de stockage dans le flux de travail et établissent le moment de la récupération. Par ailleurs, afin d'améliorer l'organisation structurée de la mémoire, Mem0 [8], suivant les principes du RAG [9, 18, 30], intègre des bases de données de graphes pour les processus de stockage et de récupération. Bien que les bases de données de graphes offrent une organisation structurée pour les systèmes de mémoire, leur dépendance à des schémas et relations prédéfinis limite fondamentalement leur adaptabilité. Cette limitation se manifeste clairement dans des scénarios pratiques – lorsqu'un agent apprend une nouvelle solution mathématique, les systèmes actuels ne peuvent catégoriser et lier cette information que dans leur cadre prédéfini,

Figure 1 : Les systèmes de mémoire traditionnels exigent des schémas d'accès à la mémoire prédéfinis, spécifiés dans le flux de travail, ce qui limite leur adaptabilité à des scénarios divers. À l'inverse, notre A-MEM renforce la flexibilité des agents LLM en permettant des opérations de mémoire dynamiques.
Figure 1 : Les systèmes de mémoire traditionnels exigent des schémas d'accès à la mémoire prédéfinis, spécifiés dans le flux de travail, ce qui limite leur adaptabilité à des scénarios divers. À l'inverse, notre A-MEM renforce la flexibilité des agents LLM en permettant des opérations de mémoire dynamiques.

incapables de forger des connexions innovantes ou de développer de nouveaux schémas d'organisation à mesure que les connaissances évoluent. De telles structures rigides, couplées à des flux de travail d'agents fixes, restreignent sévèrement la capacité de ces systèmes à généraliser dans de nouveaux environnements et à maintenir leur efficacité dans des interactions à long terme. Le défi devient de plus en plus critique à mesure que les agents LLM s'attaquent à des tâches plus complexes et ouvertes, où une organisation flexible des connaissances et une adaptation continue sont essentielles. Par conséquent, la conception d'un système de mémoire flexible et universel qui soutient les interactions à long terme des agents LLM reste un défi crucial.

Dans cet article, nous introduisons un nouveau système de mémoire agentique, nommé A- MEM, pour les agents LLM, qui permet une structuration dynamique de la mémoire sans dépendre d'opérations de mémoire statiques et prédéterminées. Notre approche s'inspire de la méthode Zettelkasten [15, 1], un système sophistiqué de gestion des connaissances qui crée des réseaux d'information interconnectés grâce à des notes atomiques et à des mécanismes de liage flexibles. Notre système introduit une architecture de mémoire agentique qui permet une gestion autonome et flexible de la mémoire pour les agents LLM. Pour chaque nouveau souvenir, nous construisons des notes complètes, qui intègrent plusieurs représentations : des attributs textuels structurés incluant plusieurs attributs et des vecteurs d'enchâssement pour la correspondance par similarité. Ensuite, A- MEM analyse le dépôt de souvenirs historiques pour établir des connexions significatives fondées sur les similarités sémantiques et les attributs partagés. Ce processus d'intégration crée non seulement de nouveaux liens, mais permet aussi une évolution dynamique : lorsque de nouveaux souvenirs sont incorporés, ils peuvent déclencher des mises à jour des représentations contextuelles des souvenirs existants, permettant à l'ensemble des souvenirs d'affiner et d'approfondir continuellement sa compréhension au fil du temps. Les contributions sont résumées comme suit :

- Nous présentons A-MEM, un système de mémoire agentique pour les agents LLM qui permet la génération autonome de descriptions contextuelles, l'établissement dynamique de connexions entre souvenirs et l'évolution intelligente des souvenirs existants à partir de nouvelles expériences. Ce système dote les agents LLM de capacités d'interaction à long terme sans exiger d'opérations de mémoire prédéterminées.

- Nous concevons un mécanisme de mise à jour de la mémoire agentique dans lequel les nouveaux souvenirs déclenchent automatiquement deux opérations clés : la génération de liens et l'évolution de la mémoire. La génération de liens établit automatiquement des connexions entre les souvenirs en identifiant les attributs partagés et les descriptions contextuelles similaires. L'évolution de la mémoire permet aux souvenirs existants de s'adapter dynamiquement à mesure que de nouvelles expériences sont analysées, conduisant à l'émergence de schémas et d'attributs d'ordre supérieur.

- Nous menons des évaluations complètes de notre système à l'aide d'un jeu de données conversationnel à long terme, en comparant les performances sur six modèles de base à l'aide de six métriques d'évaluation distinctes, démontrant des améliorations significatives. De plus, nous fournissons des visualisations T-SNE pour illustrer l'organisation structurée de notre système de mémoire agentique.

2 Travaux connexes

2.1 Mémoire pour les agents LLM

Les travaux antérieurs sur les systèmes de mémoire des agents LLM ont exploré divers mécanismes de gestion et d'utilisation de la mémoire [23, 21, 8, 39]. Certaines approches réalisent un stockage complet des interactions, qui maintient des enregistrements historiques complets grâce à des modèles de récupération dense [39] ou à des structures de mémoire lecture-écriture [24]. Par ailleurs, MemGPT [25] exploite des architectures de type cache pour prioriser les informations récentes. De même, SCM [32] propose un cadre de mémoire auto-contrôlée qui améliore la capacité des LLM à maintenir une mémoire à long terme grâce à un flux de mémoire et un mécanisme de contrôleur. Cependant, ces approches présentent des limitations importantes dans le traitement de diverses tâches du monde réel. Bien qu'elles puissent fournir une fonctionnalité de mémoire de base, leurs opérations sont généralement contraintes par des structures prédéfinies et des flux de travail fixes. Ces contraintes découlent de leur dépendance à des schémas opérationnels

Figure 2 : Notre architecture A-MEM comprend trois parties intégrantes dans le stockage de la mémoire. Lors de la construction des notes, le système traite les nouvelles mémoires d'interaction et les stocke sous forme de notes dotées de multiples attributs. Le processus de génération de liens récupère d'abord les mémoires historiques les plus pertinentes, puis emploie un LLM pour déterminer si des connexions doivent être établies entre elles. Le concept de « boîte » décrit le fait que des mémoires liées deviennent interconnectées par leurs descriptions contextuelles similaires, à l'image de la méthode Zettelkasten. Cependant, notre approche permet à des mémoires individuelles d'exister simultanément au sein de plusieurs boîtes différentes. Lors de l'étape de récupération de la mémoire, nous extrayons les plongements de requête à l'aide d'un modèle d'encodage de texte et recherchons dans la base de données de mémoire les correspondances pertinentes. Lorsqu'une mémoire liée est récupérée, les mémoires similaires qui sont liées au sein de la même boîte sont également accédées automatiquement.
Figure 2 : Notre architecture A-MEM comprend trois parties intégrantes dans le stockage de la mémoire. Lors de la construction des notes, le système traite les nouvelles mémoires d'interaction et les stocke sous forme de notes dotées de multiples attributs. Le processus de génération de liens récupère d'abord les mémoires historiques les plus pertinentes, puis emploie un LLM pour déterminer si des connexions doivent être établies entre elles. Le concept de « boîte » décrit le fait que des mémoires liées deviennent interconnectées par leurs descriptions contextuelles similaires, à l'image de la méthode Zettelkasten. Cependant, notre approche permet à des mémoires individuelles d'exister simultanément au sein de plusieurs boîtes différentes. Lors de l'étape de récupération de la mémoire, nous extrayons les plongements de requête à l'aide d'un modèle d'encodage de texte et recherchons dans la base de données de mémoire les correspondances pertinentes. Lorsqu'une mémoire liée est récupérée, les mémoires similaires qui sont liées au sein de la même boîte sont également accédées automatiquement.

rigides, en particulier dans les processus d'écriture et de récupération de la mémoire. Une telle inflexibilité conduit à une faible généralisation dans de nouveaux environnements et à une efficacité limitée dans les interactions à long terme. Par conséquent, la conception d'un système de mémoire flexible et universel qui soutient les interactions à long terme des agents reste un défi crucial.

2.2 Génération augmentée par récupération

La génération augmentée par récupération (RAG) est apparue comme une approche puissante pour améliorer les LLM en incorporant des sources de connaissances externes [18, 6, 10]. Le processus RAG standard [37, 34] consiste à indexer des documents en segments, à récupérer les segments pertinents en fonction de la similarité sémantique et à augmenter l'invite du LLM avec ce contexte récupéré pour la génération. Les systèmes RAG avancés [20, 12] ont évolué pour inclure des optimisations sophistiquées de pré-récupération et de post-récupération. S'appuyant sur ces fondations, des recherches récentes ont introduit des systèmes RAG agentiques qui démontrent des comportements plus autonomes et adaptatifs dans le processus de récupération. Ces systèmes peuvent déterminer dynamiquement quand et quoi récupérer [4, 14], générer des réponses hypothétiques pour guider la récupération et affiner itérativement leurs stratégies de recherche en fonction des résultats intermédiaires [31, 29].

Cependant, bien que les approches RAG agentiques démontrent une agentivité dans la phase de récupération en décidant de manière autonome quand et quoi récupérer [4, 14, 38], notre système de mémoire agentique manifeste une agentivité à un niveau plus fondamental grâce à l'évolution autonome de sa structure de mémoire. Inspiré par la méthode Zettelkasten, notre système permet aux souvenirs de générer activement leurs propres descriptions contextuelles, de former des connexions significatives avec des souvenirs apparentés et de faire évoluer à la fois leur contenu et leurs relations à mesure que de nouvelles expériences émergent. Cette distinction fondamentale d'agentivité entre la récupération d'une part et le stockage et l'évolution d'autre part distingue notre approche des systèmes RAG agentiques, qui maintiennent des bases de connaissances statiques malgré leurs mécanismes de récupération sophistiqués.

3 Méthodologie

Notre système de mémoire agentique proposé s'inspire de la méthode Zettelkasten, mettant en œuvre un système de mémoire dynamique et auto-évolutif qui permet aux agents LLM de maintenir une mémoire à long terme sans opérations prédéterminées. La conception du système met l'accent sur la prise de notes atomique, les mécanismes de liage flexibles et l'évolution continue des structures de connaissances.

3.1 Construction des notes

S'appuyant sur les principes de prise de notes atomique et d'organisation flexible de la méthode Zettelkasten, nous introduisons une approche pilotée par LLM pour la construction des notes de mémoire. Lorsqu'un agent interagit avec son environnement, nous construisons des notes de mémoire structurées qui capturent à la fois les informations explicites et la compréhension contextuelle générée par le LLM. Chaque note de mémoire mim_{i} de notre collection M={m1,m2,…,mN}\mathcal{M} = \{m_{1},m_{2},\dots,m_{N}\} est représentée comme :

mi={ci,ti,Ki,Gi,Xi,ei,Li}(1)m_{i} = \{c_{i},t_{i},K_{i},G_{i},X_{i},e_{i},L_{i}\} \quad (1)

où cic_{i} représente le contenu d'interaction original, tit_{i} est l'horodatage de l'interaction, KiK_{i} désigne les mots-clés générés par le LLM qui capturent les concepts clés, GiG_{i} contient les étiquettes générées par le LLM pour la catégorisation, XiX_{i} représente la description contextuelle générée par le LLM qui fournit une riche compréhension sémantique, et LiL_{i} maintient l'ensemble des souvenirs liés qui partagent des relations sémantiques. Pour enrichir chaque note de mémoire avec un contexte significatif au-delà de son contenu de base et de son horodatage, nous exploitons un LLM pour analyser l'interaction et générer ces composantes sémantiques. Le processus de construction de la note consiste à solliciter le LLM avec des modèles soigneusement conçus Ps1P_{s1} :

Ki,Gi,Xi←LLM(ci∥ti∥Ps1)(2)K_{i},G_{i},X_{i}\leftarrow \mathrm{LLM}(c_{i}\left\| t_{i}\right\| P_{s1}) \quad (2)

Suivant le principe d'atomicité de Zettelkasten, chaque note capture une unité de connaissance unique et autonome. Pour permettre une récupération et une liaison efficaces, nous calculons une représentation vectorielle dense via un encodeur de texte [27] qui englobe toutes les composantes textuelles de la note :

ei=fenc[ concat(ci,Ki,Gi,Xi)](3)e_{i} = f_{\mathrm{enc}}[\mathrm{~concat}(c_{i},K_{i},G_{i},X_{i})] \quad (3)

En utilisant des LLM pour générer des composantes enrichies, nous permettons l'extraction autonome de connaissances implicites à partir d'interactions brutes. La structure de note à multiples facettes (Ki,Gi,Xi)(K_{i},G_{i},X_{i}) crée des représentations riches qui capturent différents aspects du souvenir, facilitant une organisation et une récupération nuancées. De plus, la combinaison de composantes sémantiques générées par le LLM avec des représentations vectorielles denses fournit à la fois le contexte et une correspondance de similarité computationnellement efficace.

3.2 Génération de liens

Notre système met en œuvre un mécanisme autonome de génération de liens qui permet aux nouvelles notes de mémoire de former des connexions significatives sans règles prédéfinies. Lorsque la note de mémoire construite mnm_{n} est ajoutée au système, nous exploitons d'abord son plongement sémantique pour une récupération basée sur la similarité. Pour chaque note de mémoire existante mj∈Mm_{j}\in \mathcal{M} , nous calculons un score de similarité :

sn,j=en⋅ej∣en∣∣ej∣(4)s_{n,j} = \frac{e_{n}\cdot e_{j}}{\left|e_{n}\right|\left|e_{j}\right|} \quad (4)

Le système identifie ensuite les kk souvenirs les plus pertinents :

Mnearn={mj∣rank(sn,j)≤k,mj∈M}(5)\mathcal{M}{\mathrm{near}}^{n} = \{m{j}\mid \mathrm{rank}(s_{n,j})\leq k,m_{j}\in \mathcal{M}\} \quad (5)

Sur la base de ces souvenirs candidats les plus proches, nous sollicitons le LLM pour analyser les connexions potentielles en fonction de leurs attributs communs potentiels. Formellement, l'ensemble de liens du souvenir mnm_{n} se met à jour comme suit :

Li←LLM(mn∥Mnearn∥Ps2)(6)L_{i}\leftarrow \mathrm{LLM}(m_{n}\left\| \mathcal{M}{\mathrm{near}}^{n}\right\| P{s2}) \quad (6)

Chaque lien généré lil_{i} est structuré comme suit : Li={mi,…,mk}L_{i} = \{m_{i},\dots,m_{k}\}. En utilisant la récupération basée sur les embeddings comme filtre initial, nous permettons une mise à l'échelle efficace tout en maintenant la pertinence sémantique. A-MEM peut identifier rapidement des connexions potentielles même dans de grandes collections de mémoires sans comparaison exhaustive. Plus important encore, l'analyse pilotée par LLM permet une compréhension nuancée des relations qui va au-delà des simples métriques de similarité. Le modèle de langage peut identifier des motifs subtils, des relations causales et des connexions conceptuelles qui pourraient ne pas être apparents à partir de la seule similarité d'embeddings. Nous mettons en œuvre le principe Zettelkasten de liaison flexible tout en exploitant les modèles de langage modernes. Le réseau résultant émerge organiquement du contenu et du contexte de la mémoire, permettant une organisation naturelle des connaissances.

3.3 Évolution de la mémoire

Après avoir créé des liens pour la nouvelle mémoire, A-MEM fait évoluer les mémoires récupérées en fonction de leurs informations textuelles et de leurs relations avec la nouvelle mémoire. Pour chaque mémoire mjm_{j} dans l'ensemble des plus proches voisins Mnearn\mathcal{M}_{\mathrm{near}}^{n}, le système détermine s'il faut mettre à jour son contexte, ses mots-clés et ses tags. Ce processus d'évolution peut être exprimé formellement comme suit :

mj∗←LLM(mn∥Mnearn∖mj∥mj∥Ps3)(7)m_{j}^{*}\leftarrow \mathrm{LLM}\big(m_{n}\parallel \mathcal{M}{\mathrm{near}}^{n}\setminus m{j}\parallel m_{j}\parallel P_{s3}\big) \quad (7)

La mémoire évoluée mj∗m_{j}^{*} remplace ensuite la mémoire originale mjm_{j} dans l'ensemble de mémoires M\mathcal{M}. Cette approche évolutive permet des mises à jour continues et de nouvelles connexions, imitant les processus d'apprentissage humain. À mesure que le système traite davantage de mémoires au fil du temps, il développe des structures de connaissances de plus en plus sophistiquées, découvrant des motifs et des concepts d'ordre supérieur à travers de multiples mémoires. Cela crée une fondation pour l'apprentissage autonome de la mémoire, où l'organisation des connaissances devient progressivement plus riche grâce à l'interaction continue entre les nouvelles expériences et les mémoires existantes.

3.4 Récupération des mémoires relatives

À chaque interaction, notre A-MEM effectue une récupération de mémoire sensible au contexte afin de fournir à l'agent des informations historiques pertinentes. Étant donné un texte de requête qq issu de l'interaction en cours, nous calculons d'abord sa représentation vectorielle dense en utilisant le même encodeur de texte que celui utilisé pour les notes de mémoire :

eq=fenc(q)(8)e_{q} = f_{\mathrm{enc}}(q) \quad (8)

Le système calcule ensuite les scores de similarité entre l'embedding de la requête et toutes les notes de mémoire existantes dans M\mathcal{M} en utilisant la similarité cosinus :

sq,i=eq⋅ei∣eq∣∣ei∣,whereei∈mi,∀mi∈M(9)s_{q,i} = \frac{e_{q}\cdot e_{i}}{\left|e_{q}\right|\left|e_{i}\right|},\mathrm{where} e_{i}\in m_{i},\forall m_{i}\in \mathcal{M} \quad (9)

Nous récupérons ensuite les k mémoires les plus pertinentes dans le stockage historique de mémoires afin de construire un prompt contextuellement approprié.

Mretrieved={mi∣rank(sq,i)≤k,mi∈M}(10)\mathcal{M}{\mathrm{retrieved}} = \{m{i}|\mathrm{rank}(s_{q,i})\leq k,m_{i}\in \mathcal{M}\} \quad (10)

Ces mémoires récupérées fournissent un contexte historique pertinent qui aide l'agent à mieux comprendre et à répondre à l'interaction en cours. Le contexte récupéré enrichit le processus de raisonnement de l'agent en reliant l'interaction en cours aux expériences passées associées stockées dans le système de mémoire.

4 Expérience

4.1 Jeu de données et évaluation

Pour évaluer l'efficacité de la recommandation sensible aux instructions dans les conversations à long terme, nous utilisons le jeu de données LoCoMo [22], qui contient des dialogues significativement plus longs que les jeux de données conversationnels existants [36, 13]. Alors que les jeux de données précédents contiennent des dialogues d'environ 1K tokens sur 4 à 5 sessions, LoCoMo présente des conversations beaucoup plus longues, d'une moyenne de 9K tokens s'étendant sur jusqu'à 35 sessions, ce qui le rend particulièrement adapté pour évaluer la capacité des modèles à gérer des dépendances à longue portée et à maintenir la cohérence sur des conversations étendues. Le jeu de données LoCoMo comprend divers types de questions conçus pour évaluer de manière exhaustive différents aspects de la compréhension du modèle : (1) des questions à saut unique répondables à partir d'une seule session ; (2) des questions à sauts multiples nécessitant une synthèse d'informations entre les sessions ; (3) des questions de raisonnement temporel testant la compréhension des informations liées au temps ; (4) des questions de connaissances ouvertes nécessitant l'intégration du contexte de la conversation avec des connaissances externes ; et (5) des questions adversariales évaluant la capacité des modèles à identifier des requêtes sans réponse. Au total, LoCoMo contient 7 512 paires question-réponse réparties dans ces catégories. En outre, nous utilisons un nouveau jeu de données, nommé DialSim [16], pour évaluer l'efficacité de notre système de mémoire. Il s'agit d'un jeu de données de question-réponse dérivé de dialogues multipartites à long terme. Le jeu de données est dérivé de séries télévisées populaires (Friends, The Big Bang Theory et The Office), couvrant 1 300 sessions sur cinq ans, contenant environ 350 000 tokens, et incluant plus de 1 000 questions par session issues de questions raffinées de sites de quiz pour fans et de questions complexes générées à partir de graphes de connaissances temporels.

Pour les lignes de base de comparaison, nous comparons à LoCoMo [22], ReadAgent [17], MemoryBank [39] et MemGPT [25]. L'introduction détaillée des lignes de base se trouve en Annexe A.1. Pour l'évaluation, nous employons deux métriques principales : le score F1 pour évaluer la précision des réponses en équilibrant précision et rappel, et BLEU-1 [26] pour évaluer la qualité des réponses générées en mesurant le chevauchement de mots

ModèleMéthodeCatégorieMoyenne
Multi Hop F1BLEUTemporal F1Open Domain F1Single Hop F1BLEUAdversial F1BLEURanking F1BLEULongueur de token
GPTLoCoMo25,0219,7518,4114,7712,0411,1640,3629,0569,2368,752,42,4
READAGENT9,156,4812,608,875,315,129,677,669,819,024,24,2
MEMORYBANK5,004,779,686,995,565,946,615,167,366,484,84,8
MEMGPT26,6517,7225,5219,449,157,4441,0434,3443,2942,732,42,4
A-MEM27,0220,0945,8536,6712,1412,0044,6537,0650,0349,471,21,2
GPTLoCoMo28,0018,479,095,7816,4714,8061,5654,1952,6151,132,02,0
READAGENT14,619,954,163,198,848,3712,4610,296,816,134,04,0
MEMORYBANK6,494,692,472,436,435,308,287,104,423,675,05,0
MEMGPT30,3622,8317,2913,1812,2411,8760,1653,3534,9634,252,42,4
A-MEM32,8623,7639,4131,2317,1015,8448,4342,9736,3535,531,61,6
GPTLoCoMo9,056,554,254,049,918,5011,158,6740,3840,233,43,4
READAGENT6,614,932,552,515,3112,2410,137,545,4227,324,64,6
MEMORYBANK11,148,254,462,878,056,2113,4211,0136,7634,002,62,6
MEMGPT10,447,614,213,8913,4211,649,567,3431,5128,903,43,4
A-MEM18,2311,9424,3219,7416,4814,3123,6319,2346,0043,261,01,0
GPTLoCoMo4,614,293,112,714,555,977,035,6916,9514,813,23,2
READAGENT2,471,783,013,015,575,223,252,5115,7814,014,24,2
MEMORYBANK3,603,391,971,676,636,584,113,3213,0710,304,24,2
MEMGPT5,074,312,942,957,047,107,265,5214,4712,392,42,4
A-MEM12,579,0127,5925,077,127,2817,2313,1227,9125,151,01,0
LLaMA 2LoCoMo11,259,187,386,8211,9010,3812,8610,5051,8948,273,43,4
READAGENT5,965,121,932,3012,4611,177,756,0344,6440,154,64,6
MEMORYBANK13,1810,037,616,2715,7812,9417,3014,0352,6147,532,02,0
MEMGPT9,196,964,024,7911,348,2410,167,6849,7545,114,04,0
A-MEM19,0611,7117,8010,2817,5514,6728,5124,1358,8154,281,01,0
LLaMA 2LoCoMo6,885,774,374,4010,659,298,376,9330,2528,462,82,8
READAGENT2,471,783,013,015,575,223,252,5115,7814,014,24,2
MEMORYBANK6,194,473,493,134,074,577,616,0318,6517,053,23.2
MEMGPT5,323,992,682,725,645,544,323,5121,4519,373,83,8
A-MEM17,4411,7426,3819,5012,5311,8328,1423,8742,0440,601,01,0
Tableau 1 : Résultats expérimentaux sur le jeu de données LoCoMo pour les tâches de question-réponse réparties en cinq catégories (Multi Hop, Temporel, Domaine ouvert, Single Hop et Adversarial) selon différentes méthodes. Les résultats sont rapportés en scores F1 et BLEU-1 (%)(\%). La meilleure performance est indiquée en gras, et notre méthode proposée A-MEM (surlignée en gris) démontre des performances compétitives sur six modèles de langage de base.

avec les réponses de référence. Nous rapportons également la longueur moyenne en tokens pour répondre à une question. Outre la présentation des résultats expérimentaux avec quatre métriques supplémentaires (ROUGE-L, ROUGE-2, METEOR et Similarité SBERT), nous présentons également les résultats expérimentaux obtenus avec différents modèles de base, notamment DeepSeek-R1-32B [11], Claude 3.0 Haiku [2] et Claude 3.5 Haiku [3], en Annexe A.3.

4.2 Détails de mise en œuvre

Pour toutes les lignes de base et notre méthode proposée, nous maintenons la cohérence en employant des prompts système identiques, comme détaillé en Annexe B. Le déploiement des modèles Qwen-1.5B/3B et Llama 3.2 1B/3B est accompli via une instanciation locale à l'aide d'Ollama 1, avec LiteLLM 2 gérant la génération de sortie structurée. Pour les modèles GPT, nous utilisons l'API officielle de sortie structurée. Dans notre processus de récupération de mémoire, nous employons principalement k=10k = 10 pour la sélection des top-kk mémoires afin de maintenir l'efficacité computationnelle, tout en ajustant ce paramètre pour des catégories spécifiques afin d'optimiser les performances. Les configurations détaillées de kk se trouvent en Annexe A.5. Pour l'embedding de texte, nous utilisons le modèle all-miniml-16-v2 dans toutes les expériences.

4.3 Résultats empiriques

Analyse des performances. Dans notre évaluation empirique, nous avons comparé A-MEM avec quatre lignes de base compétitives, notamment LoCoMo [22], ReadAgent [17], MemoryBank [39] et MemGPT [25], sur le jeu de données LoCoMo. Pour les modèles de base non-GPT, notre A-MEM surpasse systématiquement toutes les lignes de base dans les différentes catégories, démontrant l'efficacité de notre approche de mémoire agentique. Pour les modèles basés sur GPT, bien que LoCoMo et MemGPT affichent de bonnes performances dans certaines catégories comme Open Domain et les tâches adversariales en raison de leurs solides connaissances pré-entraînées pour la récupération de faits simples, notre A-MEM démontre des performances supérieures dans les tâches Multi-Hop, atteignant au moins deux fois de meilleures performances dans celles qui nécessitent des chaînes de raisonnement complexes. Outre les expériences sur le jeu de données LoCoMo, nous comparons également notre méthode sur le jeu de données DialSim avec LoCoMo et MemGPT. A-MEM surpasse systématiquement toutes les lignes de base sur toutes les métriques d'évaluation, atteignant un score F1

MéthodeF1BLEU-1ROUGE-LROUGE-2METEORSimilarité SBERT
LoCoMo2,553,132,750,901,6415,76
MemGPT1,181,070,960,420,958,54
A-MEM3,453,373,543,602,0519,51
Tableau 2 : Comparaison de différents mécanismes de mémoire selon plusieurs métriques d'évaluation sur DialSim [16]. Des scores plus élevés indiquent de meilleures performances, A-MEM obtenant des résultats supérieurs sur toutes les métriques.
MéthodeMulti HopTemporelCatégorieSingle HopAdversarial
F1BLEU-1F1BLEU-1F1BLEU-1F1BLEU-1F1BLEU-1
sans LG & ME9,657,0924,5519,487,776,7013,2810,3015,3218,02
sans ME21,3515,1331,2427,3110,1310,8539,1734,7044,1645,33
A-MEM27,0220,0945,8536,6712,1412,0044,6537,0650,0349,47
Tableau 3 : Une étude d'ablation a été menée afin d'évaluer notre méthode proposée par rapport au modèle de base GPT-4o-mini. La notation « sans » indique les expériences dans lesquelles des modules spécifiques ont été retirés. Les abréviations LG et ME désignent respectivement le module de génération de liens et le module d'évolution de la mémoire.

de 3,45 (une amélioration de 35%35\% par rapport à 2,55 pour LoCoMo et 192%192\% de plus que 1,18 pour MemGPT). L'efficacité d'A-MEM provient de sa nouvelle architecture de mémoire agentique qui permet une gestion dynamique et structurée de la mémoire. Contrairement aux approches traditionnelles qui utilisent des opérations de mémoire statiques, notre système crée des réseaux de mémoires interconnectés grâce à des notes atomiques avec de riches descriptions contextuelles, permettant un raisonnement multi-hop plus efficace. La capacité du système à établir dynamiquement des connexions entre les mémoires en fonction d'attributs partagés et à mettre continuellement à jour les descriptions de mémoire existantes avec de nouvelles informations contextuelles lui permet de mieux capturer et exploiter les relations entre différents éléments d'information.

Analyse du rapport coût-efficacité. A-MEM démontre une efficacité computationnelle et de coût significative parallèlement à de solides performances. Le système nécessite environ 1 200 tokens par opération de mémoire, réalisant une réduction de 85−93%85 - 93\% de l'utilisation de tokens par rapport aux méthodes de référence (LoCoMo et MemGPT avec 16 900 tokens) grâce à notre mécanisme de récupération sélective des top-k. Cette réduction substantielle du nombre de tokens se traduit directement par des coûts opérationnels plus faibles, chaque opération de mémoire coûtant moins de 0,0003\( lors de l'utilisation de services API commerciaux, rendant les déploiements à grande échelle économiquement viables. Les temps de traitement sont en moyenne de 5,4 secondes avec GPT-4o-mini et seulement de 1,1 seconde avec Llama 3.2 1B hébergé localement sur un seul GPU. Malgré la nécessité de multiples appels LLM lors du traitement de la mémoire, A-MEM maintient cette utilisation rentable des ressources tout en surpassant systématiquement les approches de référence sur tous les modèles de base testés, doublant notamment les performances sur les tâches de raisonnement multi-hop complexes. Cet équilibre entre faible coût computationnel et capacité de raisonnement supérieure met en évidence l'avantage pratique d'A-MEM pour un déploiement dans le monde réel.

4.4 Étude d'ablation

Pour évaluer l'efficacité des modules de génération de liens (Link Generation, LG) et d'évolution de la mémoire (Memory Evolution, ME), nous menons une étude d'ablation en supprimant systématiquement des composants clés de notre modèle. Lorsque les deux modules LG et ME sont supprimés, le système présente une dégradation substantielle des performances, en particulier dans les tâches de raisonnement multi-sauts (Multi Hop) et de domaine ouvert (Open Domain). Le système avec seulement LG actif (sans ME) affiche des niveaux de performance intermédiaires, conservant des résultats significativement meilleurs que la version dépourvue des deux modules, ce qui démontre l'importance fondamentale de la génération de liens dans l'établissement des connexions mémorielles. Notre modèle complet, A-MEM, atteint systématiquement les meilleures performances dans toutes les catégories d'évaluation, avec des résultats particulièrement solides dans les tâches de raisonnement complexe. Ces résultats révèlent que, si le module de génération de liens constitue une fondation critique pour l'organisation de la mémoire, le module d'évolution de la mémoire apporte des raffinements essentiels à la structure mémorielle. L'étude d'ablation valide nos choix de conception architecturale et met en évidence la nature complémentaire de ces deux modules dans la création d'un système de mémoire efficace.

4.5 Analyse des hyperparamètres

Nous avons mené des expériences approfondies pour analyser l'impact du paramètre de récupération mémorielle k, qui contrôle le nombre de mémoires pertinentes récupérées pour chaque interaction. Comme illustré à la Figure 3, nous avons évalué les performances pour différentes valeurs de k (10, 20, 30, 40, 50) sur cinq catégories de tâches en utilisant GPT-4o-mini comme modèle de base. Les résultats révèlent un schéma intéressant : bien que l'augmentation de k conduise généralement à de meilleures performances, cette amélioration atteint progressivement un plateau et diminue parfois légèrement pour des valeurs plus élevées. Cette tendance est particulièrement évidente dans les tâches Multi Hop et Open Domain.

Figure 3 : Impact du paramètre de récupération de mémoire k selon différentes catégories de tâches avec GPT-4o-mini comme modèle de base. Si des valeurs de k plus élevées améliorent généralement les performances en fournissant un contexte historique plus riche, les gains diminuent au-delà de certains seuils, ce qui suggère un compromis entre richesse du contexte et traitement efficace de l'information. Ce schéma est cohérent dans toutes les catégories d'évaluation, ce qui indique l'importance d'une récupération de contexte équilibrée pour des performances optimales.
Figure 3 : Impact du paramètre de récupération de mémoire k selon différentes catégories de tâches avec GPT-4o-mini comme modèle de base. Si des valeurs de k plus élevées améliorent généralement les performances en fournissant un contexte historique plus riche, les gains diminuent au-delà de certains seuils, ce qui suggère un compromis entre richesse du contexte et traitement efficace de l'information. Ce schéma est cohérent dans toutes les catégories d'évaluation, ce qui indique l'importance d'une récupération de contexte équilibrée pour des performances optimales.

Tableau 4 : Comparaison de l'utilisation de la mémoire et du temps de récupération entre différentes méthodes de mémoire et échelles. Les tâches.

Taille de la mémoireMéthodeUtilisation de la mémoire (Mo)Temps de récupération (μs)
1 000A-MEM1,460,31 ± 0,30
MemoryBank [39]1,460,24 ± 0,20
ReadAgent [17]1,4643,62 ± 8,47
10 000A-MEM14,650,38 ± 0,25
MemoryBank [39]14,650,26 ± 0,13
ReadAgent [17]14,65484,45 ± 93,86
100 000A-MEM146,481,40 ± 0,49
MemoryBank [39]146,480,78 ± 0,26
ReadAgent [17]146,486 682,22 ± 111,63
1 000 000A-MEM1464,843,70 ± 0,74
MemoryBank [39]1464,841,91 ± 0,31
ReadAgent [17]1464,84120 069,68 ± 1 673,39

Cette observation suggère un équilibre délicat dans la récupération mémorielle – bien que des valeurs de k plus grandes fournissent un contexte historique plus riche pour le raisonnement, elles peuvent également introduire du bruit et mettre à l'épreuve la capacité du modèle à traiter efficacement des séquences plus longues. Notre analyse indique que des valeurs modérées de k réalisent un équilibre optimal entre richesse du contexte et efficacité du traitement de l'information.

4.6 Analyse de mise à l'échelle

Pour évaluer les coûts de stockage avec l'accumulation de mémoire, nous avons examiné la relation entre la taille du stockage et le temps de récupération à travers notre système A-MEM et deux approches de référence : MemoryBank [39] et ReadAgent [17]. Nous avons évalué ces trois systèmes de mémoire avec un contenu mémoriel identique sur quatre points d'échelle, en multipliant le nombre d'entrées par un facteur de 10 à chaque étape (de 1 000 à 10 000, 100 000, et enfin 1 000 000 d'entrées). Les résultats expérimentaux révèlent des informations clés sur les propriétés de mise à l'échelle de notre système A-MEM : en termes de complexité spatiale, les trois systèmes présentent une mise à l'échelle linéaire identique de l'utilisation de la mémoire (O(N))(O(N)), comme attendu pour les systèmes de récupération basés sur des vecteurs. Cela confirme qu'A-MEM n'introduit aucune surcharge de stockage supplémentaire par rapport aux approches de référence. Concernant le temps de récupération, A-MEM démontre une excellente efficacité avec des augmentations minimales à mesure que la taille de la mémoire croît. Même en passant à l'échelle de 1 million de mémoires, le temps de récupération d'A-MEM n'augmente que de 0.31μs0.31\mu \mathrm{s} à 3.70μs3.70\mu \mathrm{s}, ce qui représente une performance exceptionnelle. Bien que MemoryBank affiche des temps de récupération légèrement plus rapides, A-MEM maintient des performances comparables tout en offrant des représentations mémorielles et des fonctionnalités plus riches. Sur la base de notre analyse de la complexité spatiale et du temps de récupération, nous concluons que les mécanismes de récupération d'A-MEM maintiennent une excellente efficacité même à grande échelle. La croissance minimale du temps de récupération à travers les tailles de mémoire répond aux préoccupations concernant l'efficacité des systèmes de mémoire à grande échelle, démontrant qu'A-MEM fournit une solution hautement évolutive pour la gestion de conversations à long terme. Cette combinaison unique d'efficacité, d'évolutivité et de capacités mémorielles améliorées positionne A-MEM comme une avancée significative dans la construction d'un mécanisme de mémoire puissant et à long terme pour les agents LLM.

Figure 4 : Visualisation T-SNE des plongements de mémoire montrant une distribution plus organisée avec A-MEM (bleu) par rapport à la mémoire de base (rouge) à travers différents dialogues. La mémoire de base représente A-MEM sans génération de liens ni évolution de mémoire.

4.7 Analyse de la mémoire

Nous présentons la visualisation t-SNE de la Figure 4 des plongements de mémoire afin de démontrer les avantages structurels de notre système de mémoire agentique. En analysant deux dialogues échantillonnés à partir de conversations à long terme dans LoCoMo [22], nous observons que A-MEM (en bleu) présente systématiquement des schémas de regroupement plus cohérents par rapport au système de référence (en rouge). Cette organisation structurelle est particulièrement évidente dans le Dialogue 2, où des groupes bien définis émergent dans la région centrale, fournissant une preuve empirique de l'efficacité de notre mécanisme d'évolution de mémoire et de la génération de descriptions contextuelles. En revanche, les plongements de mémoire de référence affichent une distribution plus dispersée, démontrant que les mémoires manquent d'organisation structurelle sans nos composantes de génération de liens et d'évolution de mémoire. Ces résultats de visualisation valident le fait que A-MEM peut maintenir de manière autonome des structures de mémoire significatives grâce à des mécanismes d'évolution et de liaison dynamiques. D'autres résultats sont visibles dans l'Annexe A.4.

5 Conclusions

Dans ce travail, nous avons introduit A-MEM, un nouveau système de mémoire agentique qui permet aux agents LLM d'organiser et de faire évoluer dynamiquement leurs mémoires sans s'appuyer sur des structures prédéfinies. S'inspirant de la méthode Zettelkasten, notre système crée un réseau de connaissances interconnecté grâce à des mécanismes d'indexation et de liaison dynamiques qui s'adaptent à diverses tâches du monde réel. L'architecture centrale du système se caractérise par la génération autonome de descriptions contextuelles pour les nouvelles mémoires et l'établissement intelligent de connexions avec les mémoires existantes sur la base d'attributs partagés. En outre, notre approche permet l'évolution continue des mémoires historiques en incorporant de nouvelles expériences et en développant des attributs d'ordre supérieur grâce à des interactions continues. Grâce à une évaluation empirique approfondie sur six modèles de base, nous avons démontré que A-MEM obtient des performances supérieures à celles des baselines de pointe existantes dans les tâches conversationnelles à long terme. L'analyse de visualisation valide en outre l'efficacité de notre approche d'organisation de la mémoire. Ces résultats suggèrent que les systèmes de mémoire agentiques peuvent considérablement améliorer la capacité des agents LLM à utiliser des connaissances à long terme dans des environnements complexes.

6 Limites

Bien que notre système de mémoire agentique obtienne des résultats prometteurs, nous reconnaissons plusieurs domaines d'exploration future potentielle. Premièrement, bien que notre système organise dynamiquement les mémoires, la qualité de ces organisations peut encore être influencée par les capacités inhérentes des modèles de langage sous-jacents. Différents LLM pourraient générer des descriptions contextuelles légèrement différentes ou établir des connexions variables entre les mémoires. De plus, alors que notre implémentation actuelle se concentre sur des interactions textuelles, des travaux futurs pourraient explorer l'extension du système au traitement d'informations multimodales, telles que des images ou de l'audio, ce qui pourrait fournir des représentations contextuelles plus riches.

Références

[1] Sönke Ahrens. How to Take Smart Notes: One Simple Technique to Boost Writing, Learning and Thinking. Amazon, 2017. Second Edition.

[2] Anthropic. The claude 3 model family: Opus, sonnet, haiku. Anthropic, Mar 2024. Accessed May 2025.

[3] Anthropic. Claude 3.5 sonnet model card addendum. Technical report, Anthropic, 2025. Accessed May 2025.

[4] Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, and Hannaneh Hajishirzi. Self- rag: Learning to retrieve, generate, and critique through self- reflection. arXiv preprint arXiv:2310.11511, 2023.

[5] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pages 65- 72, 2005.

[6] Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George Bm Van Den Driessche, Jean- Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. Improving language models by retrieving from trillions of tokens. In International conference on machine learning, pages 2206- 2240. PMLR, 2022.

[7] Xiang Deng, Yu Gu, Boyuan Zheng, Shijie Chen, Sam Stevens, Boshi Wang, Huan Sun, and Yu Su. Mind2web: Towards a generalist agent for the web. Advances in Neural Information Processing Systems, 36:28091- 28114, 2023.

[8] Khant Dev and Singh Taranjeet. mem0: The memory layer for ai agents. https://github.com/mem0ai/mem0, 2024.

[9] Darren Edge, Ha Trinh, Newman Cheng, Joshua Bradley, Alex Chao, Apurva Mody, Steven Truitt, and Jonathan Larson. From local to global: A graph rag approach to query- focused summarization. arXiv preprint arXiv:2404.16130, 2024.

[10] Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, and Haofen Wang. Retrieval- augmented generation for large language models: A survey. arXiv preprint arXiv:2312.10997, 2023.

[11] Daya Guo, Dejian Yang, Haowei Zhang, Junxiao Song, Ruoyu Zhang, Runxin Xu, Qihao Zhu, Shirong Ma, Peiyi Wang, Xiao Bi, et al. Deepseek- r1: Incentivizing reasoning capability in llms via reinforcement learning. arXiv preprint arXiv:2501.12948, 2025.

[12] I. Ilin. Advanced rag techniques: An illustrated overview, 2023.

[13] Jihyoung Jang, Minseong Boo, and Hyounghun Kim. Conversation chronicles: Towards diverse temporal and relational dynamics in multi- session conversations. arXiv preprint arXiv:2310.13420, 2023.

[14] Zhengbao Jiang, Frank F Xu, Luyu Gao, Zhiqing Sun, Qian Liu, Jane Dwivedi- Yu, Yiming Yang, Jamie Callan, and Graham Neubig. Active retrieval augmented generation. arXiv preprint arXiv:2305.06983, 2023.

[15] David Kadavy. Digital Zettelkasten: Principles, Methods, & Examples. Google Books, May 2021.

[16] Jiho Kim, Woosog Chay, Hyeonji Hwang, Daeun Kyung, Hyunseung Chung, Eunbyeol Cho, Yohan Jo, and Edward Choi. Dialism: A real- time simulator for evaluating long- term multi- party dialogue understanding of conversational agents. arXiv preprint arXiv:2406.13144, 2024.

[17] Kuang- Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, and Ian Fischer. A human- inspired reading agent with gist memory of very long contexts. arXiv preprint arXiv:2402.09727, 2024.

[18] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Kuttler, Mike Lewis, Wen- tau Yih, Tim Rocktäschel, et al. Retrieval- augmented generation for knowledge- intensive nlp tasks. Advances in Neural Information Processing Systems, 33:9459- 9474, 2020.

[19] Chin- Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pages 74- 81, 2004.

[20] Xi Victoria Lin, Xilun Chen, Mingda Chen, Weijia Shi, Maria Lomeli, Rich James, Pedro Rodriguez, Jacob Kahn, Gergely Szilvasy, Mike Lewis, et al. Ra- dit: Retrieval- augmented dual instruction tuning. arXiv preprint arXiv:2310.01352, 2023.

[21] Zhiwei Liu, Weiran Yao, Jianguo Zhang, Liangwei Yang, Zuxin Liu, Juntao Tan, Prafulla K Choubey, Tian Lan, Jason Wu, Huan Wang, et al. Agentlite: A lightweight library for building and advancing task- oriented llm agent system. arXiv preprint arXiv:2402.15538, 2024.

[22] Adyasha Maharana, Dong- Ho Lee, Sergey Tulyakov, Mohit Bansal, Francesco Barbieri, and Yuwei Fang. Evaluating very long- term conversational memory of llm agents. arXiv preprint arXiv:2402.17753, 2024.

[23] Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, and Yongfeng Zhang. Aios: Llm agent operating system. arXiv e- prints, pp. arXiv- 2403, 2024.

[24] Ali Modarressi, Ayyob Imani, Mohsen Fayyaz, and Hinrich Schütze. Ret- llm: Towards a general read- write memory for large language models. arXiv preprint arXiv:2305.14322, 2023.

[25] Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G Patil, Ion Stoica et Joseph E Gonzalez. Memgpt : Vers des LLM en tant que systèmes d'exploitation. arXiv preprint arXiv:2310.08560, 2023.

[26] Kishore Papineni, Salim Roukos, Todd Ward et Wei-Jing Zhu. Bleu : une méthode d'évaluation automatique de la traduction automatique. In Actes de la 40e réunion annuelle de l'Association for Computational Linguistics, pages 311-318, 2002.

[27] Nils Reimers et Iryna Gurevych. Sentence-bert : Plongements de phrases utilisant des réseaux bert siamois. In Actes de la conférence 2019 sur les méthodes empiriques en traitement du langage naturel. Association for Computational Linguistics, 11 2019.

[28] Aymeric Roucher, Albert Villanova del Moral, Thomas Wolf, Leandro von Werra et Erik Kaunismaki. « smolagents » : une petite bibliothèque pour construire d'excellents systèmes agentiques. https://github.com/huggingface/smolagents, 2025.

[29] Zhihong Shao, Yeyun Gong, Yelong Shen, Minlie Huang, Nan Duan et Weizhu Chen. Améliorer les grands modèles de langage augmentés par la recherche d'informations grâce à une synergie itérative entre recherche et génération. arXiv preprint arXiv:2305.15294, 2023.

[30] Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, et al. Des commandes aux prompts : Système de fichiers sémantique basé sur les LLM pour les AIOS. arXiv preprint arXiv:2410.11843, 2024.

[31] Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot et Ashish Sabharwal. Entrelacement de la recherche d'informations avec le raisonnement en chaîne de pensée pour des questions multi-étapes à forte intensité de connaissances. arXiv preprint arXiv:2212.10509, 2022.

[32] Bing Wang, Xinnian Liang, Jian Yang, Hui Huang, Shuangzhi Wu, Peihao Wu, Lu Lu, Zejun Ma et Zhoujun Li. Enhancing large language model with self-controlled memory framework. arXiv preprint arXiv:2304.13343, 2023.

[33] Xingyao Wang, Boxuan Li, Yufan Song, Frank F Xu, Xiangru Tang, Mingchen Zhuge, Jiayi Pan, Yueqi Song, Bowen Li, Jaskirat Singh, et al. Openhands: An open platform for ai software developers as generalist agents. arXiv preprint arXiv:2407.16741, 2024.

[34] Zhiruo Wang, Jun Araki, Zhengbao Jiang, Md Rizwan Parvez et Graham Neubig. Learning to filter context for retrieval-augmented generation. arXiv preprint arXiv:2311.08377, 2023.

[35] Lilian Weng. Llm-powered autonomous agents. lilianweng.github.io, juin 2023.

[36] J Xu. Beyond goldfish memory: Long-term open-domain conversation. arXiv preprint arXiv:2107.07567, 2021.

[37] Wenhao Yu, Hongming Zhang, Xiaoman Pan, Kaixin Ma, Hongwei Wang et Dong Yu. Chain-of-note: Enhancing robustness in retrieval-augmented language models. arXiv preprint arXiv:2311.09210, 2023.

[38] Zichun Yu, Chenyan Xiong, Shi Yu et Zhiyuan Liu. Augmentation-adapted retriever improves generalization of language models as generic plug-in. arXiv preprint arXiv:2305.17331, 2023.

[39] Wanjun Zhong, Lianghong Guo, Qiqi Gao, He Ye et Yanlin Wang. Memorybank: Enhancing large language models with long-term memory. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 38, pages 19724-19731, 2024.

Table des matières

1 Introduction 1

2 Travaux connexes 2

2.1 Mémoire pour les agents LLM 2

2.2 Génération augmentée par récupération 3

3 Méthodologie 3

3.1 Construction des notes 4

3.2 Génération des liens 4

3.3 Évolution de la mémoire 4

3.4 Récupération de la mémoire relative 5

4 Expérience 5

4.1 Jeu de données et évaluation 5

4.2 Détails d'implémentation 6

4.3 Résultats empiriques 6

4.4 Étude d'ablation 7

4.5 Analyse des hyperparamètres 7

4.6 Analyse de mise à l'échelle 8

4.7 Analyse de la mémoire 9

5 Conclusions 9

6 Limites 9

A Expérience 14

A.1 Introduction détaillée des lignes de base 14

A.2 Métrique d'évaluation 14

A.3 Résultats de comparaison 15

A.4 Analyse de la mémoire 16

A.5 Réglage des hyperparamètres 17

B Modèles d'invite et exemples 19

B.1 Modèle d'invite pour la construction des notes 19

B.2 Modèle d'invite pour la génération des liens 19

B.3 Modèle d'invite pour l'évolution de la mémoire 20

B.4 Exemples de questions/réponses avec A-MEM 21

ANNEXE

A Expérience

A.1 Introduction détaillée des lignes de base

LoCoMo [22] adopte une approche directe en exploitant des modèles de base sans mécanismes de mémoire pour les tâches de réponse aux questions. Pour chaque requête, il intègre la conversation précédente complète et les questions dans l'invite, évaluant ainsi les capacités de raisonnement du modèle.

ReadAgent [17] aborde le traitement de documents à long contexte par une méthodologie sophistiquée en trois étapes : il commence par une pagination en épisodes pour segmenter le contenu en blocs gérables, suivie d'une condensation en mémoire pour distiller chaque page en représentations mnésiques concises, et se conclut par une recherche interactive pour récupérer les informations pertinentes selon les besoins.

MemoryBank [39] introduit un système innovant de gestion de la mémoire qui maintient et récupère efficacement les interactions historiques. Le système dispose d'un mécanisme dynamique de mise à jour de la mémoire fondé sur la théorie de la courbe de l'oubli d'Ebbinghaus, qui ajuste intelligemment la force de la mémoire en fonction du temps et de l'importance. De plus, il intègre un système de construction de portrait utilisateur qui affine progressivement sa compréhension de la personnalité de l'utilisateur grâce à une analyse continue des interactions.

MemGPT [25] présente un nouveau système de gestion de contexte virtuel inspiré des hiérarchies de mémoire des systèmes d'exploitation traditionnels. L'architecture met en œuvre une structure à deux niveaux : un contexte principal (analogue à la RAM) qui fournit un accès immédiat pendant l'inférence du LLM, et un contexte externe (analogue au stockage sur disque) qui conserve les informations au-delà de la fenêtre de contexte fixe.

A.2 Métrique d'évaluation

Le score F1 représente la moyenne harmonique de la précision et du rappel, offrant une métrique équilibrée qui combine les deux mesures en une seule valeur. Cette métrique est particulièrement utile lorsque nous devons trouver un équilibre entre des réponses complètes et exactes :

F1=2⋅precision⋅recallprecision+recall(11)\mathrm{F1} = 2\cdot \frac{\mathrm{precision}\cdot\mathrm{recall}}{\mathrm{precision} + \mathrm{recall}} \quad (11)

où

precision=vrais positifsvrais positifs+faux positifs(12)\mathrm{precision} = \frac{\mathrm{vrais~positifs}}{\mathrm{vrais~positifs} + \mathrm{faux~positifs}} \quad (12)
rappel=vrais positifsvrais positifs+faux neˊgatifs(13)\mathrm{rappel} = \frac{\mathrm{vrais~positifs}}{\mathrm{vrais~positifs} + \mathrm{faux~négatifs}} \quad (13)

Dans les systèmes de question-réponse, le score F1 joue un rôle crucial dans l'évaluation des correspondances exactes entre les réponses prédites et les réponses de référence. Cela est particulièrement important pour les tâches de QA basées sur des spans, où les systèmes doivent identifier des segments de texte précis tout en maintenant une couverture complète de la réponse. BLEU-1 [26] fournit une méthode pour évaluer la précision des correspondances d'unigrammes entre les sorties du système et les textes de référence :

BLEU−1=BP⋅exp⁡(∑n=11wnlog⁡pn)(14)\mathrm{BLEU - 1} = BP\cdot \exp \left(\sum_{n = 1}^{1}w_{n}\log p_{n}\right) \quad (14)

où

BP={1si c>re1−r/csi c≤r(15)BP = \left\{ \begin{array}{ll}1 & \mathrm{si}~ c > r\\ e^{1 - r / c} & \mathrm{si}~ c\leq r \end{array} \right. \quad (15)
pn=∑i∑kmin⁡(hik,mik)∑i∑khik(16)p_{n} = \frac{\sum_{i}\sum_{k}\min \bigl (h_{i k},m_{i k}\bigr)}{\sum_{i}\sum_{k}h_{i k}} \quad (16)

Ici, cc est la longueur du candidat, rr est la longueur de la référence, hikh_{ik} est le nombre de n-grammes i dans le candidat k, et mikm_{ik} est le nombre maximal dans l'une des références. En QA, BLEU-1 évalue la précision lexicale des réponses générées, particulièrement utile pour les systèmes de QA génératifs où la correspondance exacte pourrait être trop stricte.

ROUGE-L [19] mesure la plus longue sous-séquence commune entre les textes générés et les textes de référence.

ROUGE−L=(1+β2)RlPlRl+β2PlRl=LCS(X,Y)∣X∣Pl=LCS(X,Y)∣Y∣(17)\begin{array}{r l} & {\mathrm{ROUGE - L} = \frac{(1 + \beta^{2})R_{l}P_{l}}{R_{l} + \beta^{2}P_{l}}}\\ & {\qquad R_{l} = \frac{\mathrm{LCS}(X,Y)}{|X|}}\\ & {\qquad P_{l} = \frac{\mathrm{LCS}(X,Y)}{|Y|}} \end{array} \quad (17)

où XX est le texte de référence, YY est le texte candidat, et LCS est la plus longue sous-séquence commune (Longest Common Subsequence).

ROUGE-2 [19] calcule le chevauchement des bigrammes entre les textes générés et les textes de référence.

ROUGE−2=∑bigramefermin⁡(Countref(bigram),Countcand(bigram))∑bigrameferCountref(bigram)(20)\mathrm{ROUGE - 2} = \frac{\sum_{\mathrm{b i g r a m e f e r}}\min (\mathrm{C o u n t}{\mathrm{ref}}(\mathrm{b i g r a m}),\mathrm{C o u n t}{\mathrm{c a n d}}(\mathrm{b i g r a m}))}{\sum_{\mathrm{b i g r a m e f e r}}\mathrm{C o u n t}_{\mathrm{ref}}(\mathrm{b i g r a m})} \quad (20)

ROUGE-L et ROUGE-2 sont tous deux particulièrement utiles pour évaluer la fluidité et la cohérence des réponses générées, ROUGE-L se concentrant sur la correspondance de séquences et ROUGE-2 sur l'ordre local des mots.

METEOR [5] calcule un score basé sur les unigrammes alignés entre les textes candidats et de référence, en tenant compte des synonymes et des paraphrases.

\[\begin{array}{c}{{\mathrm{METEOR}=F_{\mathrm{mean}}\cdot(1-\mathrm{Penalty)}}\\ {{F_{\mathrm{mean}}=\frac{10P\cdot R}{R+9P}}}\\ {{\mathrm{Penalty}=0.5\cdot(\frac{\mathrm{ch}}{m})^{3}}}\end{array} \quad (21)

où PP est la précision, RR est le rappel, ch est le nombre de segments (chunks), et mm est le nombre d'unigrammes appariés. METEOR est précieux pour l'évaluation en QA car il prend en compte la similarité sémantique au-delà de la correspondance exacte, ce qui le rend adapté à l'évaluation des réponses paraphrasées.

La similarité SBERT [27] mesure la similarité sémantique entre deux textes à l'aide de plongements de phrases.

SBERT_Similarity=cos⁡(SBERT(x),SBERT(y))cos⁡(a,b)=a⋅b∥a∥∥b∥(24)\begin{array}{r}{\mathrm{S B E R T\_S i m i l a r i t y} = \cos (\mathrm{S B E R T}(x),\mathrm{S B E R T}(y))}\\ {\cos (a,b) = \frac{a\cdot b}{\|a\|\|b\|}} \end{array} \quad (24)

SBERT(x)\mathrm{S B E R T}(x) représente le plongement de phrase du texte. La similarité SBERT est particulièrement utile pour évaluer la compréhension sémantique dans les systèmes de QA, car elle peut capturer les similarités de sens même lorsque le chevauchement lexical est faible.

A.3 Résultats de comparaison

Notre évaluation complète utilisant les métriques ROUGE-2, ROUGE-L, METEOR et SBERT démontre que A-MEM atteint des performances supérieures tout en maintenant une remarquable efficacité computationnelle. Grâce à des tests empiriques approfondis sur diverses tailles de modèles et catégories de tâches, nous avons établi A-MEM comme une approche plus efficace comparée aux lignes de base existantes, soutenue par plusieurs résultats convaincants. Dans notre analyse des modèles non-GPT, spécifiquement Qwen2.5 et Llama 3.2, A-MEM surpasse systématiquement toutes les approches de référence sur toutes les métriques. La catégorie Multi-Hop présente des résultats particulièrement frappants, où Qwen2.5-15b avec A-MEM atteint un score ROUGE-L de 27,23, dépassant largement les 4,68 de LoComo et les 2,81 de ReadAgent - représentant une amélioration de près de six fois. Ce schéma de supériorité s'étend de manière cohérente aux scores METEOR et SBERT.

ModèleMéthodeCatégorie
Multi Hop RGE-2RGE-LTemporel RGE-2RGE-LDomaine ouvert RGE-2RGE-LSaut unique RGE-2RGE-LAdversarial RGE-2
GPTLoCoMo9,6423,922,0118,093,4011,5826,4840,2060,46
READAGENT2,479,450,9513,120,555,762,999,926,66
MEMORYBANK1,185,430,529,640,975,771,646,634,55
MEMGPT10,5825,604,7625,220,769,1428,4442,2436,62
A-MEM10,6125,8621,3944,273,4212,0929,5045,1842,62
LoCoMo11,5330,651,688,173,2116,3345,4263,8645,13
QwenREADAGENT3,9114,360,433,960,528,584,7513,414,24
MEMORYBANK1,847,360,362,292,136,853,029,351,22
MEMGPT11,5530,184,6615,833,2714,0243,2762,7528,72
A-MEM12,7631,719,8225,046,0916,6333,6750,3130,31
LoCoMo1,399,240,004,683,4210,593,2511,1535,10
READAGENT0,747,140,102,813,0512,631,477,8820,73
QwenMEMORYBANK1,5111,180,145,391,808,445,0713,7229,24
MEMGPT1,1611,350,007,882,8714,622,189,8223,96
A-MEM4,8817,945,8827,233,4416,8712,3224,3836,32
LoCoMo0,494,830,143,201,315,381,976,9812,66
READAGENT0,084,080,001,961,266,190,734,347,35
MEMORYBANK0,433,760,051,610,246,321,034,229,55
QwenMEMGPT0,695,550,053,171,907,902,057,3210,46
A-MEM2,9112,428,1127,741,517,518,8017,5721,39
LoCoMo2,5111,480,448,251,6913,062,9413,0039,85
READAGENT0,536,490,004,625,4714,291,198,0334,52
MEMORYBANK2,9613,570,2310,534,0118,386,4117,6641,15
MEMGPT1,829,910,066,562,1311,362,0010,3738,59
Llama 2A-MEM4,8219,311,8420,475,9918,4914,8229,7846,76
LoCoMo0,987,220,034,452,3611,392,858,4525,47
READAGENT2,471,783,013,015,075,223,252,5115,78
MEMORYBANK1,836,960,253,410,434,432,737,8314,64
MEMGPT0,725,390,112,850,615,741,454,4216,62
A-MEM6,0217,627,9327,975,3813,0016,8928,5535,48
Tableau 5 : Résultats expérimentaux sur le jeu de données LoCoMo des tâches de QA à travers cinq catégories (Multi Hop, Temporal, Open Domain, Single Hop et Adversial) en utilisant différentes méthodes. Les résultats sont rapportés en scores ROUGE-2 et ROUGE-L, abrégés en RGE-2 et RGE-L. La meilleure performance est indiquée en gras, et notre méthode proposée A-MEM (surlignée en gris) démontre des performances compétitives sur six modèles de langage de base.

En examinant les modèles basés sur GPT, nos résultats révèlent un schéma intéressant. Alors que LoCoMo et MemGPT démontrent de fortes capacités dans les tâches Open Domain et Adversarial, A-MEM montre une supériorité remarquable dans les tâches de raisonnement Multi-Hop. En utilisant GPT-4o-mini, A-MEM atteint un score ROUGE-L de 44,27 dans les tâches Multi-Hop, plus du double des 18,09 de LoComo. Cet avantage significatif reste cohérent sur les autres métriques, avec des scores METEOR de 23,43 contre 7,61 et des scores SBERT de 70,49 contre 52,30. L'importance de ces résultats est amplifiée par l'efficacité computationnelle exceptionnelle d'A-MEM. Notre approche ne nécessite que 1 200 à 2 500 tokens, contre les 16 900 tokens substantiels nécessaires à LoComo et MemGPT. Cette efficacité découle de deux innovations architecturales clés : premièrement, notre nouvelle architecture de mémoire agentique crée des réseaux de mémoire interconnectés grâce à des notes atomiques avec de riches descriptions contextuelles, permettant une capture et une utilisation plus efficaces des relations entre informations. Deuxièmement, notre mécanisme de récupération sélective top-k facilite l'évolution dynamique de la mémoire et l'organisation structurée. L'efficacité de ces innovations est particulièrement évidente dans les tâches de raisonnement complexes, comme le démontre la performance Multi-Hop systématiquement forte sur toutes les métriques d'évaluation. En outre, nous montrons également les résultats expérimentaux avec différents modèles de base, notamment DeepSeek-R1-32B [11], Claude 3.0 Haiku [2] et Claude 3.5 Haiku [3].

A.4 Analyse de la mémoire

En plus des visualisations de mémoire des deux premiers dialogues présentées dans le texte principal, nous présentons des visualisations supplémentaires dans la Fig.5 qui démontrent les avantages structurels de notre système de mémoire agentique. Grâce à l'analyse de deux dialogues échantillonnés à partir de conversations à long terme dans LoCoMo [22], nous observons qu'A-MEM (montré en bleu) produit systématiquement des schémas de regroupement plus cohérents par rapport au système de référence (montré en rouge). Cette organisation structurelle est particulièrement évidente dans le Dialogue 2, où des groupes distincts émergent dans la région centrale, fournissant un soutien empirique à l'efficacité de notre mécanisme d'évolution de la mémoire et de génération de descriptions contextuelles. En revanche, les plongements de mémoire de la référence présentent une distribution plus dispersée, indiquant que les mémoires manquent d'organisation structurelle sans nos composants de génération de liens et d'évolution de la mémoire.

ModèleMéthodeCatégorie
Multi Hop MESBERTTemporal MESBERTOpen Domain MESBERTSingle Hop MESBERTAdversial ME
GPT4-hopLoCoMo15,8147,977,6152,308,1635,0040,4257,7863,2871,93
ReadAgent5,4628,674,7645,073,6926,728,0126,788,3815,20
MEMORY BANK3,4221,714,0737,584,2123,715,8120,766,2413,00
MEMGPT15,7949,3313,2561,534,5932,7741,4058,1939,1647,24
A-MEM16,3649,4623,4370,498,3638,4842,3259,3845,6453,26
GPT4-hopLoCoMo16,3453,827,2132,158,9843,7253,3973,4047,7256,09
ReadAgent7,8637,413,7626,224,4230,759,3631,375,4712,34
BANQUE DE MÉMOIRE3,2226,232,2923,494,1824,896,6423,902,9310,01
MEMGPT16,6455,1212,6835,937,7837,9152,1472,8331,1539,08
A-MEM17,5355,9613,1045,4010,6238,8741,9362,4732,3440,11
Open2.54-hopLoCoMo4,9932,232,8634,035,8935,618,5729,4740,5350,49
ReadAgent3,6728,201,8827,278,9735,135,5226,3324,0434,12
MEMORY BANK5,5735,402,8032,474,2733,8510,5932,1632,9342,83
MEMGPT5,4035,642,3539,047,6840,367,0730,1627,2440,63
A-MEM9,4943,4911,9261,659,1142,5819,6941,9340,6452,44
Open2.54-hopLoCoMo2,0024,371,9225,243,4525,386,0021,2816,6723,14
ReadAgent1,7821,101,6920,784,4325,153,3718,2010,4617,39
MEMORY BANK2,3717,812,2221,933,8620,653,9916,2615,4920,77
MEMGPT3,7424,312,2527,676,4429,596,2422,4013,1920,83
A-MEM6,2533,7214,0462,546,5630,6015,9833,9827,3633,72
Llama 3.24-hopLoCoMo5,7738,023,3845,446,2042,699,3334,1946,7960,74
ReadAgent2,9729,261,3126,457,1339,195,3626,4442,3954,35
BANQUE DE MÉMOIRE6,7739,334,4345,637,7642,8113,0137,3250,4360,81
MEMGPT5,1032,992,5441,813,2635,996,6230,6845,0061,33
A-MEM9,0145,167,5054,798,3043,4222,4647,0753,7268,00
Llama 3.24-hopLoCoMo3,6927,942,9620,406,4632,176,5822,9229,0235,74
ReadAgent1,2117,402,3312,023,3919,632,4614,6314,3721,25
BANQUE DE MÉMOIRE3,8425,062,7313,653,0521,086,3522,0217,1424,39
MEMGPT2,7822,062,2114,973,6323,183,4717,8120,5026,87
A-MEM9,7439,3213,1959,708,0932,2724,3042,8639,7446,76
Tableau 6 : Résultats expérimentaux sur le jeu de données LoCoMo pour les tâches de QA réparties en cinq catégories (Multi Hop, Temporal, Open Domain, Single Hop et Adversial) à l'aide de différentes méthodes. Les résultats sont rapportés en scores METEOR et de similarité SBERT, abrégés en ME et SBERT. La meilleure performance est indiquée en gras, et notre méthode proposée A-MEM (surlignée en gris) démontre des performances compétitives sur six modèles de langage de base.
MéthodeCatégorie
Multi Hop F1BLEU-1Temporal F1Open Domain F1Single Hop F1Adversial F1
DeepSeek-R1-32B
LoCoMo8.586.484.794.3512.9612.52
MEMGPT8.286.255.454.9710.979.09
A-MEM15.0210.6414.6411.0114.8112.82
Claude 3.0 Haiku
LoCoMo4.563.330.820.592.863.22
MEMGPT7.656.361.651.267.416.64
A-MEM19.2814.6916.6512.2311.859.61
Claude 3.5 Haiku
LoCoMo11.348.213.292.693.793.58
MEMGPT8.276.553.992,764,714,48
A-MEM29,7023,1931,5427,5311,429,47
Tableau 7 : Résultats expérimentaux sur le jeu de données LoCoMo pour les tâches de QA réparties en cinq catégories (Multi Hop, Temporal, Open Domain, Single Hop et Adversial) selon différentes méthodes. Les résultats sont rapportés en scores F1 et BLEU-1 (%)(\%) avec différents modèles de base.

Ces visualisations valident qu'A-MEM peut maintenir de manière autonome des structures de mémoire significatives grâce à ses mécanismes d'évolution dynamique et de liaison.

A.5 Réglage des hyperparamètres

Toutes les valeurs d'hyperparamètre k sont présentées dans le Tableau 8. Pour les modèles ayant déjà atteint des performances de pointe (SOTA) avec k=10, nous maintenons cette valeur sans réglage supplémentaire.

Figure 5 : Visualisation T-SNE des embeddings de mémoire montrant une distribution plus organisée avec A-MEM (bleu) par rapport à la mémoire de base (rouge) à travers différents dialogues. La mémoire de base représente A-MEM sans génération de liens ni évolution de la mémoire.
Figure 5 : Visualisation T-SNE des embeddings de mémoire montrant une distribution plus organisée avec A-MEM (bleu) par rapport à la mémoire de base (rouge) à travers différents dialogues. La mémoire de base représente A-MEM sans génération de liens ni évolution de la mémoire.
ModèleMulti HopTemporelDomaine ouvertSingle HopAdversarial
GPT-4o-mini4040505040
GPT-4o4040505040
Qwen2.5-1.5b1010101010
Qwen2.5-3b1010501010
Llama3.2-1b1010101010
Llama3.2-3b1020101010
Tableau 8 : Sélection des valeurs de k dans le retriever selon des catégories spécifiques et des choix de modèles.

B Modèles de prompts et exemples

B.1 Modèle de prompt pour la construction de notes

Le modèle de prompt dans la construction de notes : Ps1P_{s1}

Générez une analyse structurée du contenu suivant en :

1. Identifiant les mots-clés les plus saillants (en vous concentrant sur les noms, les verbes et les concepts clés)

2. Extrayant les thèmes centraux et les éléments contextuels

3. Créant des étiquettes catégorielles pertinentes

{ "keywords": [ "modèle de prompt", "génération de liens", "évolution de la mémoire", "agent d'évolution de la mémoire", "mémoire de voisins les plus proches", "renforcer la connexion", "mettre à jour le voisin", "étiquettes", "base de connaissances" ], "context": "Cette section présente les modèles de prompts utilisés dans un système de gestion de base de connaissances par agent d'IA, en détaillant le modèle de génération de liens (P_{s2}) qui détermine si une nouvelle note de mémoire doit évoluer selon ses voisins, et le modèle d'évolution de la mémoire (P_{s3}) qui spécifie les actions à entreprendre (renforcer ou mettre à jour le voisin) ainsi que le format de sortie en liste ; elle s'adresse aux développeurs ou chercheurs concevant des systèmes de mémoire augmentés par LLM.", "tags": [ "intelligence artificielle", "gestion des connaissances", "modèles de prompts", "systèmes de mémoire", "documentation technique", "traitement du langage naturel" ] }

Ces actions peuvent être combinées.

Renvoyez votre décision au format JSON avec la structure suivante : {{ "should_evolve": true/false,

"actions": ["strengthen", "merge", "prune"],

"suggested_connections": ["neighbor_memory_ids"],

"tags_to_update": ["tag_1", ... "tag_n"],

"new_context_neighborhood": ["new_context", ... "new_context"],

"new_tags_neighborhood": [["tag_1", ... "tag_n"], ... ["tag_1", ... "tag_n"]],

B.4 Exemples de Q/R avec A-MEM

Exemple :

Question 686 : Quel loisir Dave a-t-il commencé en octobre 2023 ?

Prédiction : photographie

Référence : photographie

heure de début de conversation : 10h54 le 17 novembre 2023

contenu de la mémoire : Speaker Davesays : Hey Calvin, ça fait longtemps qu'on ne s'est pas parlé ! Il s'est passé beaucoup de choses. J'ai commencé la photographie et c'est génial —j'ai pris des photos des paysages d'ici, ce qui est vraiment cool.

contexte de la mémoire : Le sujet principal est le nouveau loisir de photographie du locuteur, soulignant son plaisir à capturer les paysages locaux, dans le but d'engager un ami dans une conversation sur des expériences personnelles.

mots-clés de la mémoire : ['photography', 'scenery', 'conversation', 'experience', 'hobby']

étiquettes de la mémoire : ['hobby', 'photography', 'personal development', 'conversation', 'leisure']

heure de début de conversation : 18h38 le 21 juillet 2023

contenu de la mémoire : Speaker Calvinysays : Merci, Dave ! C'est génial d'avoir mon propre espace de travail. Je m'essaie à différents genres ces derniers temps, en me poussant hors de ma zone de confort. Ajouter des éléments électroniques à mes chansons leur donne une vibe nouvelle. C'est un processus passionnant de découverte de soi et de croissance !

contexte de la mémoire : Le locuteur discute de son processus créatif en musique, soulignant l'expérimentation avec différents genres et l'incorporation d'éléments électroniques pour la croissance personnelle et l'évolution artistique.

mots-clés de la mémoire : ['space', 'experimentation', 'genres', 'electronic', 'self- discovery', 'growth']

étiquettes de la mémoire : ['music', 'creativity', 'self- improvement', 'artistic expression']

Liste de contrôle pour les articles NeurIPS

La liste de contrôle est conçue pour encourager les meilleures pratiques en matière de recherche responsable en apprentissage automatique, en abordant les questions de reproductibilité, de transparence, d'éthique de la recherche et d'impact sociétal. Ne supprimez pas la liste de contrôle : les articles qui ne l'incluent pas seront rejetés d'office. La liste de contrôle doit suivre les références et suivre le matériel supplémentaire (facultatif). La liste de contrôle ne compte PAS dans la limite de pages.

Veuillez lire attentivement les directives de la liste de contrôle pour savoir comment répondre à ces questions. Pour chaque question de la liste de contrôle :

Vous devez répondre [Oui], [Non] ou [NA]. [NA] signifie soit que la question n'est pas applicable à cet article particulier, soit que l'information pertinente n'est pas disponible. Veuillez fournir une courte justification (1 à 2 phrases) juste après votre réponse (même pour NA).

Les réponses à la liste de contrôle font partie intégrante de la soumission de votre article. Elles sont visibles par les relecteurs, les présidents de session, les présidents de session senior et les relecteurs en éthique. Il vous sera également demandé de l'inclure (après d'éventuelles révisions) avec la version finale de votre article, et sa version finale sera publiée avec l'article.

Les relecteurs de votre article seront invités à utiliser la liste de contrôle comme l'un des facteurs de leur évaluation. Bien que « [Oui] » soit généralement préférable à « [Non] », il est parfaitement acceptable de répondre « [Non] » à condition qu'une justification appropriée soit fournie (par exemple, « les barres d'erreur ne sont pas rapportées car ce serait trop coûteux en calcul » ou « nous n'avons pas pu trouver la licence du jeu de données que nous avons utilisé »). En général, répondre « [Non] » ou « [NA] » n'est pas un motif de rejet. Bien que les questions soient formulées de manière binaire, nous reconnaissons que la véritable réponse est souvent plus nuancée, alors veuillez simplement utiliser votre meilleur jugement et rédiger une justification pour développer. Toutes les preuves à l'appui peuvent apparaître soit dans l'article principal, soit dans le matériel supplémentaire, fourni en annexe. Si vous répondez [Oui] à une question, veuillez indiquer dans la justification la ou les sections où se trouve le matériel pertinent pour la question.

IMPORTANT, veuillez :

- Supprimer ce bloc d'instructions, mais conserver le titre de section « NeurIPS Paper Checklist ».- Conserver les sous-titres de la liste de contrôle, les questions/réponses et les directives ci-dessous.- Ne pas modifier les questions et n'utiliser que les macros fournies pour vos réponses.

1. Affirmations

Question : Les principales affirmations faites dans le résumé et l'introduction reflètent-elles fidèlement les contributions et la portée de l'article ?

Réponse : [Oui]

Justification : Le résumé et l'introduction résument nos principales contributions.

Directives :

- La réponse NA signifie que le résumé et l'introduction n'incluent pas les affirmations faites dans l'article.- Le résumé et/ou l'introduction doivent clairement énoncer les affirmations faites, y compris les contributions apportées dans l'article ainsi que les hypothèses et limites importantes. Une réponse Non ou NA à cette question ne sera pas bien perçue par les relecteurs.- Les affirmations faites doivent correspondre aux résultats théoriques et expérimentaux, et refléter dans quelle mesure les résultats peuvent être attendus pour se généraliser à d'autres contextes.- Il est acceptable d'inclure des objectifs ambitieux comme motivation tant qu'il est clair que ces objectifs ne sont pas atteints par l'article.

2. Limites

Question : L'article discute-t-il des limites du travail effectué par les auteurs ?

Réponse : [Oui]

Justification : Cet article couvre une section sur les limites.

Directives :

- La réponse NA signifie que l'article n'a pas de limite, tandis que la réponse Non signifie que l'article a des limites, mais qu'elles ne sont pas discutées dans l'article.

- Les auteurs sont encouragés à créer une section « Limites » distincte dans leur article.

- L'article doit souligner toute hypothèse forte et la robustesse des résultats face à des violations de ces hypothèses (par exemple, hypothèses d'indépendance, environnements sans bruit, bonne spécification du modèle, approximations asymptotiques ne tenant que localement). Les auteurs doivent réfléchir à la manière dont ces hypothèses pourraient être violées en pratique et quelles en seraient les implications.

- Les auteurs doivent réfléchir à la portée des affirmations faites, par exemple si l'approche n'a été testée que sur quelques jeux de données ou avec quelques exécutions. En général, les résultats empiriques dépendent souvent d'hypothèses implicites, qui doivent être explicitées.

- Les auteurs doivent réfléchir aux facteurs qui influencent la performance de l'approche. Par exemple, un algorithme de reconnaissance faciale peut mal fonctionner lorsque la résolution de l'image est faible ou que les images sont prises sous un faible éclairage. Ou un système de reconnaissance vocale peut ne pas être utilisé de manière fiable pour fournir des sous-titres pour des cours en ligne parce qu'il ne gère pas le jargon technique.

- Les auteurs doivent discuter de l'efficacité computationnelle des algorithmes proposés et de leur passage à l'échelle avec la taille du jeu de données.

- Le cas échéant, les auteurs doivent discuter des limites possibles de leur approche pour répondre aux problèmes de confidentialité et d'équité.

- Bien que les auteurs puissent craindre qu'une honnêteté complète sur les limites soit utilisée par les relecteurs comme motif de rejet, un résultat pire pourrait être que les relecteurs découvrent des limites qui ne sont pas reconnues dans l'article. Les auteurs doivent utiliser leur meilleur jugement et reconnaître que les actions individuelles en faveur de la transparence jouent un rôle important dans le développement de normes qui préservent l'intégrité de la communauté. Il sera spécifiquement demandé aux relecteurs de ne pas pénaliser l'honnêteté concernant les limites.

3. Hypothèses théoriques et preuves

Question : Pour chaque résultat théorique, l'article fournit-il l'ensemble complet des hypothèses et une preuve complète (et correcte) ?

Réponse : [NA]

Justification : N/A

Lignes directrices :

- La réponse NA signifie que l'article ne comporte pas de résultats théoriques.

- Tous les théorèmes, formules et preuves de l'article doivent être numérotés et référencés de manière croisée.

- Toutes les hypothèses doivent être clairement énoncées ou référencées dans l'énoncé de tout théorème.

- Les preuves peuvent figurer dans l'article principal ou dans le matériel supplémentaire, mais si elles figurent dans le matériel supplémentaire, les auteurs sont encouragés à fournir un bref aperçu de la preuve afin de donner l'intuition.

- Inversement, toute preuve informelle fournie au cœur de l'article doit être complétée par des preuves formelles fournies en annexe ou dans le matériel supplémentaire.

- Les théorèmes et les lemmes sur lesquels repose la preuve doivent être correctement référencés.

4. Reproductibilité des résultats expérimentaux

Question : L'article divulgue-t-il pleinement toutes les informations nécessaires pour reproduire les principaux résultats expérimentaux de l'article, dans la mesure où cela affecte les principales affirmations et/ou conclusions de l'article (que le code et les données soient fournis ou non) ?

Réponse : [Oui]

Justification : Le code et les jeux de données sont tous deux disponibles.

Directives :

- La réponse NA signifie que l'article ne comprend pas d'expériences.

- Si l'article comprend des expériences, une réponse No à cette question ne sera pas bien perçue par les évaluateurs : rendre l'article reproductible est important, que le code et les données soient fournis ou non.

- Si la contribution est un jeu de données et/ou un modèle, les auteurs doivent décrire les étapes prises pour rendre leurs résultats reproductibles ou vérifiables.

- Selon la contribution, la reproductibilité peut être accomplie de diverses manières. Par exemple, si la contribution est une nouvelle architecture, décrire pleinement l'architecture pourrait suffire, ou si la contribution est un modèle spécifique et une évaluation empirique, il peut être nécessaire soit de permettre à d'autres de répliquer le modèle avec le même jeu de données, soit de fournir un accès au modèle. En général, publier le code et les données est souvent un bon moyen d'y parvenir, mais la reproductibilité peut aussi être assurée par des instructions détaillées sur la manière de répliquer les résultats, l'accès à un modèle hébergé (par exemple, dans le cas d'un grand modèle de langage), la publication d'un checkpoint de modèle, ou d'autres moyens appropriés à la recherche effectuée.

- Bien que NeurIPS n'exige pas la publication du code, la conférence exige que toutes les soumissions fournissent une voie raisonnable pour la reproductibilité, laquelle peut dépendre de la nature de la contribution. Par exemple

(a) Si la contribution est principalement un nouvel algorithme, l'article doit indiquer clairement comment reproduire cet algorithme.

(b) Si la contribution est principalement une nouvelle architecture de modèle, l'article doit décrire l'architecture clairement et pleinement.

(c) Si la contribution est un nouveau modèle (par exemple, un grand modèle de langage), alors il devrait y avoir soit un moyen d'accéder à ce modèle pour reproduire les résultats, soit un moyen de reproduire le modèle (par exemple, avec un jeu de données open source ou des instructions sur la manière de construire le jeu de données).

(d) Nous reconnaissons que la reproductibilité peut être délicate dans certains cas, auquel cas les auteurs sont invités à décrire la manière particulière dont ils assurent la reproductibilité. Dans le cas de modèles à code source fermé, il se peut que l'accès au modèle soit limité d'une certaine manière (par exemple, aux utilisateurs enregistrés), mais il devrait être possible pour d'autres chercheurs d'avoir un chemin pour reproduire ou vérifier les résultats.

5. Accès ouvert aux données et au code

Question : L'article fournit-il un accès ouvert aux données et au code, avec des instructions suffisantes pour reproduire fidèlement les principaux résultats expérimentaux, comme décrit dans le matériel supplémentaire ?

Réponse : [Oui]

Justification : Nous fournissons le lien du code dans le résumé.

Directives :

- La réponse NA signifie que l'article ne comprend pas d'expériences nécessitant du code.

- Veuillez consulter les directives de NeurIPS sur la soumission de code et de données (https://nips.cc/public/guides/CodeSubmissionPolicy) pour plus de détails.

- Bien que nous encouragions la publication du code et des données, nous comprenons que cela puisse ne pas être possible, donc « Non » est une réponse acceptable. Les articles ne peuvent pas être rejetés simplement pour ne pas inclure de code, sauf si cela est central à la contribution (par exemple, pour un nouveau benchmark open source).

- Les instructions doivent contenir la commande exacte et l'environnement nécessaires à l'exécution pour reproduire les résultats. Voir les directives de NeurIPS sur la soumission de code et de données (https://nips.cc/public/guides/CodeSubmissionPolicy) pour plus de détails.

- Les auteurs doivent fournir des instructions sur l'accès et la préparation des données, y compris comment accéder aux données brutes, aux données prétraitées, aux données intermédiaires et aux données générées, etc.

- Les auteurs doivent fournir des scripts pour reproduire tous les résultats expérimentaux de la nouvelle méthode proposée et des lignes de base. Si seul un sous-ensemble d'expériences est reproductible, ils doivent indiquer lesquelles sont omises du script et pourquoi.

- Au moment de la soumission, pour préserver l'anonymat, les auteurs doivent publier des versions anonymisées (le cas échéant).

- Il est recommandé de fournir autant d'informations que possible dans le matériel supplémentaire (annexé à l'article), mais inclure des URL vers les données et le code est autorisé.

6. Cadre expérimental/détails

Question : L'article spécifie-t-il tous les détails d'entraînement et de test (par exemple, divisions des données, hyperparamètres, comment ils ont été choisis, type d'optimiseur, etc.) nécessaires pour comprendre les résultats ?

Réponse : [Oui]

Justification : Nous couvrons tous les détails dans l'article.

Directives :- La réponse NA signifie que l'article ne comprend pas d'expériences.- Le cadre expérimental doit être présenté au cœur de l'article avec un niveau de détail nécessaire pour apprécier les résultats et les comprendre.- Les détails complets peuvent être fournis soit avec le code, en annexe, soit comme matériel supplémentaire.

7. Signification statistique des expériences

Question : L'article rapporte-t-il des barres d'erreur définies de manière appropriée et correcte ou d'autres informations appropriées sur la signification statistique des expériences ?

Réponse : [Non]

Justification : Les expériences utilisent l'API de grands modèles de langage. Des appels multiples augmenteraient considérablement les coûts.

Directives :- La réponse NA signifie que l'article ne comprend pas d'expériences.- Les auteurs doivent répondre « Oui » si les résultats sont accompagnés de barres d'erreur, d'intervalles de confiance ou de tests de signification statistique, au moins pour les expériences qui soutiennent les principales affirmations de l'article.- Les facteurs de variabilité que les barres d'erreur capturent doivent être clairement indiqués (par exemple, division entraînement/test, initialisation, tirage aléatoire de quelque paramètre, ou exécution globale avec des conditions expérimentales données).- La méthode de calcul des barres d'erreur doit être expliquée (formule fermée, appel à une fonction de bibliothèque, bootstrap, etc.)- Les hypothèses faites doivent être données (par exemple, erreurs distribuées normalement).- Il doit être clair si la barre d'erreur est l'écart type ou l'erreur type de la moyenne.- Il est acceptable de rapporter des barres d'erreur à 1 sigma, mais il faut le préciser. Les auteurs devraient de préférence rapporter une barre d'erreur à 2 sigma plutôt que d'indiquer qu'ils ont un IC à 96 %, si l'hypothèse de normalité des erreurs n'est pas vérifiée.- Pour les distributions asymétriques, les auteurs doivent veiller à ne pas montrer dans les tableaux ou figures des barres d'erreur symétriques qui produiraient des résultats hors plage (par exemple, des taux d'erreur négatifs).- Si des barres d'erreur sont rapportées dans des tableaux ou des graphiques, les auteurs doivent expliquer dans le texte comment elles ont été calculées et référencer les figures ou tableaux correspondants dans le texte.

8. Ressources de calcul des expériences

Question : Pour chaque expérience, l'article fournit-il suffisamment d'informations sur les ressources informatiques (type de travailleurs de calcul, mémoire, temps d'exécution) nécessaires pour reproduire les expériences ?

Réponse : [Oui]

Justification : Cela peut être trouvé dans la partie expérimentale.

Directives :- La réponse NA signifie que l'article ne comprend pas d'expériences.- L'article doit indiquer le type de travailleurs de calcul CPU ou GPU, cluster interne ou fournisseur cloud, y compris la mémoire et le stockage pertinents.

- L'article doit fournir la quantité de calcul requise pour chacune des exécutions expérimentales individuelles ainsi qu'estimer le calcul total.

- L'article doit divulguer si le projet de recherche complet a nécessité plus de calcul que les expériences rapportées dans l'article (par exemple, expériences préliminaires ou échouées qui n'ont pas été incluses dans l'article).

9. Code d'éthique

Question : La recherche menée dans l'article est-elle conforme, à tous égards, au Code d'éthique de NeurIPS https://neurips.cc/public/EthicsGuidelines ?

Réponse : [NA]

Justification : N/A

Directives :

- La réponse NA signifie que les auteurs n'ont pas examiné le Code d'éthique de NeurIPS.- Si les auteurs répondent Non, ils doivent expliquer les circonstances particulières qui exigent une dérogation au Code d'éthique.- Les auteurs doivent s'assurer de préserver l'anonymat (par exemple, s'il existe une considération particulière due aux lois ou réglementations de leur juridiction).

10. Impacts plus larges

Question : L'article discute-t-il à la fois des impacts sociétaux positifs potentiels et des impacts sociétaux négatifs du travail effectué ?

Réponse : [Non]

Justification : Nous ne discutons pas de cet aspect car nous fournissons uniquement le système de mémoire pour les agents LLM. Différents agents LLM peuvent créer des impacts sociétaux variés, ce qui dépasse le cadre de notre travail.

Directives :

- La réponse NA signifie que le travail effectué n'a pas d'impact sociétal.

- Si les auteurs répondent NA ou Non, ils doivent expliquer pourquoi leur travail n'a pas d'impact sociétal ou pourquoi l'article n'aborde pas l'impact sociétal.

- Parmi les exemples d’impacts sociétaux négatifs figurent les utilisations potentiellement malveillantes ou involontaires (par exemple, désinformation, génération de faux profils, surveillance), les considérations d’équité (par exemple, déploiement de technologies susceptibles de prendre des décisions ayant un impact injuste sur des groupes spécifiques), les considérations de confidentialité et les considérations de sécurité.

- La conférence s’attend à ce que de nombreux articles relèvent de la recherche fondamentale et ne soient pas liés à des applications particulières, encore moins à des déploiements. Toutefois, s’il existe une voie directe vers des applications négatives, les auteurs devraient le signaler. Par exemple, il est légitime de souligner qu’une amélioration de la qualité des modèles génératifs pourrait être utilisée pour générer des deepfakes à des fins de désinformation. En revanche, il n’est pas nécessaire de souligner qu’un algorithme générique d’optimisation de réseaux de neurones pourrait permettre à des personnes d’entraîner plus rapidement des modèles générant des deepfakes.

- Les auteurs devraient considérer les préjudices possibles qui pourraient survenir lorsque la technologie est utilisée comme prévu et fonctionne correctement, les préjudices qui pourraient survenir lorsque la technologie est utilisée comme prévu mais produit des résultats incorrects, ainsi que les préjudices découlant d’un usage abusif (intentionnel ou non) de la technologie.

- S’il existe des impacts sociétaux négatifs, les auteurs pourraient également discuter de stratégies d’atténuation possibles (par exemple, diffusion restreinte des modèles, fourniture de défenses en plus des attaques, mécanismes de surveillance des usages abusifs, mécanismes permettant de surveiller la manière dont un système apprend à partir des retours au fil du temps, amélioration de l’efficacité et de l’accessibilité de l’apprentissage automatique).

11. Garanties

Question : L’article décrit-il les garanties mises en place pour une diffusion responsable de données ou de modèles présentant un risque élevé d’usage abusif (par exemple, modèles de langage préentraînés, générateurs d’images ou jeux de données collectés par scraping) ?

Réponse : [NA]

Justification : N/A

Directives :

Directives :

12. Licences pour les ressources existantes

Question : Les créateurs ou propriétaires originaux des actifs (par exemple, code, données, modèles) utilisés dans l'article sont-ils correctement crédités et la licence et les conditions d'utilisation sont-elles explicitement mentionnées et correctement respectées ?

Réponse : [Oui]

Justification : Leur contribution a déjà été dûment reconnue et créditée.

Directives :

Directives :

13. Nouveaux actifs

Question : Les nouveaux actifs introduits dans l'article sont-ils bien documentés et la documentation est-elle fournie avec les actifs ?

Réponse : [NA]

Justification : N/A

Directives :

Directives :

14. Externalisation ouverte et recherche avec des sujets humains

Question : Pour les expériences d'externalisation ouverte et la recherche avec des sujets humains, l'article inclut-il le texte intégral des instructions données aux participants et des captures d'écran, le cas échéant, ainsi que des détails sur la compensation (le cas échéant) ?

Réponse : [NA]

Justification : N/A

Directives :

- La réponse NA signifie que l'article n'implique ni externalisation ouverte ni recherche avec des sujets humains.- Inclure ces informations dans le matériel supplémentaire est acceptable, mais si la contribution principale de l'article implique des sujets humains, alors autant de détails que possible devraient être inclus dans l'article principal.- Selon le Code d'éthique de NeurIPS, les travailleurs impliqués dans la collecte de données, la curation ou d'autres travaux devraient être payés au moins le salaire minimum du pays du collecteur de données.

15. Approbations du comité d'examen institutionnel (IRB) ou équivalent pour la recherche avec des sujets humains

Question : L'article décrit-il les risques potentiels encourus par les participants à l'étude, si ces risques ont été divulgués aux sujets, et si des approbations du comité d'examen institutionnel (IRB) (ou une approbation/examen équivalent basé sur les exigences de votre pays ou institution) ont été obtenues ?

Réponse : [NA]

Justification : N/A

Directives :

- La réponse NA signifie que l'article n'implique ni externalisation ouverte ni recherche avec des sujets humains.- Selon le pays dans lequel la recherche est menée, une approbation IRB (ou équivalent) peut être requise pour toute recherche avec des sujets humains. Si vous avez obtenu une approbation IRB, vous devez clairement l'indiquer dans l'article.- Nous reconnaissons que les procédures pour cela peuvent varier considérablement entre les institutions et les lieux, et nous attendons des auteurs qu'ils adhèrent au Code d'éthique de NeurIPS et aux directives de leur institution.- Pour les soumissions initiales, n'incluez aucune information qui briserait l'anonymat (le cas échéant), telle que l'institution menant l'examen.

16. Déclaration d'utilisation des LLM

Question : L'article décrit-il l'utilisation des LLM si celle-ci constitue un composant important, original ou non standard des méthodes centrales de cette recherche ? Notez que si le LLM n'est utilisé que à des fins de rédaction, d'édition ou de formatage et n'impacte pas la méthodologie centrale, la rigueur scientifique ou l'originalité de la recherche, une déclaration n'est pas requise.

Réponse : [NA]

Justification : N/A

Directives :

- La réponse NA signifie que le développement de la méthode centrale dans cette recherche n'implique pas les LLM comme composants importants, originaux ou non standard.- Veuillez vous référer à notre politique sur les LLM (https://neurips.cc/Conferences/2025/LLM) pour savoir ce qui devrait ou ne devrait pas être décrit.