Zum Hauptinhalt springen
Wujiang Xu et al.

Ein Agent vergisst zwischen Sitzungen alles. A-Mem hält Erinnerungen als verknüpfte Notizen, die sich selbst umschreiben. NeurIPS 2025, kostenlos lesen.

A-Mem: Agentic Memory for LLM Agents

A-Mem: Agentisches Gedächtnis für LLM-Agenten

Wujiang Xu1\mathbf{X}\mathbf{u}^{1} , Zujie Liang 2^{2} , Kai Mei 1^{1} , Hang Gao 1^{1} , Juntao Tan 1^{1} , Yongfeng Zhang 1,3^{1,3} 1^{1} Rutgers University 2^{2} Unabhängiger Forscher 3^{3} AIOS Foundation wujiang.xu@rutgers.edu

Zusammenfassung

Während Large-Language-Model-(LLM-)Agenten externe Werkzeuge für komplexe Aufgaben aus der realen Welt effektiv nutzen können, benötigen sie Gedächtnissysteme, um auf historische Erfahrungen zurückzugreifen. Aktuelle Gedächtnissysteme ermöglichen grundlegende Speicherung und Abruf, es fehlt ihnen jedoch an ausgefeilter Gedächtnisorganisation, trotz jüngster Versuche, Graphdatenbanken einzubeziehen. Darüber hinaus begrenzen die festen Operationen und Strukturen dieser Systeme ihre Anpassungsfähigkeit über verschiedene Aufgaben hinweg. Um diese Einschränkung zu adressieren, schlägt dieses Papier ein neuartiges agentisches Gedächtnissystem für LLM-Agenten vor, das Erinnerungen auf agentische Weise dynamisch organisieren kann. Nach den Grundprinzipien der Zettelkasten-Methode haben wir unser Gedächtnissystem so gestaltet, dass es durch dynamische Indexierung und Verknüpfung miteinander verbundene Wissensnetzwerke erzeugt. Wenn eine neue Erinnerung hinzugefügt wird, generieren wir eine umfassende Notiz, die mehrere strukturierte Attribute enthält, darunter kontextuelle Beschreibungen, Schlüsselwörter und Tags. Das System analysiert dann historische Erinnerungen, um relevante Verbindungen zu identifizieren, und stellt Verknüpfungen her, wo bedeutsame Ähnlichkeiten bestehen. Darüber hinaus ermöglicht dieser Prozess die Gedächtnisevolution – während neue Erinnerungen integriert werden, können sie Aktualisierungen der kontextuellen Repräsentationen und Attribute bestehender historischer Erinnerungen auslösen, sodass das Gedächtnisnetzwerk sein Verständnis kontinuierlich verfeinern kann. Unser Ansatz kombiniert die strukturierten Organisationsprinzipien des Zettelkastens mit der Flexibilität agentengesteuerter Entscheidungsfindung und ermöglicht so ein anpassungsfähigeres und kontextbewussteres Gedächtnismanagement. Empirische Experimente an sechs Grundmodellen zeigen überlegene Verbesserungen gegenüber bestehenden SOTA-Baselines.

⊚\circledcirc Code für die Benchmark-Evaluierung: https://github.com/WujiangXu/AgenticMemory ⊚\circledcirc Code für produktionsreifes agentisches Gedächtnis: https://github.com/WujiangXu/A- mem- sys

1 Einleitung

Large-Language-Model-(LLM-)Agenten haben bemerkenswerte Fähigkeiten in verschiedenen Aufgaben gezeigt, wobei jüngste Fortschritte es ihnen ermöglichen, mit Umgebungen zu interagieren, Aufgaben auszuführen und autonom Entscheidungen zu treffen [23, 33, 7]. Sie integrieren LLMs mit externen Werkzeugen und sorgfältig gestalteten Arbeitsabläufen, um ihre Argumentations- und Planungsfähigkeiten zu verbessern. Obwohl LLM-Agenten eine starke Argumentationsleistung aufweisen, benötigen sie dennoch ein Gedächtnissystem, um eine langfristige Interaktionsfähigkeit mit der externen Umgebung bereitzustellen [35].

Bestehende Gedächtnissysteme [25, 39, 28, 21] für LLM-Agenten bieten grundlegende Funktionalität zur Gedächtnisspeicherung. Diese Systeme erfordern, dass Agentenentwickler Gedächtnisspeicherstrukturen vordefinieren, Speicherpunkte innerhalb des Arbeitsablaufs festlegen und den Abrufzeitpunkt bestimmen. Um gleichzeitig die strukturierte Gedächtnisorganisation zu verbessern, integriert Mem0 [8] nach den Prinzipien von RAG [9, 18, 30] Graphdatenbanken in die Speicher- und Abrufprozesse. Während Graphdatenbanken eine strukturierte Organisation für Gedächtnissysteme bieten, schränkt ihre Abhängigkeit von vordefinierten Schemata und Beziehungen ihre Anpassungsfähigkeit grundlegend ein. Diese Einschränkung zeigt sich deutlich in praktischen Szenarien – wenn ein Agent eine neuartige mathematische Lösung erlernt, können aktuelle Systeme diese Information nur innerhalb ihres vorgegebenen Rahmens kategorisieren und verknüpfen

Abbildung 1: Herkömmliche Gedächtnissysteme erfordern vordefinierte Gedächtniszugriffsmuster, die im Workflow festgelegt werden, was ihre Anpassungsfähigkeit an unterschiedliche Szenarien einschränkt. Im Gegensatz dazu erhöht unser A-MEM die Flexibilität von LLM-Agenten durch die Ermöglichung dynamischer Gedächtnisoperationen.
Abbildung 1: Herkömmliche Gedächtnissysteme erfordern vordefinierte Gedächtniszugriffsmuster, die im Workflow festgelegt werden, was ihre Anpassungsfähigkeit an unterschiedliche Szenarien einschränkt. Im Gegensatz dazu erhöht unser A-MEM die Flexibilität von LLM-Agenten durch die Ermöglichung dynamischer Gedächtnisoperationen.

und sind nicht in der Lage, innovative Verbindungen herzustellen oder neue Organisationsmuster zu entwickeln, während sich das Wissen weiterentwickelt. Solche starren Strukturen, zusammen mit festen Agenten-Arbeitsabläufen, schränken die Fähigkeit dieser Systeme, über neue Umgebungen hinweg zu generalisieren und in langfristigen Interaktionen effektiv zu bleiben, stark ein. Die Herausforderung wird zunehmend kritisch, da LLM-Agenten komplexere, offene Aufgaben bewältigen, bei denen flexible Wissensorganisation und kontinuierliche Anpassung wesentlich sind. Daher bleibt die Frage, wie ein flexibles und universelles Gedächtnissystem zu gestalten ist, das die langfristigen Interaktionen von LLM-Agenten unterstützt, eine entscheidende Herausforderung.

In diesem Papier führen wir ein neuartiges agentisches Gedächtnissystem namens A- MEM für LLM-Agenten ein, das eine dynamische Gedächtnisstrukturierung ermöglicht, ohne auf statische, vorbestimmte Gedächtnisoperationen angewiesen zu sein. Unser Ansatz lässt sich von der Zettelkasten-Methode [15, 1] inspirieren, einem hochentwickelten Wissensmanagementsystem, das durch atomare Notizen und flexible Verknüpfungsmechanismen miteinander verbundene Informationsnetzwerke erzeugt. Unser System führt eine agentische Gedächtnisarchitektur ein, die ein autonomes und flexibles Gedächtnismanagement für LLM-Agenten ermöglicht. Für jede neue Erinnerung konstruieren wir umfassende Notizen, die mehrere Repräsentationen integrieren: strukturierte textuelle Attribute, die mehrere Attribute und Einbettungsvektoren für die Ähnlichkeitsabgleichung umfassen. Anschließend analysiert A- MEM das historische Gedächtnisrepositorium, um auf Grundlage semantischer Ähnlichkeiten und gemeinsamer Attribute bedeutungsvolle Verbindungen herzustellen. Dieser Integrationsprozess erzeugt nicht nur neue Verknüpfungen, sondern ermöglicht auch eine dynamische Evolution: Wenn neue Erinnerungen aufgenommen werden, können sie Aktualisierungen der kontextuellen Repräsentationen bestehender Erinnerungen auslösen, sodass das gesamte Gedächtnis sein Verständnis im Laufe der Zeit kontinuierlich verfeinern und vertiefen kann. Die Beiträge lassen sich wie folgt zusammenfassen:

- Wir präsentieren A-MEM, ein agentisches Gedächtnissystem für LLM-Agenten, das die autonome Generierung kontextueller Beschreibungen, die dynamische Herstellung von Gedächtnisverbindungen und die intelligente Evolution bestehender Erinnerungen auf Grundlage neuer Erfahrungen ermöglicht. Dieses System stattet LLM-Agenten mit langfristigen Interaktionsfähigkeiten aus, ohne vorbestimmte Gedächtnisoperationen zu erfordern.

- Wir entwerfen einen agentischen Gedächtnisaktualisierungsmechanismus, bei dem neue Erinnerungen automatisch zwei Schlüsseloperationen auslösen: Verknüpfungsgenerierung und Gedächtnisevolution. Die Verknüpfungsgenerierung stellt automatisch Verbindungen zwischen Erinnerungen her, indem sie gemeinsame Attribute und ähnliche kontextuelle Beschreibungen identifiziert. Die Gedächtnisevolution ermöglicht es bestehenden Erinnerungen, sich dynamisch anzupassen, während neue Erfahrungen analysiert werden, was zum Entstehen übergeordneter Muster und Attribute führt.

- Wir führen umfassende Evaluierungen unseres Systems mit einem langfristigen Konversationsdatensatz durch, vergleichen die Leistung über sechs Grundmodelle hinweg anhand von sechs unterschiedlichen Evaluierungsmetriken und zeigen signifikante Verbesserungen. Darüber hinaus stellen wir T-SNE-Visualisierungen bereit, um die strukturierte Organisation unseres agentischen Gedächtnissystems zu veranschaulichen.

2 Verwandte Arbeiten

2.1 Gedächtnis für LLM-Agenten

Frühere Arbeiten zu Gedächtnissystemen für LLM-Agenten haben verschiedene Mechanismen für Gedächtnismanagement und -nutzung untersucht [23, 21, 8, 39]. Einige Ansätze realisieren eine Interaktionsspeicherung, die umfassende historische Aufzeichnungen durch dichte Retrieval-Modelle [39] oder Lese-Schreib-Gedächtnisstrukturen [24] verwaltet. Darüber hinaus nutzt MemGPT [25] cacheähnliche Architekturen, um aktuelle Informationen zu priorisieren. In ähnlicher Weise schlägt SCM [32] ein Selbstkontrolliertes Gedächtnis-Framework (Self-Controlled Memory) vor, das die Fähigkeit von LLMs verbessert, langfristiges Gedächtnis durch einen Gedächtnisstrom und einen Controllermechanismus aufrechtzuerhalten. Diese Ansätze weisen jedoch erhebliche Einschränkungen bei der Bewältigung vielfältiger realer Aufgaben auf. Während sie grundlegende Gedächtnisfunktionalität bereitstellen können, sind ihre Operationen typischerweise durch vordefinierte Strukturen und feste Arbeitsabläufe eingeschränkt. Diese Einschränkungen rühren von ihrer Abhängigkeit von starren Operations

Abbildung 2: Unsere A-MEM-Architektur umfasst drei integrale Bestandteile der Speicherung von Erinnerungen. Während der Notizkonstruktion verarbeitet das System neue Interaktionserinnerungen und speichert sie als Notizen mit mehreren Attributen. Der Prozess der Link-Generierung ruft zunächst die relevantesten historischen Erinnerungen ab und setzt dann ein LLM ein, um zu bestimmen, ob zwischen ihnen Verbindungen hergestellt werden sollten. Das Konzept einer „Box" beschreibt, dass verwandte Erinnerungen durch ihre ähnlichen kontextuellen Beschreibungen miteinander verbunden werden, analog zur Zettelkasten-Methode. Unser Ansatz erlaubt es jedoch, dass einzelne Erinnerungen gleichzeitig in mehreren verschiedenen Boxen existieren. In der Phase des Erinnerungsabrufs extrahieren wir Query-Embeddings mithilfe eines Textkodierungsmodells und durchsuchen die Erinnerungsdatenbank nach relevanten Übereinstimmungen. Wenn eine zugehörige Erinnerung abgerufen wird, werden auch ähnliche Erinnerungen, die innerhalb derselben Box verlinkt sind, automatisch aufgerufen.
Abbildung 2: Unsere A-MEM-Architektur umfasst drei integrale Bestandteile der Speicherung von Erinnerungen. Während der Notizkonstruktion verarbeitet das System neue Interaktionserinnerungen und speichert sie als Notizen mit mehreren Attributen. Der Prozess der Link-Generierung ruft zunächst die relevantesten historischen Erinnerungen ab und setzt dann ein LLM ein, um zu bestimmen, ob zwischen ihnen Verbindungen hergestellt werden sollten. Das Konzept einer „Box" beschreibt, dass verwandte Erinnerungen durch ihre ähnlichen kontextuellen Beschreibungen miteinander verbunden werden, analog zur Zettelkasten-Methode. Unser Ansatz erlaubt es jedoch, dass einzelne Erinnerungen gleichzeitig in mehreren verschiedenen Boxen existieren. In der Phase des Erinnerungsabrufs extrahieren wir Query-Embeddings mithilfe eines Textkodierungsmodells und durchsuchen die Erinnerungsdatenbank nach relevanten Übereinstimmungen. Wenn eine zugehörige Erinnerung abgerufen wird, werden auch ähnliche Erinnerungen, die innerhalb derselben Box verlinkt sind, automatisch aufgerufen.

mustern her, insbesondere bei Gedächtnisschreib- und Abrufprozessen. Diese Unflexibilität führt zu schlechter Generalisierung in neuen Umgebungen und begrenzter Effektivität in langfristigen Interaktionen. Daher bleibt die Gestaltung eines flexiblen und universellen Gedächtnissystems, das die langfristigen Interaktionen von Agenten unterstützt, eine entscheidende Herausforderung.

2.2 Retrieval-Augmented Generation

Retrieval-Augmented Generation (RAG) hat sich als leistungsfähiger Ansatz zur Verbesserung von LLMs durch die Einbeziehung externer Wissensquellen herausgebildet [18, 6, 10]. Der Standard-RAG-Prozess [37, 34] umfasst die Indexierung von Dokumenten in Chunks, den Abruf relevanter Chunks auf Grundlage semantischer Ähnlichkeit und die Anreicherung des LLM-Prompts mit diesem abgerufenen Kontext für die Generierung. Fortgeschrittene RAG-Systeme [20, 12] haben sich weiterentwickelt und umfassen ausgefeilte Optimierungen vor und nach dem Abruf. Aufbauend auf diesen Grundlagen haben jüngste Forschungsarbeiten agentische RAG-Systeme eingeführt, die autonomere und anpassungsfähigere Verhaltensweisen im Abrufprozess zeigen. Diese Systeme können dynamisch bestimmen, wann und was abgerufen werden soll [4, 14], hypothetische Antworten generieren, um den Abruf zu leiten, und ihre Suchstrategien auf Grundlage von Zwischenergebnissen iterativ verfeinern [31, 29].

Während jedoch agentische RAG-Ansätze in der Abrufphase Handlungsfähigkeit zeigen, indem sie autonom entscheiden, wann und was abgerufen wird [4, 14, 38], weist unser agentisches Gedächtnissystem Handlungsfähigkeit auf einer grundlegenderen Ebene durch die autonome Evolution seiner Gedächtnisstruktur auf. Inspiriert von der Zettelkasten-Methode ermöglicht unser System Erinnerungen, aktiv ihre eigenen kontextuellen Beschreibungen zu generieren, bedeutungsvolle Verbindungen mit verwandten Erinnerungen zu bilden und sowohl ihren Inhalt als auch ihre Beziehungen weiterzuentwickeln, während neue Erfahrungen entstehen. Diese grundlegende Unterscheidung in der Handlungsfähigkeit zwischen Abruf einerseits sowie Speicherung und Evolution andererseits unterscheidet unseren Ansatz von agentischen RAG-Systemen, die trotz ihrer ausgefeilten Abrufmechanismen statische Wissensbasen beibehalten.

3 Methodik

Unser vorgeschlagenes agentisches Gedächtnissystem lässt sich von der Zettelkasten-Methode inspirieren und implementiert ein dynamisches und selbstentwickelndes Gedächtnissystem, das es LLM-Agenten ermöglicht, ein langfristiges Gedächtnis ohne vorbestimmte Operationen aufrechtzuerhalten. Das Design des Systems betont atomare Notiznahme, flexible Verknüpfungsmechanismen und die kontinuierliche Evolution von Wissensstrukturen.

3.1 Notizkonstruktion

Aufbauend auf den Prinzipien der atomaren Notiznahme und flexiblen Organisation der Zettelkasten-Methode führen wir einen LLM-gesteuerten Ansatz zur Konstruktion von Gedächtnisnotizen ein. Wenn ein Agent mit seiner Umgebung interagiert, konstruieren wir strukturierte Gedächtnisnotizen, die sowohl explizite Informationen als auch vom LLM generiertes kontextuelles Verständnis erfassen. Jede Gedächtnisnotiz mim_{i} in unserer Sammlung M={m1,m2,…,mN}\mathcal{M} = \{m_{1},m_{2},\dots,m_{N}\} wird dargestellt als:

mi={ci,ti,Ki,Gi,Xi,ei,Li}(1)m_{i} = \{c_{i},t_{i},K_{i},G_{i},X_{i},e_{i},L_{i}\} \quad (1)

wobei \(c_{i}\) den ursprünglichen Interaktionsinhalt repräsentiert, \(t_{i}\) der Zeitstempel der Interaktion ist, \(K_{i}\) vom LLM generierte Schlüsselwörter bezeichnet, die Schlüsselkonzepte erfassen, \(G_{i}\) vom LLM generierte Tags zur Kategorisierung enthält, \(X_{i}\) die vom LLM generierte kontextuelle Beschreibung repräsentiert, die ein reichhaltiges semantisches Verständnis ermöglicht, und \(L_{i}\) die Menge der verknüpften Erinnerungen verwaltet, die semantische Beziehungen teilen. Um jede Gedächtnisnotiz mit bedeutungsvollem Kontext über ihren grundlegenden Inhalt und Zeitstempel hinaus anzureichern, nutzen wir ein LLM, um die Interaktion zu analysieren und diese semantischen Komponenten zu generieren. Der Prozess der Notizkonstruktion umfasst das Prompting des LLM mit sorgfältig gestalteten Vorlagen \(P_{s1}\):

Ki,Gi,Xi←LLM(ci∥ti∥Ps1)(2)K_{i},G_{i},X_{i}\leftarrow \mathrm{LLM}(c_{i}\left\| t_{i}\right\| P_{s1}) \quad (2)

Dem Zettelkasten-Prinzip der Atomizität folgend, erfasst jede Notiz eine einzelne, in sich geschlossene Wissenseinheit. Um effizientes Abrufen und Verknüpfen zu ermöglichen, berechnen wir eine dichte Vektorrepräsentation über einen Text-Encoder [27], der alle textuellen Komponenten der Notiz umfasst:

ei=fenc[ concat(ci,Ki,Gi,Xi)](3)e_{i} = f_{\mathrm{enc}}[\mathrm{~concat}(c_{i},K_{i},G_{i},X_{i})] \quad (3)

Durch die Verwendung von LLMs zur Generierung angereicherter Komponenten ermöglichen wir die autonome Extraktion impliziten Wissens aus Rohinteraktionen. Die vielschichtige Notizstruktur \((K_{i},G_{i},X_{i})\) schafft reichhaltige Repräsentationen, die verschiedene Aspekte der Erinnerung erfassen und eine differenzierte Organisation und Abfrage erleichtern. Darüber hinaus bietet die Kombination der vom LLM generierten semantischen Komponenten mit dichten Vektorrepräsentationen sowohl Kontext als auch rechnereffizientes Ähnlichkeitsmatching.

3.2 Link-Generierung

Unser System implementiert einen autonomen Link-Generierungsmechanismus, der es neuen Gedächtnisnotizen ermöglicht, ohne vordefinierte Regeln bedeutungsvolle Verbindungen zu bilden. Wenn die konstruierte Gedächtnisnotiz \(m_{n}\) zum System hinzugefügt wird, nutzen wir zunächst ihre semantische Einbettung für ähnlichkeitsbasiertes Abrufen. Für jede bestehende Gedächtnisnotiz \(m_{j}\in \mathcal{M}\) berechnen wir einen Ähnlichkeitswert:

sn,j=en⋅ej∣en∣∣ej∣(4)s_{n,j} = \frac{e_{n}\cdot e_{j}}{\left|e_{n}\right|\left|e_{j}\right|} \quad (4)

Das System identifiziert dann die \(k\) relevantesten Erinnerungen:

Mnearn={mj∣rank(sn,j)≤k,mj∈M}(5)\mathcal{M}{\mathrm{near}}^{n} = \{m{j}\mid \mathrm{rank}(s_{n,j})\leq k,m_{j}\in \mathcal{M}\} \quad (5)

Basierend auf diesen Kandidaten nächster Erinnerungen fordern wir das LLM auf, potenzielle Verbindungen anhand ihrer möglichen gemeinsamen Attribute zu analysieren. Formal aktualisiert sich die Link-Menge der Erinnerung \(m_{n}\) wie folgt:

Li←LLM(mn∥Mnearn∥Ps2)(6)L_{i}\leftarrow \mathrm{LLM}(m_{n}\left\| \mathcal{M}{\mathrm{near}}^{n}\right\| P{s2}) \quad (6)

Jeder generierte Link lil_{i} ist wie folgt strukturiert: Li={mi,…,mk}L_{i} = \{m_{i},\dots,m_{k}\}. Durch die Verwendung von einbettungsbasiertem Retrieval als anfänglichem Filter ermöglichen wir effiziente Skalierbarkeit bei gleichzeitiger Wahrung semantischer Relevanz. A-MEM kann potenzielle Verbindungen selbst in großen Gedächtnissammlungen schnell identifizieren, ohne einen erschöpfenden Vergleich durchführen zu müssen. Noch wichtiger ist, dass die LLM-gesteuerte Analyse ein nuanciertes Verständnis von Beziehungen ermöglicht, das über einfache Ähnlichkeitsmetriken hinausgeht. Das Sprachmodell kann subtile Muster, kausale Beziehungen und konzeptuelle Verbindungen identifizieren, die allein aus der Einbettungsähnlichkeit möglicherweise nicht ersichtlich wären. Wir implementieren das Zettelkasten-Prinzip der flexiblen Verknüpfung und nutzen dabei moderne Sprachmodelle. Das resultierende Netzwerk entsteht organisch aus dem Gedächtnisinhalt und dem Kontext und ermöglicht eine natürliche Wissensorganisation.

3.3 Gedächtnisevolution

Nachdem Links für das neue Gedächtnis erstellt wurden, entwickelt A-MEM die abgerufenen Gedächtnisse basierend auf ihren textlichen Informationen und ihren Beziehungen zum neuen Gedächtnis weiter. Für jedes Gedächtnis mjm_{j} in der Menge der nächsten Nachbarn Mnearn\mathcal{M}_{\mathrm{near}}^{n} bestimmt das System, ob dessen Kontext, Schlüsselwörter und Tags aktualisiert werden sollen. Dieser Evolutionsprozess lässt sich formal wie folgt ausdrücken:

mj∗←LLM(mn∥Mnearn∖mj∥mj∥Ps3)(7)m_{j}^{*}\leftarrow \mathrm{LLM}\big(m_{n}\parallel \mathcal{M}{\mathrm{near}}^{n}\setminus m{j}\parallel m_{j}\parallel P_{s3}\big) \quad (7)

Das weiterentwickelte Gedächtnis mj∗m_{j}^{*} ersetzt dann das ursprüngliche Gedächtnis mjm_{j} in der Gedächtnismenge M\mathcal{M}. Dieser evolutionäre Ansatz ermöglicht kontinuierliche Aktualisierungen und neue Verbindungen und ahmt menschliche Lernprozesse nach. Während das System im Laufe der Zeit mehr Gedächtnisse verarbeitet, entwickelt es zunehmend ausgefeiltere Wissensstrukturen und entdeckt Muster und Konzepte höherer Ordnung über mehrere Gedächtnisse hinweg. Dies schafft eine Grundlage für autonomes Gedächtnislernen, bei dem die Wissensorganisation durch die fortlaufende Interaktion zwischen neuen Erfahrungen und bestehenden Gedächtnissen zunehmend reicher wird.

3.4 Abruf relevanter Gedächtnisse

In jeder Interaktion führt unser A-MEM einen kontextbewussten Gedächtnisabruf durch, um dem Agenten relevante historische Informationen bereitzustellen. Gegeben einen Abfragetext \(q\) aus der aktuellen Interaktion, berechnen wir zunächst seine dichte Vektordarstellung unter Verwendung desselben Textencoders, der für die Gedächtnisnotizen verwendet wird:

eq=fenc(q)(8)e_{q} = f_{\mathrm{enc}}(q) \quad (8)

Das System berechnet dann Ähnlichkeitswerte zwischen der Abfrage-Einbettung und allen vorhandenen Gedächtnisnotizen in \(\mathcal{M}\) mittels Kosinusähnlichkeit:

sq,i=eq⋅ei∣eq∣∣ei∣,whereei∈mi,∀mi∈M(9)s_{q,i} = \frac{e_{q}\cdot e_{i}}{\left|e_{q}\right|\left|e_{i}\right|},\mathrm{where} e_{i}\in m_{i},\forall m_{i}\in \mathcal{M} \quad (9)

Anschließend rufen wir die k relevantesten Gedächtnisse aus dem historischen Gedächtnisspeicher ab, um einen kontextuell angemessenen Prompt zu konstruieren.

Mretrieved={mi∣rank(sq,i)≤k,mi∈M}(10)\mathcal{M}{\mathrm{retrieved}} = \{m{i}|\mathrm{rank}(s_{q,i})\leq k,m_{i}\in \mathcal{M}\} \quad (10)

Diese abgerufenen Gedächtnisse liefern relevanten historischen Kontext, der dem Agenten hilft, die aktuelle Interaktion besser zu verstehen und darauf zu reagieren. Der abgerufene Kontext bereichert den Schlussfolgerungsprozess des Agenten, indem er die aktuelle Interaktion mit verwandten vergangenen Erfahrungen verbindet, die im Gedächtnissystem gespeichert sind.

4 Experiment

4.1 Datensatz und Evaluation

Um die Wirksamkeit instruktionsbewusster Empfehlung in langfristigen Konversationen zu evaluieren, verwenden wir den LoCoMo-Datensatz [22], der im Vergleich zu bestehenden Konversationsdatensätzen [36, 13] deutlich längere Dialoge enthält. Während frühere Datensätze Dialoge mit etwa 1K Tokens über 4–5 Sitzungen enthalten, weist LoCoMo viel längere Konversationen mit durchschnittlich 9K Tokens auf, die bis zu 35 Sitzungen umfassen, was ihn besonders geeignet macht, um die Fähigkeit von Modellen zu bewerten, weitreichende Abhängigkeiten zu handhaben und Konsistenz über längere Konversationen hinweg aufrechtzuerhalten. Der LoCoMo-Datensatz umfasst vielfältige Fragetypen, die darauf ausgelegt sind, verschiedene Aspekte des Modellverständnisses umfassend zu evaluieren: (1) Single-Hop-Fragen, die aus einer einzigen Sitzung beantwortbar sind; (2) Multi-Hop-Fragen, die eine Informationssynthese über Sitzungen hinweg erfordern; (3) Fragen zum temporalen Schlussfolgern, die das Verständnis zeitbezogener Informationen testen; (4) Fragen zu offenem Domänenwissen, die die Integration von Konversationskontext mit externem Wissen erfordern; und (5) adversariale Fragen, die die Fähigkeit von Modellen bewerten, nicht beantwortbare Anfragen zu erkennen. Insgesamt enthält LoCoMo 7.512 Frage-Antwort-Paare über diese Kategorien hinweg. Darüber hinaus verwenden wir einen neuen Datensatz namens DialSim [16], um die Wirksamkeit unseres Gedächtnissystems zu evaluieren. Es handelt sich um einen Frage-Antwort-Datensatz, der aus langfristigen Mehrparteien-Dialogen abgeleitet ist. Der Datensatz stammt aus beliebten Fernsehserien (Friends, The Big Bang Theory und The Office), umfasst 1.300 Sitzungen über fünf Jahre, enthält etwa 350.000 Tokens und beinhaltet mehr als 1.000 Fragen pro Sitzung aus verfeinerten Fragen von Fan-Quiz-Websites sowie komplexe Fragen, die aus temporalen Wissensgraphen generiert wurden.

Für Vergleichsbaselines vergleichen wir mit LoCoMo [22], ReadAgent [17], MemoryBank [39] und MemGPT [25]. Eine detaillierte Einführung der Baselines findet sich in Anhang A.1. Für die Evaluation verwenden wir zwei primäre Metriken: den F1-Score zur Bewertung der Antwortgenauigkeit durch Abwägung von Precision und Recall sowie BLEU-1 [26] zur Bewertung der Qualität generierter Antworten durch Messung der Wortüberlappung

ModellMethodeKategorieDurchschnitt
Multi Hop F1BLEUTemporal F1Open Domain F1Single Hop F1BLEUAdversial F1BLEURanking F1BLEUToken-Länge
GPTLoCoMo25,0219,7518,4114,7712,0411,1640,3629,0569,2368,752,42,4
READAGENT9,156,4812,608,875,315,129,677,669,819,024,24,2
MEMORYBANK5,004,779,686,995,565,946,615,167,366,484,84,8
MEMGPT26,6517,7225,5219,449,157,4441,0434,3443,2942,732,42,4
A-MEM27,0220,0945,8536,6712,1412,0044,6537,0650,0349,471,21,2
GPTLoCoMo28,0018,479,095,7816,4714,8061,5654,1952,6151,132,02,0
READAGENT14,619,954,163,198,848,3712,4610,296,816,134,04,0
MEMORYBANK6,494,692,472,436,435,308,287,104,423,675,05,0
MEMGPT30,3622,8317,2913,1812,2411,8760,1653,3534,9634,252,42,4
A-MEM32,8623,7639,4131,2317,1015,8448,4342,9736,3535,531,61,6
GPTLoCoMo9,056,554,254,049,918,5011,158,6740,3840,233,43,4
READAGENT6,614,932,552,515,3112,2410,137,545,4227,324,64,6
MEMORYBANK11,148,254,462,878,056,2113,4211,0136,7634,002,62,6
MEMGPT10,447,614,213,8913,4211,649,567,3431,5128,903,43,4
A-MEM18,2311,9424,3219,7416,4814,3123,6319,2346,0043,261,01,0
GPTLoCoMo4,614,293,112,714,555,977,035,6916,9514,813,23,2
READAGENT2,471,783,013,015,575,223,252,5115,7814,014,24,2
MEMORYBANK3,603,391,971,676,636,584,113,3213,0710,304,24,2
MEMGPT5,074,312,942,957,047,107,265,5214,4712,392,42,4
A-MEM12,579,0127,5925,077,127,2817,2313,1227,9125,151,01,0
LLaMA 2LoCoMo11,259,187,386,8211,9010,3812,8610,5051,8948,273,43,4
READAGENT5,965,121,932,3012,4611,177,756,0344,6440,154,64,6
MEMORYBANK13,1810,037,616,2715,7812,9417,3014,0352,6147,532,02,0
MEMGPT9,196,964,024,7911,348,2410,167,6849,7545,114,04,0
A-MEM19,0611,7117,8010,2817,5514,6728,5124,1358,8154,281,01,0
LLaMA 2LoCoMo6,885,774,374,4010,659,298,376,9330,2528,462,82,8
READAGENT2,471,783,013,015,575,223,252,5115,7814,014,24,2
MEMORYBANK6,194,473,493,134,074,577,616,0318,6517,053,23.2
MEMGPT5,323,992,682,725,645,544,323,5121,4519,373,83,8
A-MEM17,4411,7426,3819,5012,5311,8328,1423,8742,0440,601,01,0
Tabelle 1: Experimentelle Ergebnisse auf dem LoCoMo-Datensatz für QA-Aufgaben über fünf Kategorien (Multi Hop, Temporal, Open Domain, Single Hop und Adversial) unter Verwendung verschiedener Methoden. Die Ergebnisse werden als F1- und BLEU-1-Werte (%)(\%) angegeben. Die beste Leistung ist fett markiert, und unsere vorgeschlagene Methode A-MEM (grau hervorgehoben) zeigt über sechs Foundation-Sprachmodelle hinweg eine wettbewerbsfähige Leistung.

mit den Ground-Truth-Antworten. Zudem berichten wir die durchschnittliche Tokenlänge für die Beantwortung einer Frage. Neben den Berichten von Versuchsergebnissen mit vier zusätzlichen Metriken (ROUGE-L, ROUGE-2, METEOR und SBERT-Ähnlichkeit) präsentieren wir auch experimentelle Ergebnisse unter Verwendung verschiedener Fundamentmodelle, darunter DeepSeek-R1-32B [11], Claude 3.0 Haiku [2] und Claude 3.5 Haiku [3], in Anhang A.3.

4.2 Implementierungsdetails

Für alle Baselines und unsere vorgeschlagene Methode wahren wir Konsistenz, indem wir identische System-Prompts verwenden, wie in Anhang B detailliert beschrieben. Die Bereitstellung der Modelle Qwen-1.5B/3B und Llama 3.2 1B/3B erfolgt durch lokale Instanziierung mit Ollama 1, wobei LiteLLM 2 die Generierung strukturierter Ausgaben verwaltet. Für GPT-Modelle nutzen wir die offizielle API für strukturierte Ausgaben. In unserem Gedächtnisabrufprozess verwenden wir hauptsächlich k=10k = 10 für die Top-kk-Gedächtnisauswahl, um die Recheneffizienz zu wahren, während wir diesen Parameter für bestimmte Kategorien anpassen, um die Leistung zu optimieren. Die detaillierten Konfigurationen von kk finden sich in Anhang A.5. Für Text-Embedding implementieren wir das Modell all-miniml-16-v2 in allen Experimenten.

4.3 Empirische Ergebnisse

Leistungsanalyse. In unserer empirischen Evaluation verglichen wir A-MEM mit vier konkurrenzfähigen Baselines, darunter LoCoMo [22], ReadAgent [17], MemoryBank [39] und MemGPT [25], auf dem LoCoMo-Datensatz. Für Nicht-GPT-Fundamentmodelle übertrifft unser A-MEM durchgängig alle Baselines über verschiedene Kategorien hinweg, was die Wirksamkeit unseres agentischen Gedächtnisansatzes demonstriert. Für GPT-basierte Modelle, während LoCoMo und MemGPT in bestimmten Kategorien wie Open Domain und Adversial Tasks aufgrund ihres robusten vortrainierten Wissens beim einfachen Faktenabruf starke Leistungen zeigen, weist unser A-MEM überlegene Leistung bei Multi-Hop-Aufgaben auf und erreicht mindestens doppelt so gute Leistung bei Aufgaben, die komplexe Schlussfolgerungsketten erfordern. Zusätzlich zu den Experimenten auf dem LoCoMo-Datensatz vergleichen wir unsere Methode auch auf dem DialSim-Datensatz mit LoCoMo und MemGPT. A-MEM übertrifft durchgängig alle Baselines über alle Evaluationsmetriken hinweg und erreicht einen F1-

MethodeF1BLEU-1ROUGE-LROUGE-2METEORSBERT-Ähnlichkeit
LoCoMo2,553,132,750,901,6415,76
MemGPT1,181,070,960,420,958,54
A-MEM3,453,373,543,602,0519,51
Tabelle 2: Vergleich verschiedener Speichermechanismen anhand mehrerer Evaluationsmetriken auf DialSim [16]. Höhere Werte zeigen eine bessere Leistung an, wobei A-MEM bei allen Metriken überlegene Ergebnisse erzielt.
MethodeMulti-HopTemporalKategorieSingle-HopAdversarial
F1BLEU-1F1BLEU-1F1BLEU-1F1BLEU-1F1BLEU-1
ohne LG & ME9,657,0924,5519,487,776,7013,2810,3015,3218,02
ohne ME21,3515,1331,2427,3110,1310,8539,1734,7044,1645,33
A-MEM27,0220,0945,8536,6712,1412,0044,6537,0650,0349,47
Tabelle 3: Es wurde eine Ablationsstudie durchgeführt, um unser vorgeschlagenes Verfahren mit dem GPT-4o-mini-Basismodell zu vergleichen. Die Notation „w/o“ kennzeichnet Experimente, bei denen bestimmte Module entfernt wurden. Die Abkürzungen LG und ME bezeichnen das Modul zur Link-Generierung bzw. das Modul zur Gedächtnisevolution.

Score von 3,45 (eine 35%35\%-Verbesserung gegenüber LoCoMos 2,55 und 192%192\% höher als MemGPTs 1,18). Die Wirksamkeit von A-MEM rührt von seiner neuartigen agentischen Gedächtnisarchitektur her, die ein dynamisches und strukturiertes Gedächtnismanagement ermöglicht. Anders als traditionelle Ansätze, die statische Gedächtnisoperationen verwenden, erzeugt unser System miteinander verbundene Gedächtnisnetzwerke durch atomare Notizen mit reichhaltigen kontextuellen Beschreibungen, was effektiveres Multi-Hop-Schlussfolgern ermöglicht. Die Fähigkeit des Systems, dynamisch Verbindungen zwischen Gedächtnissen basierend auf gemeinsamen Attributen herzustellen und bestehende Gedächtnisbeschreibungen kontinuierlich mit neuen kontextuellen Informationen zu aktualisieren, ermöglicht es ihm, die Beziehungen zwischen verschiedenen Informationsstücken besser zu erfassen und zu nutzen.

Kosteneffizienzanalyse. A-MEM demonstriert neben starker Leistung auch erhebliche Rechen- und Kosteneffizienz. Das System benötigt etwa 1.200 Tokens pro Gedächtnisoperation und erreicht eine 85−93%85 - 93\%-Reduktion des Tokenverbrauchs im Vergleich zu Baseline-Methoden (LoCoMo und MemGPT mit 16.900 Tokens) durch unseren selektiven Top-k-Abrufmechanismus. Diese erhebliche Tokenreduktion schlägt sich direkt in niedrigeren Betriebskosten nieder, wobei jede Gedächtnisoperation weniger als 0,0003\(kostet, wenn kommerzielle API-Dienste verwendet werden – was großskalige Bereitstellungen wirtschaftlich tragfähig macht. Die Verarbeitungszeiten betragen durchschnittlich 5,4 Sekunden mit GPT-4o-mini und nur 1,1 Sekunden mit lokal gehostetem Llama 3.2 1B auf einer einzelnen GPU. Obwohl während der Gedächtnisverarbeitung mehrere LLM-Aufrufe erforderlich sind, behält A-MEM diese kosteneffektive Ressourcennutzung bei und übertrifft durchgängig die Baseline-Ansätze über alle getesteten Fundamentmodelle hinweg, insbesondere mit doppelter Leistung bei komplexen Multi-Hop-Schlussfolgerungsaufgaben. Diese Balance aus geringen Rechenkosten und überlegener Schlussfolgerungsfähigkeit hebt den praktischen Vorteil von A-MEM für den Einsatz in der realen Welt hervor.

4.4 Ablationsstudie

Um die Wirksamkeit der Module Link Generation (LG) und Memory Evolution (ME) zu bewerten, führen wir die Ablationsstudie durch, indem wir Schlüsselkomponenten unseres Modells systematisch entfernen. Wenn sowohl die LG- als auch die ME-Module entfernt werden, zeigt das System eine erhebliche Leistungsverschlechterung, insbesondere bei Multi-Hop-Reasoning- und Open-Domain-Aufgaben. Das System mit nur aktivem LG (ohne ME) zeigt mittlere Leistungsniveaus und erzielt weiterhin deutlich bessere Ergebnisse als die Version ohne beide Module, was die grundlegende Bedeutung der Linkgenerierung für die Herstellung von Gedächtnisverbindungen demonstriert. Unser vollständiges Modell A-MEM erzielt durchgängig die beste Leistung in allen Bewertungskategorien, mit besonders starken Ergebnissen bei komplexen Reasoning-Aufgaben. Diese Ergebnisse zeigen, dass das Linkgenerierungsmodul zwar eine kritische Grundlage für die Gedächtnisorganisation bildet, das Memory-Evolution-Modul jedoch wesentliche Verfeinerungen der Gedächtnisstruktur liefert. Die Ablationsstudie validiert unsere architektonischen Designentscheidungen und hebt die komplementäre Natur dieser beiden Module bei der Schaffung eines effektiven Gedächtnissystems hervor.

4.5 Hyperparameter-Analyse

Wir haben umfangreiche Experimente durchgeführt, um die Auswirkung des Gedächtnisabrufparameters k zu analysieren, der die Anzahl der relevanten Gedächtnisse steuert, die für jede Interaktion abgerufen werden. Wie in Abbildung 3 gezeigt, haben wir die Leistung über verschiedene k-Werte (10, 20, 30, 40, 50) in fünf Aufgabenkategorien unter Verwendung von GPT-4o-mini als Basismodell evaluiert. Die Ergebnisse zeigen ein interessantes Muster: Während eine Erhöhung von k im Allgemeinen zu einer verbesserten Leistung führt, flacht diese Verbesserung allmählich ab und nimmt bei höheren Werten manchmal leicht ab. Dieser Trend ist besonders deutlich bei Multi-Hop- und Open-Domain-

Abbildung 3: Auswirkung des Speicher-Abrufparameters k über verschiedene Aufgabenkategorien hinweg mit GPT-4o-mini als Basismodell. Während größere k-Werte die Leistung im Allgemeinen durch reichhaltigeren historischen Kontext verbessern, nehmen die Zugewinne jenseits bestimmter Schwellenwerte ab, was auf einen Trade-off zwischen Kontextreichhaltigkeit und effektiver Informationsverarbeitung hindeutet. Dieses Muster ist über alle Bewertungskategorien hinweg konsistent und verdeutlicht die Bedeutung eines ausgewogenen Kontextabrufs für optimale Leistung.
Abbildung 3: Auswirkung des Speicher-Abrufparameters k über verschiedene Aufgabenkategorien hinweg mit GPT-4o-mini als Basismodell. Während größere k-Werte die Leistung im Allgemeinen durch reichhaltigeren historischen Kontext verbessern, nehmen die Zugewinne jenseits bestimmter Schwellenwerte ab, was auf einen Trade-off zwischen Kontextreichhaltigkeit und effektiver Informationsverarbeitung hindeutet. Dieses Muster ist über alle Bewertungskategorien hinweg konsistent und verdeutlicht die Bedeutung eines ausgewogenen Kontextabrufs für optimale Leistung.

Tabelle 4: Vergleich des Speicherverbrauchs und der Abrufzeit über verschiedene Gedächtnismethoden und -skalen hinweg.

SpeichergrößeMethodeSpeicherverbrauch (MB)Abrufzeit (μs)
1.000A-MEM1,460,31 ± 0,30
MemoryBank [39]1,460,24 ± 0,20
ReadAgent [17]1,4643,62 ± 8,47
10.000A-MEM14,650,38 ± 0,25
MemoryBank [39]14,650,26 ± 0,13
ReadAgent [17]14,65484,45 ± 93,86
100.000A-MEM146,481,40 ± 0,49
MemoryBank [39]146,480,78 ± 0,26
ReadAgent [17]146,486.682,22 ± 111,63
1.000.000A-MEM1464,843,70 ± 0,74
MemoryBank [39]1464,841,91 ± 0,31
ReadAgent [17]1464,84120.069,68 ± 1.673,39

Aufgaben. Die Beobachtung legt ein empfindliches Gleichgewicht beim Gedächtnisabruf nahe – während größere k-Werte einen reicheren historischen Kontext für das Reasoning bieten, können sie auch Rauschen einführen und die Fähigkeit des Modells, längere Sequenzen effektiv zu verarbeiten, herausfordern. Unsere Analyse deutet darauf hin, dass moderate k-Werte ein optimales Gleichgewicht zwischen Kontextreichtum und Informationseffizienz bei der Verarbeitung erzielen.

4.6 Skalierungsanalyse

Um die Speicherkosten bei akkumulierendem Gedächtnis zu bewerten, untersuchten wir die Beziehung zwischen Speichergröße und Abrufzeit über unser A-MEM-System und zwei Baseline-Ansätze hinweg: MemoryBank [39] und ReadAgent [17]. Wir evaluierten diese drei Gedächtnissysteme mit identischem Gedächtnisinhalt über vier Skalenpunkte hinweg, wobei die Anzahl der Einträge bei jedem Schritt um den Faktor 10 erhöht wurde (von 1.000 auf 10.000, 100.000 und schließlich 1.000.000 Einträge). Die experimentellen Ergebnisse liefern wichtige Erkenntnisse über die Skalierungseigenschaften unseres A-MEM-Systems: Hinsichtlich der Raumkomplexität zeigen alle drei Systeme eine identische lineare Skalierung des Speicherverbrauchs (O(N))(O(N)), wie für vektorbasierte Abrufsysteme zu erwarten ist. Dies bestätigt, dass A-MEM im Vergleich zu Baseline-Ansätzen keinen zusätzlichen Speicheraufwand einführt. Bei der Abrufzeit zeigt A-MEM eine hervorragende Effizienz mit minimalen Anstiegen bei wachsender Gedächtnisgröße. Selbst bei Skalierung auf 1 Million Gedächtnisse steigt die Abrufzeit von A-MEM nur von 0.31μs0.31\mu \mathrm{s} auf 3.70μs3.70\mu \mathrm{s}, was eine außergewöhnliche Leistung darstellt. Während MemoryBank etwas schnellere Abrufzeiten zeigt, hält A-MEM eine vergleichbare Leistung aufrecht und bietet zugleich reichere Gedächtnisrepräsentationen und Funktionalität. Basierend auf unserer Analyse der Raumkomplexität und der Abrufzeit schlussfolgern wir, dass die Abrufmechanismen von A-MEM selbst bei großen Skalen eine hervorragende Effizienz beibehalten. Der minimale Anstieg der Abrufzeit über die Gedächtnisgrößen hinweg adressiert Bedenken hinsichtlich der Effizienz bei großskaligen Gedächtnissystemen und zeigt, dass A-MEM eine hochgradig skalierbare Lösung für die Verwaltung langfristiger Konversationen bietet. Diese einzigartige Kombination aus Effizienz, Skalierbarkeit und erweiterten Gedächtnisfähigkeiten positioniert A-MEM als einen bedeutenden Fortschritt beim Aufbau eines leistungsstarken und langfristigen Gedächtnismechanismus für LLM-Agenten.

Abbildung 4: T-SNE-Visualisierung der Speicher-Embeddings, die eine organisiertere Verteilung mit A-MEM (blau) im Vergleich zum Basis-Speicher (rot) über verschiedene Dialoge hinweg zeigt. Basis-Speicher bezeichnet A-MEM ohne Link-Generierung und Speicherevolution.

4.7 Speicheranalyse

Wir präsentieren die t-SNE-Visualisierung in Abbildung 4 der Speicher-Embeddings, um die strukturellen Vorteile unseres agentischen Speichersystems zu demonstrieren. Bei der Analyse zweier Dialoge, die aus Langzeitkonversationen in LoCoMo [22] entnommen wurden, beobachten wir, dass A-MEM (blau dargestellt) durchgängig kohärentere Clusterungsmuster im Vergleich zum Basissystem (rot dargestellt) aufweist. Diese strukturelle Organisation zeigt sich besonders deutlich in Dialog 2, wo im zentralen Bereich klar abgegrenzte Cluster entstehen, was empirische Belege für die Wirksamkeit unseres Speicherevolutionsmechanismus und der Generierung kontextueller Beschreibungen liefert. Im Gegensatz dazu zeigen die Speicher-Embeddings der Baseline eine dispersere Verteilung, was belegt, dass den Speichern ohne unsere Link-Generierungs- und Speicherevolutionskomponenten die strukturelle Organisation fehlt. Diese Visualisierungsergebnisse bestätigen, dass A-MEM durch dynamische Evolutions- und Verknüpfungsmechanismen autonom bedeutungsvolle Speicherstrukturen aufrechterhalten kann. Weitere Ergebnisse sind in Anhang A.4 zu finden.

5 Schlussfolgerungen

In dieser Arbeit haben wir A-MEM vorgestellt, ein neuartiges agentisches Speichersystem, das LLM-Agenten befähigt, ihre Speicher dynamisch zu organisieren und weiterzuentwickeln, ohne auf vordefinierte Strukturen angewiesen zu sein. Inspiriert von der Zettelkasten-Methode erzeugt unser System ein miteinander verbundenes Wissensnetzwerk durch dynamische Indexierungs- und Verknüpfungsmechanismen, die sich an vielfältige realweltliche Aufgaben anpassen. Die Kernarchitektur des Systems zeichnet sich durch die autonome Generierung kontextueller Beschreibungen für neue Speicher und die intelligente Herstellung von Verbindungen zu bestehenden Speichern auf Basis gemeinsamer Attribute aus. Darüber hinaus ermöglicht unser Ansatz die kontinuierliche Evolution historischer Speicher durch die Integration neuer Erfahrungen und die Entwicklung höherstufiger Attribute durch fortlaufende Interaktionen. Durch umfangreiche empirische Evaluierung über sechs Basismodelle hinweg haben wir gezeigt, dass A-MEM im Vergleich zu bestehenden State-of-the-Art-Baselines bei Langzeit-Konversationsaufgaben überlegene Leistungen erzielt. Die Visualisierungsanalyse bestätigt zudem die Wirksamkeit unseres Ansatzes zur Speicherorganisation. Diese Ergebnisse legen nahe, dass agentische Speichersysteme die Fähigkeit von LLM-Agenten, Langzeitwissen in komplexen Umgebungen zu nutzen, erheblich verbessern können.

6 Einschränkungen

Obwohl unser agentisches Speichersystem vielversprechende Ergebnisse erzielt, erkennen wir mehrere Bereiche für mögliche zukünftige Untersuchungen an. Erstens kann die Qualität der Organisationen, obwohl unser System Speicher dynamisch organisiert, weiterhin durch die inhärenten Fähigkeiten der zugrunde liegenden Sprachmodelle beeinflusst werden. Verschiedene LLMs könnten leicht unterschiedliche kontextuelle Beschreibungen generieren oder unterschiedliche Verbindungen zwischen Speichern herstellen. Darüber hinaus könnte zukünftige Arbeit, während unsere aktuelle Implementierung auf textbasierte Interaktionen fokussiert ist, die Erweiterung des Systems zur Verarbeitung multimodaler Informationen wie Bilder oder Audio untersuchen, was reichere kontextuelle Repräsentationen ermöglichen könnte.

Literaturverzeichnis

[1] Sönke Ahrens. How to Take Smart Notes: One Simple Technique to Boost Writing, Learning and Thinking. Amazon, 2017. Second Edition.

[2] Anthropic. The claude 3 model family: Opus, sonnet, haiku. Anthropic, Mar 2024. Accessed May 2025.

[3] Anthropic. Claude 3.5 sonnet model card addendum. Technical report, Anthropic, 2025. Accessed May 2025.

[4] Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, and Hannaneh Hajishirzi. Self-rag: Learning to retrieve, generate, and critique through self-reflection. arXiv preprint arXiv:2310.11511, 2023.

[5] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pages 65-72, 2005.

[6] Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George Bm Van Den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. Improving language models by retrieving from trillions of tokens. In International conference on machine learning, pages 2206-2240. PMLR, 2022.

[7] Xiang Deng, Yu Gu, Boyuan Zheng, Shijie Chen, Sam Stevens, Boshi Wang, Huan Sun, and Yu Su. Mind2web: Towards a generalist agent for the web. Advances in Neural Information Processing Systems, 36:28091-28114, 2023.

[8] Khant Dev and Singh Taranjeet. mem0: The memory layer for ai agents. https://github.com/mem0ai/mem0, 2024.

[9] Darren Edge, Ha Trinh, Newman Cheng, Joshua Bradley, Alex Chao, Apurva Mody, Steven Truitt, and Jonathan Larson. From local to global: A graph rag approach to query-focused summarization. arXiv preprint arXiv:2404.16130, 2024.

[10] Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, and Haofen Wang. Retrieval-augmented generation for large language models: A survey. arXiv preprint arXiv:2312.10997, 2023.

[11] Daya Guo, Dejian Yang, Haowei Zhang, Junxiao Song, Ruoyu Zhang, Runxin Xu, Qihao Zhu, Shirong Ma, Peiyi Wang, Xiao Bi, et al. Deepseek-r1: Incentivizing reasoning capability in llms via reinforcement learning. arXiv preprint arXiv:2501.12948, 2025.

[12] I. Ilin. Advanced rag techniques: An illustrated overview, 2023.

[13] Jihyoung Jang, Minseong Boo, and Hyounghun Kim. Conversation chronicles: Towards diverse temporal and relational dynamics in multi-session conversations. arXiv preprint arXiv:2310.13420, 2023.

[14] Zhengbao Jiang, Frank F Xu, Luyu Gao, Zhiqing Sun, Qian Liu, Jane Dwivedi-Yu, Yiming Yang, Jamie Callan, and Graham Neubig. Active retrieval augmented generation. arXiv preprint arXiv:2305.06983, 2023.

[15] David Kadavy. Digital Zettelkasten: Principles, Methods, & Examples. Google Books, May 2021.

[16] Jiho Kim, Woosog Chay, Hyeonji Hwang, Daeun Kyung, Hyunseung Chung, Eunbyeol Cho, Yohan Jo, and Edward Choi. Dialism: A real-time simulator for evaluating long-term multi-party dialogue understanding of conversational agents. arXiv preprint arXiv:2406.13144, 2024.

[17] Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, and Ian Fischer. A human-inspired reading agent with gist memory of very long contexts. arXiv preprint arXiv:2402.09727, 2024.

[18] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Kuttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, 33:9459-9474, 2020.

[19] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pages 74-81, 2004.

[20] Xi Victoria Lin, Xilun Chen, Mingda Chen, Weijia Shi, Maria Lomeli, Rich James, Pedro Rodriguez, Jacob Kahn, Gergely Szilvasy, Mike Lewis, et al. Ra-dit: Retrieval-augmented dual instruction tuning. arXiv preprint arXiv:2310.01352, 2023.

[21] Zhiwei Liu, Weiran Yao, Jianguo Zhang, Liangwei Yang, Zuxin Liu, Juntao Tan, Prafulla K Choubey, Tian Lan, Jason Wu, Huan Wang, et al. Agentlite: A lightweight library for building and advancing task-oriented llm agent system. arXiv preprint arXiv:2402.15538, 2024.

[22] Adyasha Maharana, Dong-Ho Lee, Sergey Tulyakov, Mohit Bansal, Francesco Barbieri, and Yuwei Fang. Evaluating very long-term conversational memory of llm agents. arXiv preprint arXiv:2402.17753, 2024.

[23] Kai Mei, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, and Yongfeng Zhang. Aios: Llm agent operating system. arXiv e-prints, pp. arXiv-2403, 2024.

[24] Ali Modarressi, Ayyob Imani, Mohsen Fayyaz, and Hinrich Schütze. Ret-llm: Towards a general read-write memory for large language models. arXiv preprint arXiv:2305.14322, 2023.

[25] Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G Patil, Ion Stoica und Joseph E Gonzalez. Memgpt: Towards llms as operating systems. arXiv preprint arXiv:2310.08560, 2023.

[26] Kishore Papineni, Salim Roukos, Todd Ward und Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, Seiten 311-318, 2002.

[27] Nils Reimers und Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 11 2019.

[28] Aymeric Roucher, Albert Villanova del Moral, Thomas Wolf, Leandro von Werra und Erik Kaunismaki. 'smolagents': a smol library to build great agentic systems. https://github.com/huggingface/smolagents, 2025.

[29] Zhihong Shao, Yeyun Gong, Yelong Shen, Minlie Huang, Nan Duan und Weizhu Chen. Enhancing retrieval-augmented large language models with iterative retrieval-generation synergy. arXiv preprint arXiv:2305.15294, 2023.

[30] Zeru Shi, Kai Mei, Mingyu Jin, Yongye Su, Chaoji Zuo, Wenyue Hua, Wujiang Xu, Yujie Ren, Zirui Liu, Mengnan Du, et al. From commands to prompts: Llm-based semantic file system for aios. arXiv preprint arXiv:2410.11843, 2024.

[31] Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot und Ashish Sabharwal. Interleaving retrieval with chain-of-thought reasoning for knowledge-intensive multi-step questions. arXiv preprint arXiv:2212.10509, 2022.

[32] Bing Wang, Xinnian Liang, Jian Yang, Hui Huang, Shuangzhi Wu, Peihao Wu, Lu Lu, Zejun Ma und Zhoujun Li. Enhancing large language model with self-controlled memory framework. arXiv preprint arXiv:2304.13343, 2023.

[33] Xingyao Wang, Boxuan Li, Yufan Song, Frank F Xu, Xiangru Tang, Mingchen Zhuge, Jiayi Pan, Yueqi Song, Bowen Li, Jaskirat Singh, et al. Openhands: An open platform for ai software developers as generalist agents. arXiv preprint arXiv:2407.16741, 2024.

[34] Zhiruo Wang, Jun Araki, Zhengbao Jiang, Md Rizwan Parvez und Graham Neubig. Learning to filter context for retrieval-augmented generation. arXiv preprint arXiv:2311.08377, 2023.

[35] Lilian Weng. Llm-powered autonomous agents. lilianweng.github.io, Juni 2023.

[36] J Xu. Beyond goldfish memory: Long-term open-domain conversation. arXiv preprint arXiv:2107.07567, 2021.

[37] Wenhao Yu, Hongming Zhang, Xiaoman Pan, Kaixin Ma, Hongwei Wang und Dong Yu. Chain-of-note: Enhancing robustness in retrieval-augmented language models. arXiv preprint arXiv:2311.09210, 2023.

[38] Zichun Yu, Chenyan Xiong, Shi Yu und Zhiyuan Liu. Augmentation-adapted retriever improves generalization of language models as generic plug-in. arXiv preprint arXiv:2305.17331, 2023.

[39] Wanjun Zhong, Lianghong Guo, Qiqi Gao, He Ye und Yanlin Wang. Memorybank: Enhancing large language models with long-term memory. In Proceedings of the AAAI Conference on Artificial Intelligence, Band 38, Seiten 19724-19731, 2024.

Inhalt

1 Einleitung 1

2 Verwandte Arbeiten 2

2.1 Gedächtnis für LLM-Agenten 2

2.2 Retrieval-Augmented Generation 3

3 Methodik 3

3.1 Notizkonstruktion 4

3.2 Linkgenerierung 4

3.3 Gedächtnisevolution 4

3.4 Abruf relevanter Erinnerungen 5

4 Experiment 5

4.1 Datensatz und Evaluation 5

4.2 Implementierungsdetails 6

4.3 Empirische Ergebnisse 6

4.4 Ablationsstudie 7

4.5 Hyperparameteranalyse 7

4.6 Skalierungsanalyse 8

4.7 Gedächtnisanalyse 9

5 Schlussfolgerungen 9

6 Einschränkungen 9

A Experiment 14

A.1 Detaillierte Einführung in die Baselines 14

A.2 Evaluationsmetrik 14

A.3 Vergleichsergebnisse 15

A.4 Gedächtnisanalyse 16

A.5 Einstellung der Hyperparameter 17

B Prompt-Vorlagen und Beispiele 19

B.1 Prompt-Vorlage für die Notizkonstruktion 19

B.2 Prompt-Vorlage für die Linkgenerierung 19

B.3 Prompt-Vorlage für die Gedächtnisevolution 20

B.4 Beispiele für F/A mit A-MEM 21

ANHANG

A Experiment

A.1 Detaillierte Einführung in die Baselines

LoCoMo [22] verfolgt einen direkten Ansatz, indem es Foundation-Modelle ohne Gedächtnismechanismen für Frage-Antwort-Aufgaben nutzt. Für jede Anfrage werden die vollständige vorangegangene Konversation und die Fragen in den Prompt aufgenommen, wodurch die Schlussfolgerungsfähigkeiten des Modells evaluiert werden.

ReadAgent [17] bewältigt die Verarbeitung von Dokumenten mit langem Kontext durch eine ausgefeilte dreistufige Methodik: Zunächst wird durch Episoden-Paginierung der Inhalt in handhabbare Abschnitte unterteilt, anschließend wird durch Memory-Gisting jede Seite zu prägnanten Gedächtnisrepräsentationen verdichtet, und schließlich werden durch interaktives Nachschlagen die relevanten Informationen nach Bedarf abgerufen.

MemoryBank [39] führt ein innovatives Gedächtnisverwaltungssystem ein, das historische Interaktionen verwaltet und effizient abruft. Das System verfügt über einen dynamischen Gedächtnisaktualisierungsmechanismus, der auf der Theorie der Ebbinghaus-Vergessenskurve basiert und die Gedächtnisstärke je nach Zeit und Bedeutung intelligent anpasst. Darüber hinaus enthält es ein System zur Erstellung von Nutzerprofilen, das sein Verständnis der Persönlichkeit des Nutzers durch kontinuierliche Interaktionsanalyse schrittweise verfeinert.

MemGPT [25] präsentiert ein neuartiges System zur Verwaltung virtueller Kontexte, das sich von den Gedächtnishierarchien traditioneller Betriebssysteme inspirieren lässt. Die Architektur implementiert eine zweistufige Struktur: einen Hauptkontext (analog zum RAM), der während der LLM-Inferenz unmittelbaren Zugriff bietet, und einen externen Kontext (analog zum Festplattenspeicher), der Informationen über das feste Kontextfenster hinaus aufrechterhält.

A.2 Evaluationsmetrik

Der F1-Score stellt das harmonische Mittel aus Precision und Recall dar und bietet eine ausgewogene Metrik, die beide Maße in einem einzigen Wert vereint. Diese Metrik ist besonders wertvoll, wenn wir zwischen vollständigen und korrekten Antworten abwägen müssen:

F1=2⋅precision⋅recallprecision+recall(11)\mathrm{F1} = 2\cdot \frac{\mathrm{precision}\cdot\mathrm{recall}}{\mathrm{precision} + \mathrm{recall}} \quad (11)

wobei

precision=true positivestrue positives+false positives(12)\mathrm{precision} = \frac{\mathrm{true~positives}}{\mathrm{true~positives} + \mathrm{false~positives}} \quad (12)
recall=true positivestrue positives+false negatives(13)\mathrm{recall} = \frac{\mathrm{true~positives}}{\mathrm{true~positives} + \mathrm{false~negatives}} \quad (13)

In Frage-Antwort-Systemen spielt der F1-Score eine entscheidende Rolle bei der Bewertung exakter Übereinstimmungen zwischen vorhergesagten und referenzierten Antworten. Dies ist besonders wichtig für span-basierte QA-Aufgaben, bei denen Systeme präzise Textsegmente identifizieren müssen, während sie eine umfassende Abdeckung der Antwort aufrechterhalten. BLEU-1 [26] bietet eine Methode zur Bewertung der Präzision von Unigramm-Übereinstimmungen zwischen Systemausgaben und Referenztexten:

BLEU−1=BP⋅exp⁡(∑n=11wnlog⁡pn)(14)\mathrm{BLEU - 1} = BP\cdot \exp \left(\sum_{n = 1}^{1}w_{n}\log p_{n}\right) \quad (14)

wobei

BP={1ifc>re1−r/cifc≤r(15)BP = \left\{ \begin{array}{ll}1 & \mathrm{if} c > r\\ e^{1 - r / c} & \mathrm{if} c\leq r \end{array} \right. \quad (15)
pn=∑i∑kmin⁡(hik,mik)∑i∑khik(16)p_{n} = \frac{\sum_{i}\sum_{k}\min \bigl (h_{i k},m_{i k}\bigr)}{\sum_{i}\sum_{k}h_{i k}} \quad (16)

Hierbei ist cc die Länge des Kandidaten, rr die Länge der Referenz, hikh_{ik} die Anzahl des n-Gramms i im Kandidaten k und mikm_{ik} die maximale Anzahl in einer beliebigen Referenz. In QA bewertet BLEU-1 die lexikalische Präzision generierter Antworten, was besonders nützlich für generative QA-Systeme ist, bei denen exakte Übereinstimmung zu streng sein könnte.

ROUGE-L [19] misst die längste gemeinsame Teilsequenz zwischen dem generierten und dem Referenztext.

ROUGE−L=(1+β2)RlPlRl+β2PlRl=LCS(X,Y)∣X∣Pl=LCS(X,Y)∣Y∣(17)\begin{array}{r l} & {\mathrm{ROUGE - L} = \frac{(1 + \beta^{2})R_{l}P_{l}}{R_{l} + \beta^{2}P_{l}}}\\ & {\qquad R_{l} = \frac{\mathrm{LCS}(X,Y)}{|X|}}\\ & {\qquad P_{l} = \frac{\mathrm{LCS}(X,Y)}{|Y|}} \end{array} \quad (17)

wobei XX der Referenztext ist, YY der Kandidatentext und LCS die längste gemeinsame Teilsequenz (Longest Common Subsequence).

ROUGE-2 [19] berechnet die Überlappung von Bigrammen zwischen dem generierten und dem Referenztext.

ROUGE−2=∑bigramefermin⁡(Countref(bigram),Countcand(bigram))∑bigrameferCountref(bigram)(20)\mathrm{ROUGE - 2} = \frac{\sum_{\mathrm{b i g r a m e f e r}}\min (\mathrm{C o u n t}{\mathrm{ref}}(\mathrm{b i g r a m}),\mathrm{C o u n t}{\mathrm{c a n d}}(\mathrm{b i g r a m}))}{\sum_{\mathrm{b i g r a m e f e r}}\mathrm{C o u n t}_{\mathrm{ref}}(\mathrm{b i g r a m})} \quad (20)

Sowohl ROUGE-L als auch ROUGE-2 sind besonders nützlich für die Bewertung der Flüssigkeit und Kohärenz generierter Antworten, wobei ROUGE-L auf die Sequenzübereinstimmung und ROUGE-2 auf die lokale Wortreihenfolge fokussiert.

METEOR [5] berechnet eine Bewertung basierend auf ausgerichteten Unigrammen zwischen dem Kandidaten- und dem Referenztext und berücksichtigt dabei Synonyme und Paraphrasen.

\[\begin{array}{c}{{\mathrm{METEOR}=F_{\mathrm{mean}}\cdot(1-\mathrm{Penalty)}}\\ {{F_{\mathrm{mean}}=\frac{10P\cdot R}{R+9P}}}\\ {{\mathrm{Penalty}=0.5\cdot(\frac{\mathrm{ch}}{m})^{3}}}\end{array} \quad (21)\]

wobei PP die Präzision, RR der Recall, ch die Anzahl der Chunks und mm die Anzahl der übereinstimmenden Unigramme ist. METEOR ist für die QA-Bewertung wertvoll, da es semantische Ähnlichkeit über exakte Übereinstimmungen hinaus berücksichtigt, was es für die Bewertung paraphrasierter Antworten geeignet macht.

SBERT Similarity [27] misst die semantische Ähnlichkeit zwischen zwei Texten mithilfe von Satz-Embeddings.

SBERT_Similarity=cos⁡(SBERT(x),SBERT(y))cos⁡(a,b)=a⋅b∥a∥∥b∥(24)\begin{array}{r}{\mathrm{S B E R T\_S i m i l a r i t y} = \cos (\mathrm{S B E R T}(x),\mathrm{S B E R T}(y))}\\ {\cos (a,b) = \frac{a\cdot b}{\|a\|\|b\|}} \end{array} \quad (24)

SBERT(x)\mathrm{S B E R T}(x) repräsentiert das Satz-Embedding des Textes. SBERT Similarity ist besonders nützlich für die Bewertung des semantischen Verständnisses in QA-Systemen, da es Bedeutungsähnlichkeiten auch dann erfassen kann, wenn die lexikalische Überlappung gering ist.

A.3 Vergleichsergebnisse

Unsere umfassende Evaluierung mit den Metriken ROUGE-2, ROUGE-L, METEOR und SBERT zeigt, dass A-MEM eine überlegene Leistung erzielt und dabei eine bemerkenswerte Recheneffizienz beibehält. Durch umfangreiche empirische Tests über verschiedene Modellgrößen und Aufgabenkategorien hinweg haben wir A-MEM als einen effektiveren Ansatz im Vergleich zu bestehenden Baselines etabliert, gestützt durch mehrere überzeugende Befunde. In unserer Analyse von Nicht-GPT-Modellen, insbesondere Qwen2.5 und Llama 3.2, übertrifft A-MEM durchgängig alle Baseline-Ansätze bei allen Metriken. Die Kategorie Multi-Hop zeigt besonders bemerkenswerte Ergebnisse, wobei Qwen2.5-15b mit A-MEM einen ROUGE-L-Score von 27,23 erreicht und damit LoComo mit 4,68 und ReadAgent mit 2,81 dramatisch übertrifft – was einer nahezu sechsfachen Verbesserung entspricht. Dieses Überlegenheitsmuster setzt sich konsequent bei den METEOR- und SBERT-Scores fort. Bei der Untersuchung von GPT-basierten Modellen zeigen unsere Ergebnisse ein interessantes Muster. Während LoCoMo und MemGPT starke Fähigkeiten in Open-Domain- und Adversarial-Aufgaben demonstrieren, zeigt A-MEM eine bemerkenswerte Überlegenheit bei Multi-Hop-Reasoning-Aufgaben. Mit GPT-4o-mini erreicht A-MEM einen ROUGE-L-Score von 44,27 bei Multi-Hop-Aufgaben und mehr als das Doppelte von LoComos 18,09. Dieser signifikante Vorteil bleibt konsistent über andere Metriken hinweg, mit METEOR-Scores von 23,43 gegenüber 7,61 und SBERT-Scores von 70,49 gegenüber 52,30. Die Bedeutung dieser Ergebnisse wird durch die außergewöhnliche Recheneffizienz von A-MEM verstärkt. Unser Ansatz benötigt nur 1.200–2.500 Token im Vergleich zu den beträchtlichen 16.900 Token, die von LoComo und MemGPT benötigt werden. Diese Effizienz resultiert aus zwei zentralen architektonischen Innovationen: Erstens schafft unsere neuartige agentische Speicherarchitektur miteinander verbundene Speichernetzwerke durch atomare Notizen mit reichhaltigen kontextuellen Beschreibungen, wodurch Informationsbeziehungen effektiver erfasst und genutzt werden können. Zweitens ermöglicht unser selektiver Top-k-Retrieval-Mechanismus eine dynamische Speicherentwicklung und strukturierte Organisation. Die Wirksamkeit dieser Innovationen zeigt sich besonders deutlich bei komplexen Reasoning-Aufgaben, wie die durchgängig starke Multi-Hop-Leistung bei allen Evaluierungsmetriken belegt. Darüber hinaus zeigen wir auch die experimentellen Ergebnisse mit verschiedenen Grundmodellen, darunter DeepSeek-R1-32B [11], Claude 3.0 Haiku [2] und Claude 3.5 Haiku [3].

ModellMethodeKategorie
Multi Hop RGE-2RGE-LTemporal RGE-2RGE-LOpen Domain RGE-2RGE-LSingle Hop RGE-2RGE-LAdversial RGE-2
GPTLoCoMo9,6423,922,0118,093,4011,5826,4840,2060,46
READAGENT2,479,450,9513,120,555,762,999,926,66
MEMORYBANK1,185,430,529,640,975,771,646,634,55
MEMGPT10,5825,604,7625,220,769,1428,4442,2436,62
A-MEM10,6125,8621,3944,273,4212,0929,5045,1842,62
LoCoMo11,5330,651,688,173,2116,3345,4263,8645,13
QwenREADAGENT3,9114,360,433,960,528,584,7513,414,24
MEMORYBANK1,847,360,362,292,136,853,029,351,22
MEMGPT11,5530,184,6615,833,2714,0243,2762,7528,72
A-MEM12,7631,719,8225,046,0916,6333,6750,3130,31
LoCoMo1,399,240,004,683,4210,593,2511,1535,10
READAGENT0,747,140,102,813,0512,631,477,8820,73
QwenMEMORYBANK1,5111,180,145,391,808,445,0713,7229,24
MEMGPT1,1611,350,007,882,8714,622,189,8223,96
A-MEM4,8817,945,8827,233,4416,8712,3224,3836,32
LoCoMo0,494,830,143,201,315,381,976,9812,66
READAGENT0,084,080,001,961,266,190,734,347,35
MEMORYBANK0,433,760,051,610,246,321,034,229,55
QwenMEMGPT0,695,550,053,171,907,902,057,3210,46
A-MEM2,9112,428,1127,741,517,518,8017,5721,39
LoCoMo2,5111,480,448,251,6913,062,9413,0039,85
READAGENT0,536,490,004,625,4714,291,198,0334,52
MEMORYBANK2,9613,570,2310,534,0118,386,4117,6641,15
MEMGPT1,829,910,066,562,1311,362,0010,3738,59
Llama 2A-MEM4,8219,311,8420,475,9918,4914,8229,7846,76
LoCoMo0,987,220,034,452,3611,392,858,4525,47
READAGENT2,471,783,013,015,075,223,252,5115,78
MEMORYBANK1,836,960,253,410,434,432,737,8314,64
MEMGPT0,725,390,112,850,615,741,454,4216,62
A-MEM6,0217,627,9327,975,3813,0016,8928,5535,48
Tabelle 5: Experimentelle Ergebnisse auf dem LoCoMo-Datensatz für QA-Aufgaben über fünf Kategorien (Multi Hop, Temporal, Open Domain, Single Hop und Adversial) unter Verwendung verschiedener Methoden. Die Ergebnisse werden als ROUGE-2- und ROUGE-L-Scores angegeben, abgekürzt als RGE-2 und RGE-L. Die beste Leistung ist fett markiert, und unsere vorgeschlagene Methode A-MEM (grau hervorgehoben) zeigt wettbewerbsfähige Leistung über sechs Basis-Sprachmodelle hinweg.

A.4 Speicheranalyse

Zusätzlich zu den Speichervisualisierungen der ersten beiden im Haupttext gezeigten Dialoge präsentieren wir weitere Visualisierungen in Abb. 5, die die strukturellen Vorteile unseres agentischen Speichersystems demonstrieren. Durch die Analyse von zwei Dialogen, die aus Langzeitkonversationen in LoCoMo [22] entnommen wurden, beobachten wir, dass A-MEM (in Blau dargestellt) im Vergleich zum Baseline-System (in Rot dargestellt) durchgängig kohärentere Clustering-Muster erzeugt. Diese strukturelle Organisation zeigt sich besonders deutlich in Dialog 2, wo im zentralen Bereich deutlich abgegrenzte Cluster entstehen, was empirische Unterstützung für die Wirksamkeit unseres Speicherentwicklungsmechanismus und unserer kontextuellen Beschreibungsgenerierung liefert. Im Gegensatz dazu weisen die Baseline-Speicher-Embeddings eine stärker verstreute Verteilung auf, was darauf hindeutet, dass den Speichern ohne unsere Link-Generierungs- und Speicherentwicklungskomponenten die strukturelle Organisation fehlt.

ModellMethodeKategorie
Multi-Hop-MESBERTTemporal-MESBERTOpen-Domain-MESBERTSingle-Hop-MESBERTAdversarial-ME
GPT4-HopLoCoMo15,8147,977,6152,308,1635,0040,4257,7863,2871,93
ReadAgent5,4628,674,7645,073,6926,728,0126,788,3815,20
MEMORY BANK3,4221,714,0737,584,2123,715,8120,766,2413,00
MEMGPT15,7949,3313,2561,534,5932,7741,4058,1939,1647,24
A-MEM16,3649,4623,4370,498,3638,4842,3259,3845,6453,26
GPT4-HopLoCoMo16,3453,827,2132,158,9843,7253,3973,4047,7256,09
ReadAgent7,8637,413,7626,224,4230,759,3631,375,4712,34
MEMORY BANK3,2226,232,2923,494,1824,896,6423,902,9310,01
MEMGPT16,6455,1212,6835,937,7837,9152,1472,8331,1539,08
A-MEM17,5355,9613,1045,4010,6238,8741,9362,4732,3440,11
Open2.54-HopLoCoMo4,9932,232,8634,035,8935,618,5729,4740,5350,49
ReadAgent3,6728,201,8827,278,9735,135,5226,3324,0434,12
MEMORY BANK5,5735,402,8032,474,2733,8510,5932,1632,9342,83
MEMGPT5,4035,642,3539,047,6840,367,0730,1627,2440,63
A-MEM9,4943,4911,9261,659,1142,5819,6941,9340,6452,44
Open2.54-hopLoCoMo2,0024,371,9225,243,4525,386,0021,2816,6723,14
ReadAgent1,7821,101,6920,784,4325,153,3718,2010,4617,39
MEMORY BANK2,3717,812,2221,933,8620,653,9916,2615,4920,77
MEMGPT3,7424,312,2527,676,4429,596,2422,4013,1920,83
A-MEM6,2533,7214,0462,546,5630,6015,9833,9827,3633,72
Llama 3.24-hopLoCoMo5,7738,023,3845,446,2042,699,3334,1946,7960,74
ReadAgent2,9729,261.3126.457.1339.195.3626.4442.3954.35
SPEICHERBANK6.7739.334.4345.637.7642.8113.0137.3250.4360.81
MEMGPT5.1032.992.5441.813.2635.996.6230.6845.0061.33
A-MEM9.0145.167.5054.798.3043.4222.4647.0753.7268.00
Llama 3.24-HopLoCoMo3.6927.942.9620.406.4632.176.5822.9229.0235.74
ReadAgent1.2117.402.3312.023.3919.632.4614.6314.3721,25
SPEICHERBANK3,8425,062,7313,653,0521,086,3522,0217,1424,39
MEMGPT2,7822,062,2114,973,6323,183,4717,8120,5026,87
A-MEM9,7439,3213,1959,708,0932,2724,3042,8639,7446,76
Tabelle 6: Experimentelle Ergebnisse auf dem LoCoMo-Datensatz für QA-Aufgaben über fünf Kategorien (Multi Hop, Temporal, Open Domain, Single Hop und Adversial) unter Verwendung verschiedener Methoden. Die Ergebnisse werden als METEOR- und SBERT-Ähnlichkeitswerte angegeben, abgekürzt als ME und SBERT. Die beste Leistung ist fett markiert, und unsere vorgeschlagene Methode A-MEM (grau hervorgehoben) zeigt wettbewerbsfähige Leistung über sechs Foundation-Sprachmodelle hinweg.
MethodeKategorie
Multi-Hop-F1BLEU-1Temporal-F1Open-Domain-F1Single-Hop-F1Adversarial-F1
DeepSeek-R1-32B
LoCoMo8,586,484,794,3512,9612,52
MEMGPT8,286,255,454,9710,979,09
A-MEM15,0210,6414,6411,0114,8112,82
Claude 3.0 Haiku
LoCoMo4,563,330,820,592,863,22
MEMGPT7,656,361,651,267,416,64
A-MEM19,2814,6916,6512,2311,859,61
Claude 3.5 Haiku
LoCoMo11,348,213,292,693,793,58
MEMGPT8,276,553,992,764,714,48
A-MEM29,7023,1931,5427,5311,429,47
Tabelle 7: Experimentelle Ergebnisse auf dem LoCoMo-Datensatz für QA-Aufgaben über fünf Kategorien (Multi Hop, Temporal, Open Domain, Single Hop und Adversial) unter Verwendung verschiedener Methoden. Die Ergebnisse werden als F1- und BLEU-1-(%)(\%)-Werte mit verschiedenen Basismodellen berichtet.

Diese Visualisierungen bestätigen, dass A-MEM durch seine dynamischen Evolutions- und Verknüpfungsmechanismen autonom bedeutungsvolle Speicherstrukturen aufrechterhalten kann.

A.5 Hyperparameter-Einstellung

Alle Hyperparameter-k-Werte sind in Tabelle 8 dargestellt. Für Modelle, die bereits mit k=10 eine State-of-the-Art-(SOTA-)Leistung erreicht haben, behalten wir diesen Wert ohne weitere Optimierung bei.

Abbildung 5: T-SNE-Visualisierung der Speicher-Embeddings, die eine organisiertere Verteilung mit A-MEM (blau) im Vergleich zum Basis-Speicher (rot) über verschiedene Dialoge hinweg zeigt. Der Basis-Speicher bezeichnet A-MEM ohne Link-Generierung und Speicher-Evolution.
Abbildung 5: T-SNE-Visualisierung der Speicher-Embeddings, die eine organisiertere Verteilung mit A-MEM (blau) im Vergleich zum Basis-Speicher (rot) über verschiedene Dialoge hinweg zeigt. Der Basis-Speicher bezeichnet A-MEM ohne Link-Generierung und Speicher-Evolution.
ModellMulti HopTemporalOpen DomainSingle HopAdversarial
GPT-4o-mini4040505040
GPT-4o4040505040
Qwen2.5-1.5b1010101010
Qwen2.5-3b1010501010
Llama3.2-1b1010101010
Llama3.2-3b1020101010
Tabelle 8: Auswahl der k-Werte im Retriever über bestimmte Kategorien und Modelloptionen hinweg.

B Prompt-Vorlagen und Beispiele

B.1 Prompt-Vorlage für die Notizkonstruktion

Die Prompt-Vorlage in Note Construction: Ps1P_{s1}

Erzeuge eine strukturierte Analyse des folgenden Inhalts durch:

1. Identifizierung der hervorstechendsten Schlüsselwörter (Fokus auf Substantive, Verben und Schlüsselkonzepte)

2. Extraktion der Kernthemen und kontextuellen Elemente

3. Erstellung relevanter kategorialer Tags

Formatiere die Antwort als JSON-Objekt: {"keywords": [ // mehrere spezifische, unterschiedliche Schlüsselwörter, die Schlüsselkonzepte und Terminologie erfassen // Reihenfolge von am wichtigsten zu am wenigsten wichtig // Keine Schlüsselwörter, die der Name des Sprechers oder die Zeit sind // Mindestens drei Schlüsselwörter, aber nicht zu redundant. ], "context": // ein Satz, der zusammenfasst: // - Hauptthema/Domäne // - Zentrale Argumente/Punkte // - Zielpublikum/Zweck , "tags": [ // mehrere breite Kategorien/Themen zur Klassifizierung // Domänen-, Format- und Typ-Tags einschließen // Mindestens drei Tags, aber nicht zu redundant. ]}

Inhalt zur Analyse:

B.2 Prompt-Vorlage für die Link-Generierung

Die Prompt-Vorlage in Link Generation: Ps2P_{s2}

Du bist ein KI-Speicherentwicklungsagent, der für die Verwaltung und Weiterentwicklung einer Wissensbasis verantwortlich ist. Analysiere die neue Speichernotiz anhand von Schlüsselwörtern und Kontext sowie zusammen mit ihren mehreren nächsten Nachbar-Speichern. Der neue Speicherkontext: {context} Inhalt: {content} Schlüsselwörter: {keywords} Die nächsten Nachbar-Speicher: {nearest_neighbors_memories} Bestimme auf Basis dieser Informationen: Sollte dieser Speicher weiterentwickelt werden? Berücksichtige seine Beziehungen zu anderen Speichern.

B.3 Prompt-Vorlage für die Speicherentwicklung

Die Prompt-Vorlage in Memory Evolution: Ps3P_{s3}

Du bist ein KI-Speicherentwicklungsagent, der für die Verwaltung und Weiterentwicklung einer Wissensbasis verantwortlich ist. Analysiere die neue Speichernotiz anhand von Schlüsselwörtern und Kontext sowie zusammen mit ihren mehreren nächsten Nachbar-Speichern.

Triff Entscheidungen über ihre Entwicklung.

Der neue Speicherkontext: {context}

Inhalt: {content}

Schlüsselwörter: {keywords}

Die nächsten Nachbar-Speicher: {nearest_neighbors_memories}

Bestimme auf Basis dieser Informationen:

1. Welche spezifischen Aktionen sollten ergriffen werden (strengthen, update_neighbor)?

1.1 Wenn die Entscheidung darin besteht, die Verbindung zu stärken, mit welchem Speicher sollte sie verbunden werden? Kannst du die aktualisierten Tags dieses Speichers angeben?

1.2 Wenn die Entscheidung darin besteht, den Nachbarn zu aktualisieren, kannst du den Kontext und die Tags dieser Speicher basierend auf dem Verständnis dieser Speicher aktualisieren.

Tags sollten durch den Inhalt der Merkmale dieser Speicher bestimmt werden, die später zum Abrufen und Kategorisieren dieser verwendet werden können.

Alle oben genannten Informationen sollten in Listenformat gemäß der Reihenfolge zurückgegeben werden: [[new_memory],[neighbor_memory_1], ... [neighbor_memory_n]]

Diese Aktionen können kombiniert werden.

Gib deine Entscheidung im JSON-Format mit der folgenden Struktur zurück: {{ "should_evolve": true/false,

"actions": ["stärken", "zusammenführen", "ausdünnen"],

"suggested_connections": ["neighbor_memory_ids"],

"tags_to_update": ["tag_1", ... "tag_n"],

"new_context_neighborhood": ["new_context", ... "new_context"],

"new_tags_neighborhood": [["tag_1", ... "tag_n"], ... ["tag_1", ... "tag_n"]],

B.4 Beispiele für Q/A mit A-MEM

Beispiel:

Frage 686: Welches Hobby hat Dave im Oktober 2023 begonnen?

Vorhersage: Fotografie

Referenz: Fotografie

Gesprächsbeginn: 10:54 Uhr am 17. November 2023

Erinnerungsinhalt: Sprecher Dave sagt: Hey Calvin, lange nicht gesprochen! Es ist viel passiert. Ich habe mit der Fotografie angefangen und es ist großartig –ich habe die Landschaft hier fotografiert, was wirklich cool ist.

Erinnerungskontext: Das Hauptthema ist das neue Hobby des Sprechers, die Fotografie, wobei hervorgehoben wird, wie sehr er es genießt, die lokale Landschaft einzufangen; es zielt darauf ab, einen Freund in ein Gespräch über persönliche Erfahrungen einzubeziehen.

Erinnerungsschlüsselwörter: ['Fotografie', 'Landschaft', 'Gespräch', 'Erfahrung', 'Hobby']

Erinnerungs-Tags: ['Hobby', 'Fotografie', 'persönliche Entwicklung', 'Gespräch', 'Freizeit']

Gesprächsbeginn: 18:38 Uhr am 21. Juli 2023

Erinnerungsinhalt: Sprecher Calvin sagt: Danke, Dave! Es fühlt sich großartig an, meinen eigenen Raum zum Arbeiten zu haben. Ich habe in letzter Zeit mit verschiedenen Genres experimentiert und mich aus meiner Komfortzone herausbewegt. Das Hinzufügen elektronischer Elemente zu meinen Songs verleiht ihnen eine frische Ausstrahlung. Es war ein aufregender Prozess der Selbstfindung und des Wachstums!

Erinnerungskontext: Der Sprecher erörtert seinen kreativen Prozess in der Musik und hebt das Experimentieren mit Genres sowie die Einbeziehung elektronischer Elemente für persönliches Wachstum und künstlerische Entwicklung hervor.

Erinnerungsschlüsselwörter: ['Raum', 'Experimentieren', 'Genres', 'elektronisch', 'Selbstfindung', 'Wachstum']

Erinnerungs-Tags: ['Musik', 'Kreativität', 'Selbstverbesserung', 'künstlerischer Ausdruck']

NeurIPS Paper Checklist

Die Checkliste soll bewährte Verfahren für verantwortungsvolle maschinelle Lernforschung fördern und Themen wie Reproduzierbarkeit, Transparenz, Forschungsethik und gesellschaftliche Auswirkungen behandeln. Entfernen Sie die Checkliste nicht: Papiere, die die Checkliste nicht enthalten, werden ohne Begutachtung abgelehnt. Die Checkliste sollte nach den Referenzen und nach dem (optionalen) zusätzlichen Material folgen. Die Checkliste zählt NICHT zum Seitenlimit.

Bitte lesen Sie die Richtlinien der Checkliste sorgfältig durch, um Informationen dazu zu erhalten, wie diese Fragen zu beantworten sind. Für jede Frage in der Checkliste:

Sie sollten [Ja], [Nein] oder [NA] antworten. [NA] bedeutet entweder, dass die Frage für das jeweilige Papier Nicht Anwendbar ist oder die relevanten Informationen Nicht Verfügbar sind. Bitte geben Sie direkt nach Ihrer Antwort eine kurze Begründung (1–2 Sätze) an (auch bei NA).

Die Antworten der Checkliste sind ein integraler Bestandteil Ihrer Paper-Einreichung. Sie sind für die Gutachter, Area Chairs, Senior Area Chairs und Ethik-Gutachter sichtbar. Sie werden gebeten, sie auch (nach eventuellen Überarbeitungen) mit der finalen Version Ihres Papers einzureichen, und die finale Version wird mit dem Paper veröffentlicht.

Die Gutachter Ihres Papers werden gebeten, die Checkliste als einen der Faktoren in ihrer Bewertung zu verwenden. Während „[Yes]“ im Allgemeinen gegenüber „[No]“ vorzuziehen ist, ist es völlig akzeptabel, mit „[No]“ zu antworten, sofern eine angemessene Begründung gegeben wird (z. B. „Fehlerbalken werden nicht berichtet, weil es zu rechenintensiv wäre“ oder „wir konnten die Lizenz für den von uns verwendeten Datensatz nicht finden“). Im Allgemeinen ist die Antwort „[No]“ oder „[NA]“ kein Grund für eine Ablehnung. Obwohl die Fragen binär formuliert sind, erkennen wir an, dass die wahre Antwort oft differenzierter ist, also verwenden Sie bitte einfach Ihr bestes Urteilsvermögen und schreiben Sie eine Begründung zur Erläuterung. Alle unterstützenden Belege können entweder im Hauptpaper oder im ergänzenden Material im Anhang erscheinen. Wenn Sie eine Frage mit [Yes] beantworten, verweisen Sie in der Begründung bitte auf die Abschnitte, in denen sich relevantes Material zur Frage finden lässt.

WICHTIG, bitte:

- Löschen Sie diesen Anweisungsblock, aber behalten Sie die Abschnittsüberschrift „NeurIPS Paper Checklist“ bei. - Behalten Sie die Unterabschnittsüberschriften, Fragen/Antworten und Richtlinien der Checkliste unten bei. - Ändern Sie die Fragen nicht und verwenden Sie nur die bereitgestellten Makros für Ihre Antworten.

1. Claims

Frage: Geben die im Abstract und in der Einleitung gemachten Hauptbehauptungen die Beiträge und den Umfang des Papers korrekt wieder?

Antwort: [Yes]

Begründung: Das Abstract und die Einleitung fassen unsere Hauptbeiträge zusammen.

Richtlinien:

- Die Antwort NA bedeutet, dass das Abstract und die Einleitung die im Paper gemachten Behauptungen nicht enthalten. - Das Abstract und/oder die Einleitung sollten die gemachten Behauptungen klar darlegen, einschließlich der im Paper geleisteten Beiträge sowie wichtiger Annahmen und Einschränkungen. Eine Antwort „No“ oder „NA“ auf diese Frage wird von den Gutachtern nicht gut aufgenommen. - Die gemachten Behauptungen sollten mit theoretischen und experimentellen Ergebnissen übereinstimmen und widerspiegeln, inwieweit erwartet werden kann, dass die Ergebnisse auf andere Einstellungen generalisieren. - Es ist in Ordnung, aspirationale Ziele als Motivation anzuführen, solange klar ist, dass diese Ziele von dem Paper nicht erreicht werden.

2. Limitations

Frage: Diskutiert das Paper die Einschränkungen der von den Autoren durchgeführten Arbeit?

Antwort: [Yes]

Begründung: Dieses Paper enthält einen Abschnitt zu den Einschränkungen.

Richtlinien:

- Die Antwort NA bedeutet, dass das Paper keine Einschränkung hat, während die Antwort No bedeutet, dass das Paper Einschränkungen hat, diese aber im Paper nicht diskutiert werden.

- Den Autoren wird empfohlen, in ihrem Paper einen separaten Abschnitt „Limitations“ zu erstellen.

- Das Paper sollte auf etwaige starke Annahmen hinweisen und darauf, wie robust die Ergebnisse gegenüber Verletzungen dieser Annahmen sind (z. B. Unabhängigkeitsannahmen, rauschfreie Einstellungen, gute Modellspezifikation, asymptotische Approximationen, die nur lokal gelten). Die Autoren sollten reflektieren, wie diese Annahmen in der Praxis verletzt werden könnten und welche Implikationen dies hätte.

- Die Autoren sollten den Umfang der gemachten Behauptungen reflektieren, z. B. ob der Ansatz nur auf wenigen Datensätzen oder mit wenigen Durchläufen getestet wurde. Im Allgemeinen hängen empirische Ergebnisse oft von impliziten Annahmen ab, die dargelegt werden sollten.

- Die Autoren sollten die Faktoren reflektieren, die die Leistung des Ansatzes beeinflussen. Beispielsweise kann ein Gesichtserkennungsalgorithmus schlecht abschneiden, wenn die Bildauflösung niedrig ist oder Bilder bei schwachem Licht aufgenommen wurden. Oder ein Speech-to-Text-System könnte nicht zuverlässig für die Bereitstellung von Untertiteln für Online-Vorlesungen verwendet werden, weil es technischen Jargon nicht verarbeitet.

- Die Autoren sollten die rechnerische Effizienz der vorgeschlagenen Algorithmen und deren Skalierung mit der Datensatzgröße diskutieren.

- Falls zutreffend, sollten die Autoren mögliche Einschränkungen ihres Ansatzes zur Behandlung von Problemen der Privatsphäre und Fairness diskutieren.

- Während die Autoren befürchten könnten, dass vollständige Ehrlichkeit über Einschränkungen von Gutachtern als Grund für eine Ablehnung verwendet werden könnte, könnte ein schlechteres Ergebnis sein, dass Gutachter Einschränkungen entdecken, die im Paper nicht anerkannt werden. Die Autoren sollten ihr bestes Urteilsvermögen nutzen und erkennen, dass individuelles Handeln zugunsten von Transparenz eine wichtige Rolle bei der Entwicklung von Normen spielt, die die Integrität der Community bewahren. Die Gutachter werden ausdrücklich angewiesen, Ehrlichkeit in Bezug auf Einschränkungen nicht zu bestrafen.

3. Theory assumptions and proofs

Frage: Liefert das Paper für jedes theoretische Ergebnis die vollständige Menge an Annahmen und einen vollständigen (und korrekten) Beweis?

Antwort: [NA]

Begründung: N/A

Richtlinien:

- Die Antwort NA bedeutet, dass das Paper keine theoretischen Ergebnisse enthält.

- Alle Theoreme, Formeln und Beweise im Paper sollten nummeriert und querverwiesen werden.

- Alle Annahmen sollten in der Formulierung jedes Theorems klar dargelegt oder referenziert werden.

- Die Beweise können entweder im Hauptteil der Arbeit oder im Zusatzmaterial erscheinen; falls sie jedoch im Zusatzmaterial erscheinen, werden die Autoren ermutigt, eine kurze Beweisskizze zur Vermittlung der Intuition bereitzustellen.

- Umgekehrt sollte jeder informelle Beweis, der im Kern der Arbeit gegeben wird, durch formale Beweise ergänzt werden, die im Anhang oder im Zusatzmaterial bereitgestellt werden.

- Theoreme und Lemmata, auf die sich der Beweis stützt, sollten ordnungsgemäß referenziert werden.

4. Reproduzierbarkeit experimenteller Ergebnisse

Frage: Legt die Arbeit alle Informationen vollständig offen, die benötigt werden, um die wichtigsten experimentellen Ergebnisse der Arbeit in dem Maße zu reproduzieren, in dem sie die wichtigsten Behauptungen und/oder Schlussfolgerungen der Arbeit beeinflussen (unabhängig davon, ob der Code und die Daten bereitgestellt werden oder nicht)?

Antwort: [Ja]

Begründung: Sowohl Code als auch Datensätze sind verfügbar.

Leitlinien:

- Die Antwort NA bedeutet, dass die Arbeit keine Experimente enthält.

- Wenn die Arbeit Experimente enthält, wird eine Antwort „Nein“ auf diese Frage von den Gutachtern nicht gut aufgenommen: Die Reproduzierbarkeit der Arbeit ist wichtig, unabhängig davon, ob der Code und die Daten bereitgestellt werden oder nicht.

- Wenn der Beitrag ein Datensatz und/oder ein Modell ist, sollten die Autoren die Schritte beschreiben, die unternommen wurden, um ihre Ergebnisse reproduzierbar oder verifizierbar zu machen.

- Je nach Beitrag kann die Reproduzierbarkeit auf verschiedene Weise erreicht werden. Wenn der Beitrag beispielsweise eine neuartige Architektur ist, kann die vollständige Beschreibung der Architektur ausreichen; wenn der Beitrag ein spezifisches Modell und eine empirische Evaluierung ist, kann es erforderlich sein, es anderen entweder zu ermöglichen, das Modell mit demselben Datensatz zu replizieren, oder Zugang zum Modell zu gewähren. Im Allgemeinen ist die Veröffentlichung von Code und Daten oft ein guter Weg, dies zu erreichen, aber Reproduzierbarkeit kann auch durch detaillierte Anweisungen zur Replikation der Ergebnisse, Zugang zu einem gehosteten Modell (z. B. im Fall eines großen Sprachmodells), die Veröffentlichung eines Modell-Checkpoints oder andere Mittel erreicht werden, die für die durchgeführte Forschung angemessen sind.

- Obwohl NeurIPS die Veröffentlichung von Code nicht verlangt, verlangt die Konferenz von allen Einreichungen, dass sie einen angemessenen Weg zur Reproduzierbarkeit bereitstellen, der von der Art des Beitrags abhängen kann. Zum Beispiel

(a) Wenn der Beitrag in erster Linie ein neuer Algorithmus ist, sollte die Arbeit klar machen, wie dieser Algorithmus reproduziert werden kann.

(b) Wenn der Beitrag in erster Linie eine neue Modellarchitektur ist, sollte die Arbeit die Architektur klar und vollständig beschreiben.

(c) Wenn der Beitrag ein neues Modell ist (z. B. ein großes Sprachmodell), dann sollte es entweder einen Weg geben, auf dieses Modell zuzugreifen, um die Ergebnisse zu reproduzieren, oder einen Weg, das Modell zu reproduzieren (z. B. mit einem Open-Source-Datensatz oder Anweisungen zum Aufbau des Datensatzes).

(d) Wir erkennen an, dass Reproduzierbarkeit in manchen Fällen schwierig sein kann; in diesem Fall sind Autoren eingeladen, die besondere Art und Weise zu beschreiben, in der sie Reproduzierbarkeit ermöglichen. Bei Closed-Source-Modellen kann es sein, dass der Zugang zum Modell in irgendeiner Weise eingeschränkt ist (z. B. auf registrierte Nutzer), aber es sollte für andere Forscher möglich sein, einen Weg zur Reproduktion oder Verifizierung der Ergebnisse zu haben.

5. Offener Zugang zu Daten und Code

Frage: Bietet die Arbeit offenen Zugang zu den Daten und dem Code, mit ausreichenden Anweisungen, um die wichtigsten experimentellen Ergebnisse getreu zu reproduzieren, wie im Zusatzmaterial beschrieben?

Antwort: [Ja]

Begründung: Wir stellen den Code-Link im Abstract bereit.

Leitlinien:

- Die Antwort NA bedeutet, dass die Arbeit keine Experimente enthält, die Code erfordern.

- Bitte siehe die NeurIPS-Richtlinien zur Einreichung von Code und Daten (https://nips.cc/public/guides/CodeSubmissionPolicy) für weitere Details.

- Obwohl wir die Veröffentlichung von Code und Daten fördern, verstehen wir, dass dies möglicherweise nicht möglich ist, daher ist „Nein“ eine akzeptable Antwort. Arbeiten können nicht allein deshalb abgelehnt werden, weil sie keinen Code enthalten, es sei denn, dies ist zentral für den Beitrag (z. B. bei einem neuen Open-Source-Benchmark).

- Die Anweisungen sollten den genauen Befehl und die Umgebung enthalten, die zum Ausführen benötigt werden, um die Ergebnisse zu reproduzieren. Siehe die NeurIPS-Richtlinien zur Einreichung von Code und Daten (https://nips.cc/public/guides/CodeSubmissionPolicy) für weitere Details.

- Die Autoren sollten Anweisungen zum Datenzugang und zur Datenvorbereitung bereitstellen, einschließlich wie auf die Rohdaten, vorverarbeiteten Daten, Zwischendaten und generierten Daten zugegriffen werden kann usw.

- Die Autoren sollten Skripte bereitstellen, um alle experimentellen Ergebnisse für die neu vorgeschlagene Methode und die Baselines zu reproduzieren. Wenn nur eine Teilmenge der Experimente reproduzierbar ist, sollten sie angeben, welche aus dem Skript ausgelassen werden und warum.

- Zum Einreichungszeitpunkt sollten die Autoren zur Wahrung der Anonymität anonymisierte Versionen veröffentlichen (falls zutreffend).

- Es wird empfohlen, so viele Informationen wie möglich im Zusatzmaterial (an die Arbeit angehängt) bereitzustellen, aber die Angabe von URLs zu Daten und Code ist zulässig.

6. Experimentelle Einstellung/Details

Frage: Gibt die Arbeit alle Trainings- und Testdetails an (z. B. Datenaufteilungen, Hyperparameter, wie sie gewählt wurden, Art des Optimierers usw.), die zum Verständnis der Ergebnisse erforderlich sind?

Antwort: [Ja]

Begründung: Wir decken alle Details in der Arbeit ab.

Leitlinien:- Die Antwort NA bedeutet, dass die Arbeit keine Experimente enthält.- Die experimentelle Einstellung sollte im Kern der Arbeit mit einem Detaillierungsgrad dargestellt werden, der erforderlich ist, um die Ergebnisse zu würdigen und zu verstehen.- Die vollständigen Details können entweder mit dem Code, im Anhang oder als Zusatzmaterial bereitgestellt werden.

7. Statistische Signifikanz der Experimente

Frage: Berichtet die Arbeit Fehlerbalken in geeigneter und korrekt definierter Weise oder andere geeignete Informationen über die statistische Signifikanz der Experimente?

Antwort: [Nein]

Begründung: Die Experimente nutzen die API großer Sprachmodelle. Mehrfache Aufrufe würden die Kosten erheblich erhöhen.

Leitlinien:- Die Antwort NA bedeutet, dass die Arbeit keine Experimente enthält.- Die Autoren sollten „Ja“ antworten, wenn die Ergebnisse von Fehlerbalken, Konfidenzintervallen oder Tests auf statistische Signifikanz begleitet werden, zumindest für die Experimente, die die Hauptbehauptungen der Arbeit stützen.- Die Variabilitätsfaktoren, die die Fehlerbalken erfassen, sollten klar angegeben werden (zum Beispiel Trainings-/Testaufteilung, Initialisierung, zufällige Ziehung eines Parameters oder gesamter Lauf unter gegebenen experimentellen Bedingungen).- Die Methode zur Berechnung der Fehlerbalken sollte erläutert werden (geschlossene Formel, Aufruf einer Bibliotheksfunktion, Bootstrap usw.).- Die getroffenen Annahmen sollten angegeben werden (z. B. normalverteilte Fehler).- Es sollte klar sein, ob der Fehlerbalken die Standardabweichung oder der Standardfehler des Mittelwerts ist.- Es ist in Ordnung, 1-Sigma-Fehlerbalken zu berichten, aber man sollte dies angeben. Die Autoren sollten vorzugsweise einen 2-Sigma-Fehlerbalken berichten, statt anzugeben, dass sie ein 96%-KI haben, wenn die Hypothese der Normalität der Fehler nicht verifiziert ist.- Bei asymmetrischen Verteilungen sollten die Autoren darauf achten, in Tabellen oder Abbildungen keine symmetrischen Fehlerbalken zu zeigen, die Ergebnisse außerhalb des Bereichs ergeben würden (z. B. negative Fehlerraten).- Wenn Fehlerbalken in Tabellen oder Diagrammen berichtet werden, sollten die Autoren im Text erklären, wie sie berechnet wurden, und die entsprechenden Abbildungen oder Tabellen im Text referenzieren.

8. Rechenressourcen der Experimente

Frage: Gibt die Arbeit für jedes Experiment ausreichende Informationen über die Computerressourcen (Art der Rechenknoten, Speicher, Ausführungszeit) an, die zur Reproduktion der Experimente erforderlich sind?

Antwort: [Ja]

Begründung: Dies kann im experimentellen Teil gefunden werden.

Leitlinien:- Die Antwort NA bedeutet, dass die Arbeit keine Experimente enthält.- Die Arbeit sollte die Art der Rechenknoten angeben, CPU oder GPU, internen Cluster oder Cloud-Anbieter, einschließlich relevantem Speicher und Speicherplatz.

- Die Arbeit sollte die Menge an Rechenleistung angeben, die für jeden der einzelnen experimentellen Läufe erforderlich ist, sowie die gesamte Rechenleistung schätzen.

- Die Arbeit sollte offenlegen, ob das gesamte Forschungsprojekt mehr Rechenleistung erforderte als die in der Arbeit berichteten Experimente (z. B. vorläufige oder fehlgeschlagene Experimente, die es nicht in die Arbeit geschafft haben).

9. Ethikkodex

Frage: Entspricht die in der Arbeit durchgeführte Forschung in jeder Hinsicht dem NeurIPS-Ethikkodex https://neurips.cc/public/EthicsGuidelines?

Antwort: [NA]

Begründung: N/A

Leitlinien:

- Die Antwort NA bedeutet, dass die Autoren den NeurIPS Code of Ethics nicht geprüft haben. - Wenn die Autoren mit Nein antworten, sollten sie die besonderen Umstände erläutern, die eine Abweichung vom Code of Ethics erfordern. - Die Autoren sollten sicherstellen, dass die Anonymität gewahrt bleibt (z. B. wenn aufgrund von Gesetzen oder Vorschriften in ihrer Gerichtsbarkeit eine besondere Berücksichtigung erforderlich ist).

10. Breitere Auswirkungen

Frage: Diskutiert das Papier sowohl potenzielle positive gesellschaftliche Auswirkungen als auch negative gesellschaftliche Auswirkungen der durchgeführten Arbeit?

Antwort: [Nein]

Begründung: Wir diskutieren diesen Aspekt nicht, da wir nur das Speichersystem für LLM-Agenten bereitstellen. Unterschiedliche LLM-Agenten können unterschiedliche gesellschaftliche Auswirkungen erzeugen, die über den Rahmen unserer Arbeit hinausgehen.

Leitlinien:

- Die Antwort NA bedeutet, dass die durchgeführte Arbeit keine gesellschaftlichen Auswirkungen hat.

- Wenn die Autoren mit NA oder Nein antworten, sollten sie erklären, warum ihre Arbeit keine gesellschaftlichen Auswirkungen hat oder warum das Papier gesellschaftliche Auswirkungen nicht behandelt.

- Beispiele für negative gesellschaftliche Auswirkungen umfassen potenzielle böswillige oder unbeabsichtigte Verwendungen (z. B. Desinformation, Erstellung gefälschter Profile, Überwachung), Fairness-Erwägungen (z. B. Einsatz von Technologien, die Entscheidungen treffen könnten, die bestimmte Gruppen unfair beeinflussen), Datenschutzerwägungen und Sicherheitserwägungen.

- Die Konferenz erwartet, dass viele Papiere Grundlagenforschung sind und nicht an bestimmte Anwendungen gebunden sind, geschweige denn an Bereitstellungen. Wenn es jedoch einen direkten Weg zu negativen Anwendungen gibt, sollten die Autoren darauf hinweisen. Beispielsweise ist es legitim, darauf hinzuweisen, dass eine Verbesserung der Qualität generativer Modelle zur Erzeugung von Deepfakes für Desinformation genutzt werden könnte. Andererseits ist es nicht erforderlich, darauf hinzuweisen, dass ein generischer Algorithmus zur Optimierung neuronaler Netze es Menschen ermöglichen könnte, Modelle schneller zu trainieren, die Deepfakes erzeugen.

- Die Autoren sollten mögliche Schäden berücksichtigen, die entstehen könnten, wenn die Technologie wie beabsichtigt und korrekt funktionierend verwendet wird, Schäden, die entstehen könnten, wenn die Technologie wie beabsichtigt verwendet wird, aber falsche Ergebnisse liefert, und Schäden, die aus (absichtlichem oder unabsichtlichem) Missbrauch der Technologie folgen.

- Wenn es negative gesellschaftliche Auswirkungen gibt, könnten die Autoren auch mögliche Gegenmaßnahmen diskutieren (z. B. kontrollierte Freigabe von Modellen, Bereitstellung von Verteidigungsmechanismen zusätzlich zu Angriffen, Mechanismen zur Überwachung von Missbrauch, Mechanismen zur Überwachung, wie ein System im Laufe der Zeit aus Feedback lernt, Verbesserung der Effizienz und Zugänglichkeit von ML).

11. Schutzmaßnahmen

Frage: Beschreibt das Paper Schutzmaßnahmen, die für die verantwortungsvolle Freigabe von Daten oder Modellen mit hohem Missbrauchsrisiko eingerichtet wurden (z. B. vortrainierte Sprachmodelle, Bildgeneratoren oder gescrapte Datensätze)?

Antwort: [NA]

Begründung: N/A

Richtlinien:

Richtlinien:

12. Lizenzen für bestehende Ressourcen

Frage: Werden die Ersteller oder ursprünglichen Eigentümer der im Paper verwendeten Ressourcen (z. B. Code, Daten, Modelle) ordnungsgemäß genannt, und werden die Lizenz und die Nutzungsbedingungen ausdrücklich erwähnt und ordnungsgemäß eingehalten?

Antwort: [Ja]

Begründung: Ihr Beitrag wurde bereits ordnungsgemäß anerkannt und gewürdigt.

Richtlinien:

Richtlinien:

13. Neue Ressourcen

Frage: Sind neue, im Paper eingeführte Ressourcen gut dokumentiert, und wird die Dokumentation zusammen mit den Ressourcen bereitgestellt?

Antwort: [NA]

Begründung: N/A

Richtlinien:

Richtlinien:

14. Crowdsourcing und Forschung mit menschlichen Probanden

Frage: Enthält das Paper für Crowdsourcing-Experimente und Forschung mit menschlichen Probanden den vollständigen Text der den Teilnehmenden gegebenen Anweisungen und ggf. Screenshots sowie Angaben zur Vergütung (falls vorhanden)?

Antwort: [NA]

Begründung: N/A

Richtlinien:

- Die Antwort NA bedeutet, dass das Paper weder Crowdsourcing noch Forschung mit menschlichen Probanden umfasst.- Die Aufnahme dieser Informationen in das Zusatzmaterial ist in Ordnung, aber wenn der Hauptbeitrag des Papers menschliche Probanden umfasst, sollte so viel Detail wie möglich in das Hauptpaper aufgenommen werden.- Gemäß dem NeurIPS Code of Ethics sollten an der Datenerhebung, -kuratierung oder anderen Arbeiten beteiligte Arbeitskräfte mindestens den Mindestlohn des Landes erhalten, in dem die Datenerhebung stattfindet.

15. Genehmigungen durch Institutional Review Boards (IRB) oder gleichwertige Genehmigungen für Forschung mit menschlichen Probanden

Frage: Beschreibt das Paper potenzielle Risiken für Studienteilnehmende, ob diese Risiken den Probanden offengelegt wurden und ob Genehmigungen von Institutional Review Boards (IRB) (oder eine gleichwertige Genehmigung/Überprüfung gemäß den Anforderungen Ihres Landes oder Ihrer Institution) eingeholt wurden?

Antwort: [NA]

Begründung: N/A

Richtlinien:

- Die Antwort NA bedeutet, dass das Paper weder Crowdsourcing noch Forschung mit menschlichen Probanden umfasst.- Je nach Land, in dem die Forschung durchgeführt wird, kann für jede Forschung mit menschlichen Probanden eine IRB-Genehmigung (oder gleichwertig) erforderlich sein. Wenn Sie eine IRB-Genehmigung erhalten haben, sollten Sie dies im Paper klar angeben.- Wir erkennen an, dass die Verfahren hierfür zwischen Institutionen und Standorten erheblich variieren können, und wir erwarten, dass Autoren den NeurIPS Code of Ethics und die Richtlinien ihrer Institution einhalten.- Bei Ersteinreichungen dürfen keine Informationen aufgenommen werden, die die Anonymität brechen würden (falls zutreffend), wie z. B. die Institution, die die Überprüfung durchführt.

16. Erklärung zur LLM-Nutzung

Frage: Beschreibt das Paper die Nutzung von LLMs, wenn diese eine wichtige, originäre oder nicht standardmäßige Komponente der Kernmethoden dieser Forschung darstellen? Beachten Sie, dass eine Erklärung nicht erforderlich ist, wenn das LLM nur zu Schreib-, Bearbeitungs- oder Formatierungszwecken verwendet wird und die Kernmethodik, die wissenschaftliche Strenge oder die Originalität der Forschung nicht beeinflusst.

Antwort: [NA]

Begründung: N/A

Richtlinien:

- Die Antwort NA bedeutet, dass die Entwicklung der Kernmethode in dieser Forschung keine LLMs als wichtige, originäre oder nicht standardmäßige Komponenten umfasst.- Bitte beachten Sie unsere LLM-Richtlinie (https://neurips.cc/Conferences/2025/LLM) dafür, was beschrieben werden sollte und was nicht.