Zum Hauptinhalt springen
Shen Nie et al.

Statt Token für Token sagt LLaDA maskierten Text wie ein Diffusionsmodell voraus und hält mit LLaMA-3 8B mit. ICML 2025, kostenlos.

Large Language Diffusion Models

Große Sprachdiffusionsmodelle

Shen Nie1,2,3,†\mathbf{Nie}^{1,2,3,\dagger} Fengqi Zhu 1,2,3,†^{1,2,3,\dagger} Zebin You 1,2,3,†^{1,2,3,\dagger} Xiaolu Zhang 4‡^{4\ddagger} Jingyang 0u1,2,3\mathbf{0u}^{1,2,3} Jun Hu4‡\mathbf{Hu}^{4\ddagger} Jun Zhou 4^{4} Yankai Lin1,2,3‡\mathbf{Lin}^{1,2,3\ddagger} Ji-Rong Wen 1,2,3^{1,2,3} Chongxuan Li1,2,3‡\mathbf{Li}^{1,2,3\ddagger} 1^{1} Gaoling School of Artificial Intelligence, Renmin University of China 2^{2} Beijing Key Laboratory of Research on Large Models and Intelligent Governance 3^{3} Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE 4^{4} Ant Group {nieshen,fengqizhu,chongxuanli}@ruc.edu.cn {nie shen, fengqizhu, chongxuanli}@ruc.edu.cn

Zusammenfassung

Die Fähigkeiten großer Sprachmodelle (LLMs) werden weithin als abhängig von autoregressiven Modellen (ARMs) angesehen. Wir stellen diese Auffassung infrage, indem wir LLaDA einführen, ein Diffusionsmodell, das von Grund auf unter dem Paradigma des Pre-Trainings und des überwachten Feintunings (SFT) trainiert wird. LLaDA verwendet einen Vorwärts-Datenmaskierungsprozess und einen Rückwärts-Generierungsprozess, parametrisiert durch einen Transformer zur Vorhersage maskierter Token. Es bietet einen prinzipienbasierten generativen Ansatz für probabilistische Inferenz durch Optimierung einer unteren Likelihood-Schranke. Über umfangreiche Benchmarks zu allgemeinen Aufgaben, Mathematik, Code und so weiter hinweg zeigt LLaDA eine starke Skalierbarkeit und erzielt vergleichbare Ergebnisse mit unseren selbst konstruierten ARM-Baselines. Bemerkenswert ist, dass LLaDA 8B im In-Context-Learning mit starken LLMs wie LLaMA3 8B konkurrenzfähig ist und nach SFT in Fallstudien wie mehrrundigen Dialogen beeindruckende Fähigkeiten zur Befehlsbefolgung zeigt. Darüber hinaus adressiert LLaDA den Umkehrfluch und übertrifft GPT-4o in einer Aufgabe zur Vervollständigung umgekehrter Gedichte. Unsere Ergebnisse zeigen das Potenzial von Diffusionsmodellen für die Sprachmodellierung im großen Maßstab und stellen die gängige Annahme infrage, dass die oben diskutierten Kernfähigkeiten von LLMs inhärent von ARMs abhängen. Projektseite und Codes: https://ml-gsai.github.io/LLaDA-demo/

1 Einleitung

Große Sprachmodelle (LLMs) [1] fallen vollständig in den Rahmen der generativen Modellierung. Konkret zielen LLMs darauf ab, die wahre, aber unbekannte Sprachverteilung pdata(⋅)p_{\mathrm{data}}(\cdot) zu erfassen, indem sie eine Modellverteilung pθ(⋅)p_{\theta}(\cdot) durch Maximum-Likelihood-Schätzung optimieren, oder äquivalent dazu die KL-Divergenz zwischen den beiden Verteilungen minimieren:

max⁡θEpdata(x)log⁡pθ(x)⇔min⁡θKL(pdata(x)∣∣pθ(x)).(1)\max_{\theta}\mathbb{E}{p{\mathrm{data}}(x)}\log p_{\theta}(x)\Leftrightarrow \min_{\theta}\mathrm{KL}(p_{\mathrm{data}}(x)||p_{\theta}(x)). \quad (1)

Der vorherrschende Ansatz beruht auf der autoregressiven Modellierung (ARM) – gemeinhin als Paradigma der „Vorhersage des nächsten Tokens" bezeichnet –, um die Modellverteilung zu definieren:

pθ(x)=pθ(x1)∏i=2Lpθ(xi∣x1,…,xi−1),(2)p_{\theta}(x) = p_{\theta}(x^{1})\prod_{i = 2}^{L}p_{\theta}(x^{i}\mid x^{1},\ldots ,x^{i - 1}), \quad (2)

Autoregressive Formulierung

\*Gleicher Beitrag.

1^{1} Arbeit während eines Praktikums bei Ant Group entstanden.

1^{1} Projektleiter.

1^{1} Korrespondenz an Chongxuan Li.

Abbildung 1: Zero-/Few-Shot-Benchmarks. Wir skalieren LLaDA von Grund auf auf 8B Parameter und beobachten eine konkurrenzfähige Zero-/Few-Shot-Leistung im Vergleich zu starken autoregressiven LLMs [6].
Abbildung 1: Zero-/Few-Shot-Benchmarks. Wir skalieren LLaDA von Grund auf auf 8B Parameter und beobachten eine konkurrenzfähige Zero-/Few-Shot-Leistung im Vergleich zu starken autoregressiven LLMs [6].

wobei xx eine Sequenz der Länge LL ist und xix^{i} das ii-te Token. Dieses Paradigma hat sich als bemerkenswert effektiv erwiesen [2][5] und ist zur Grundlage der aktuellen LLMs geworden. Trotz seiner weiten Verbreitung bleibt eine grundlegende Frage unbeantwortet: Ist das autoregressive Paradigma der einzige Weg, um die Kernfähigkeiten von LLMs zu erreichen, wie etwa Skalierbarkeit, In-Context-Learning und Befehlsbefolgung?

Wir argumentieren, dass die Antwort nicht einfach „ja" lautet. Die zuvor übersehene zentrale Erkenntnis ist: Es sind die Prinzipien der generativen Modellierung (d. h. Gl. (1)) und nicht die autoregressive Formulierung (d. h. Gl. (2)) selbst, die den wesentlichen Eigenschaften von LLMs grundlegend zugrunde liegen.

Insbesondere argumentieren wir, dass Skalierbarkeit in erster Linie eine Folge des Zusammenspiels zwischen Transformern [7], Modellgröße, Datengröße und Fisher-Konsistenz [5][8] ist, die durch die generativen Prinzipien in Gl. (1) induziert wird, und nicht ein einzigartiges Resultat der ARMs in Gl. (2). Der Erfolg von Diffusions-Transformern [9][10] auf visuellen Daten [11] stützt diese Behauptung. Darüber hinaus scheinen die Fähigkeiten zur Befehlsbefolgung und zum In-Context-Learning [4] intrinsische Eigenschaften aller bedingten generativen Modelle bei strukturell konsistenten sprachlichen Aufgaben zu sein und keine ausschließlichen Vorteile von ARMs. Zudem können ARMs zwar als verlustfreier Datenkompressor interpretiert werden [12][13], doch jedes hinreichend ausdrucksstarke probabilistische Modell kann ähnliche Fähigkeiten erreichen [14].

Bestimmte inhärente Einschränkungen von LLMs lassen sich jedoch direkt auf ihre autoregressive Natur zurückführen. Beispielsweise beschränkt der von links nach rechts verlaufende Generierungsprozess ihre Fähigkeit, Aufgaben des Umkehrschlusses zu bewältigen [15], was ein repräsentatives Versagen der Generalisierungsfähigkeiten aktueller Modelle darstellt.

Motiviert durch diese Erkenntnisse führen wir LLaDA (Large Language Diffusion with mAsking) ein, um zu untersuchen, ob die von LLMs gezeigten Fähigkeiten aus generativen Modellierungsprinzipien jenseits von ARMs entstehen können, und damit die zuvor aufgeworfene grundlegende Frage zu beantworten. Im Gegensatz zu traditionellen ARMs nutzt LLaDA ein maskiertes Diffusionsmodell (MDM) [16][20], das einen Vorwärts-Datenmaskierungsprozess umfasst und einen Maskenprädiktor trainiert, um seinen Rückwärtsprozess anzunähern. Dieses Design ermöglicht es LLaDA, eine Modellverteilung mit bidirektionalen Abhängigkeiten zu konstruieren und eine Variations-Untergrenze ihrer Log-Likelihood zu optimieren, was eine prinzipienbasierte und zuvor unerforschte Perspektive auf die oben diskutierten Kernfähigkeiten von LLMs bietet.

Wir übernehmen die Standard-Pipeline aus Datenvorbereitung, Pre-Training, überwachtem Feintuning (SFT) und Evaluierung und skalieren LLaDA auf eine beispiellose Sprachdiffusion der Größe 8B. Insbesondere wurde LLaDA 8B von Grund auf auf 2,3 Billionen Token mit 0,13 Millionen H800-GPU-Stunden vortrainiert, gefolgt von SFT auf 4,5 Millionen Paaren. Über verschiedene Aufgaben hinweg, einschließlich Sprachverständnis, Mathematik, Code und Chinesisch, zeigt LLaDA die folgenden Beiträge:

- LLaDA skaliert effektiv auf ein Rechenbudget von 102310^{23} FLOPs und erzielt vergleichbare Ergebnisse mit ARM-Baselines, die auf denselben Daten über sechs Aufgaben trainiert wurden, z. B. MMLU und GSM8K.

Abbildung 2: Überblick über LLaDA. (a) Pre-Training. LLaDA wird auf Text trainiert, wobei zufällige Masken unabhängig auf alle Token mit demselben Verhältnis t \sim U[0,1] angewendet werden. (b) SFT. Nur Antwort-Token werden möglicherweise maskiert. (c) Sampling. LLaDA simuliert einen Diffusionsprozess von t = 1 (vollständig maskiert) bis t = 0 (unmaskiert) und sagt bei jedem Schritt alle Masken gleichzeitig mit flexiblen Remark-Strategien voraus.
Abbildung 2: Überblick über LLaDA. (a) Pre-Training. LLaDA wird auf Text trainiert, wobei zufällige Masken unabhängig auf alle Token mit demselben Verhältnis t∼U[0,1]t \sim U[0,1] angewendet werden. (b) SFT. Nur Antwort-Token werden möglicherweise maskiert. (c) Sampling. LLaDA simuliert einen Diffusionsprozess von t=1t = 1 (vollständig maskiert) bis t=0t = 0 (unmaskiert) und sagt bei jedem Schritt alle Masken gleichzeitig mit flexiblen Remark-Strategien voraus.

- Das vortrainierte LLaDA 8B Base übertrifft LLaMA2 7B Base [21] bei nahezu allen 15 standardmäßigen Zero-/Few-Shot-Lernaufgaben und schneidet gleichauf mit LLaMA3 8B Base [6] ab, was eine effektive In-Context-Learning-Fähigkeit zeigt.

- LLaDA verbessert nach SFT die Fähigkeit zur Befehlsbefolgung erheblich, wie in Fallstudien wie mehrrundigen Dialogen demonstriert wird.

- LLaDA durchbricht effektiv den Umkehrfluch [15] mit konsistenter Leistung bei Vorwärts- und Umkehraufgaben. Bemerkenswert ist, dass es GPT-4o in einer Aufgabe zur Vervollständigung umgekehrter Gedichte übertrifft.

2 Ansatz

In diesem Abschnitt führen wir die probabilistische Formulierung[6] zusammen mit den Verfahren für Pre-Training, überwachtes Feintuning und Inferenz für LLaDA ein, wie in Abb. [2] dargestellt.

2.1 Probabilistische Formulierung

Anders als ARMs in Gl. (2) definiert LLaDA eine Modellverteilung pθ(x0)p_{\theta}(x_{0}) durch einen Vorwärtsprozess und einen Rückwärtsprozess [16][20]. Der Vorwärtsprozess maskiert allmählich Token unabhängig voneinander in x0x_{0}, bis die Sequenz bei t=1t = 1 vollständig maskiert ist. Für t∈(0,1)t \in (0,1) ist die Sequenz xtx_{t} teilweise maskiert, wobei jedes Token mit Wahrscheinlichkeit tt maskiert oder mit Wahrscheinlichkeit 1−t1 - t unmaskiert bleibt. Der Rückwärtsprozess stellt die Datenverteilung wieder her, indem er maskierte Token iterativ vorhersagt, während tt von 1 nach 0 wandert.

Der Kern von LLaDA ist ein Maskenprädiktor, ein parametrisches Modell pθ(⋅∣xt)p_{\theta}(\cdot |x_{t}), das xtx_{t} als Eingabe nimmt und alle maskierten Token (bezeichnet als M) gleichzeitig vorhersagt. Es wird mit einer Kreuzentropie-Verlustfunktion trainiert, die nur auf den maskierten Token berechnet wird [18][20]:

L(θ)≜−Et,x0,xt[1t∑i=1L1[xti=M]log⁡pθ(x0i∣xt)],(3)\mathcal{L}(\theta) \triangleq -\mathbb{E}{t,x{0},x_{t}} \left[ \frac{1}{t} \sum_{i = 1}^{L} \mathbf{1}[x_{t}^{i} = \mathbf{M}] \log p_{\theta}(x_{0}^{i} | x_{t}) \right], \quad (3)

wobei x0x_{0} ein Trainingsbeispiel ist, tt eine kontinuierliche Zufallsvariable, die gleichmäßig aus [0,1][0,1] gezogen wird, xtx_{t} aus dem Vorwärtsprozess gezogen wird und LL die Sequenzlänge ist. Die Indikatorfunktion 1[⋅]\mathbf{1}[\cdot ] stellt sicher, dass der Verlust nur für maskierte Token berechnet wird.

Nach dem Training können wir einen Umkehrprozess simulieren (siehe Abschnitt [2.4] für Details), der durch den Maskenprädiktor parametrisiert wird, und die Modellverteilung pθ(x0)p_{\theta}(x_{0}) als die bei t=0t = 0 induzierte Randverteilung definieren. Die Verlustfunktion in Gl. (3) wurde als obere Schranke der negativen Log-Likelihood der Modellverteilung bewiesen, was sie zu einem prinzipientreuen Ziel für generative Modellierung macht:

−Epdata(x0)[log⁡pθ(x0)]≤L(θ).(4)-\mathbb{E}{p{\mathrm{data}}(x_{0})} \left[\log p_{\theta}(x_{0})\right] \leq \mathcal{L}(\theta). \quad (4)

Bemerkenswerterweise verwendet LLaDA ein Maskierungsverhältnis, das zufällig zwischen 0 und 1 variiert, während BERT [22] ein festes Verhältnis verwendet. Die subtilen Unterschiede haben erhebliche Auswirkungen, insbesondere im großen Maßstab: Wie in Gl. (4) gezeigt, ist LLaDA ein prinzipientreues generatives Modell mit dem Potenzial, In-Context-Lernen und Instruction-Following auf natürliche Weise durchzuführen, ähnlich wie LLMs. Darüber hinaus impliziert seine generative Perspektive eine starke Skalierbarkeit mit großen Daten und Modellen, wie in Abschnitt [1] diskutiert. Zusätzlich verwendet MaskGIT [23] ein heuristisches Trainingsziel, dem im Vergleich zu Gl. (3) der Term 1t\frac{1}{t} fehlt und das keine theoretische Verbindung zur Maximum-Likelihood aufweist. Wir betonen, dass es genau die theoretische Grundlage der Maximum-Likelihood-Schätzung war, die uns dazu motivierte, diskrete Diffusionsmodelle für die Sprachmodellierung zu skalieren.

2.2 Vor-training

LLaDA verwendet einen Transformer [7] als Maskenprädiktor, ähnlich wie bestehende LLMs. Allerdings verwendet LLaDA keine kausale Maske, da seine Formulierung es ermöglicht, die gesamte Eingabe für Vorhersagen zu sehen.

Wir haben zwei Varianten von LLaDA mit unterschiedlichen Größen trainiert: 1B und 8B. Wir fassen hier die Modellarchitektur von LLaDA 8B und LLaMA3 8B [6] zusammen, und Details werden in Anhang [B.2] bereitgestellt. Wir haben Konsistenz bei den meisten Hyperparametern sichergestellt und dabei mehrere notwendige Modifikationen vorgenommen. Wir verwenden Vanilla-Multi-Head-Attention anstelle von Grouped-Query-Attention [24] aus Einfachheitsgründen, da LLaDA mit KV-Caching inkompatibel ist, was zu einer unterschiedlichen Anzahl von Key- und Value-Heads führt. Folglich hat die Attention-Schicht mehr Parameter, und wir reduzieren die FFN-Dimension, um eine vergleichbare Modellgröße beizubehalten. Zusätzlich unterscheidet sich die Vokabulargröße aufgrund eines auf unseren Daten angepassten Tokenizers [4].

Das LLaDA-Modell wird auf einem Datensatz von 2,3 Billionen (T) Tokens vorab trainiert, wobei ein Datenprotokoll befolgt wird, das eng an bestehende LLMs [25] [26] angelehnt ist, ohne den Einsatz spezieller Techniken. Die Daten stammen aus Online-Korpora, wobei minderwertige Inhalte durch manuell entworfene Regeln und LLM-basierte Ansätze herausgefiltert werden. Neben allgemeinem Text umfasst der Datensatz hochwertigen Code, Mathematik- und mehrsprachige Daten. Weitere Details zu den Datensätzen finden Sie in Anhang [B.1]. Die Mischung der Datenquellen und Domänen wird durch verkleinerte ARMs gesteuert. Der Vorabtrainingsprozess verwendet eine feste Sequenzlänge von 4096 Tokens und verursacht einen gesamten Rechenaufwand von 0,13 Millionen H800-GPU-Stunden, ähnlich wie bei ARMs gleicher Größe und Datensatzgröße.

Für eine Trainingssequenz x0x_{0} ziehen wir zufällig t∈[0,1]t \in [0,1], maskieren jedes Token unabhängig mit derselben Wahrscheinlichkeit tt, um xtx_{t} zu erhalten (siehe Abb. 2), und schätzen Gl. (3) über die Monte-Carlo-Methode für das stochastische Gradientenabstiegs-Training. Darüber hinaus setzen wir in Anlehnung an Nie et al. [27], um die Fähigkeit von LLaDA zum Umgang mit Daten variabler Länge zu verbessern, 1%1\% der Vorabtrainingsdaten auf eine zufällige Länge, die gleichmäßig aus dem Bereich [1,4096][1,4096] gezogen wird.

Wir verwendeten den Lernraten-Scheduler Warmup-Stable-Decay [28], um den Trainingsfortschritt zu überwachen, ohne das kontinuierliche Training zu unterbrechen. Konkret erhöhten wir die Lernrate über die ersten 2000 Iterationen linear von 0 auf 4×10−44 \times 10^{- 4} und hielten sie bei 4×10−44 \times 10^{- 4}. Nach der Verarbeitung von 1,2T Tokens senkten wir die Lernrate auf 1×10−41 \times 10^{- 4} und hielten sie für die nächsten 0,8T Tokens konstant, um ein stabiles Training zu gewährleisten. Schließlich reduzierten wir die Lernrate für die letzten 0,3T Tokens linear von 1×10−41 \times 10^{- 4} auf 1×10−51 \times 10^{- 5}. Darüber hinaus verwendeten wir den AdamW-Optimierer [29] mit einem Weight Decay von 0,1, einer Batch-Größe von 1280 und einer lokalen Batch-Größe von 4 pro GPU. Das 8B-Experiment wurde einmal durchgeführt, ohne jegliche Hyperparameter-Optimierung.

2.3 Überwachtes Feintuning

Wir verbessern die Fähigkeit von LLaDA, Anweisungen zu befolgen, durch überwachtes Feintuning (Supervised Fine-Tuning, SFT) mit Paardaten (p0,r0)(p_{0},r_{0}), wobei p0p_{0} der Prompt und r0r_{0} die Antwort ist. Dies ist die einfachste und grundlegendste Post-Training-Methode für LLMs. Technisch erfordert dies die Modellierung der bedingten Verteilung pθ(r0∣p0)p_{\theta}(r_{0}|p_{0}) anstelle von pθ(x0)p_{\theta}(x_{0}) im Vorabtraining.

Die Implementierung ähnelt dem Vorabtraining. Wie in Abb. 2 gezeigt, lassen wir den Prompt unverändert und maskieren die Tokens in der Antwort unabhängig voneinander, wie für x0x_{0} durchgeführt. Anschließend speisen wir sowohl den Prompt als auch die maskierte Antwort rtr_{t} in den vorab trainierten Maskenprädiktor ein, um den Verlust für das SFT zu berechnen:

−Et,p0,r0,rt[1t∑i=1L′1[rti=M]log⁡pθ(r0i∣p0,rt)],(5)-\mathbb{E}{t,p{0},r_{0},r_{t}}\left[\frac{1}{t}\sum_{i = 1}^{L^{\prime}}\mathbf{1}[r_{t}^{i} = \mathbf{M}]\log p_{\theta}(r_{0}^{i}|p_{0},r_{t})\right], \quad (5)

wobei L′L^{\prime} eine später spezifizierte dynamische Länge bezeichnet und alle anderen Notationen gleich bleiben wie zuvor. Beachten Sie, dass dieser Ansatz vollständig mit dem Vorabtraining kompatibel ist. Im Wesentlichen kann die Verkettung von p0p_{0} und r0r_{0} als saubere Vorabtrainingsdaten x0x_{0} behandelt werden, während die Verkettung von p0p_{0} und rtr_{t} als maskierte Version xtx_{t} dient. Der Prozess ist identisch mit dem Vorabtraining, mit dem einzigen Unterschied, dass alle maskierten Tokens zufällig im r0r_{0}-Teil auftreten.

Das LLaDA 8B-Modell durchläuft SFT auf einem Datensatz von 4,5 Millionen Paaren. In Übereinstimmung mit dem Vorabtrainingsprozess folgen sowohl die Datenvorbereitung als auch das Training den SFT-Protokollen, die in bestehenden LLMs [25] [26] verwendet werden, ohne zusätzliche Techniken zur Optimierung der LLaDA-Leistung einzuführen. Der Datensatz umfasst mehrere Domänen, darunter Code, Mathematik und Instruction-Following. Wir hängen |EOS|-Tokens an das Ende kurzer Paare in jedem Mini-Batch an, um gleiche Längen über alle Daten hinweg sicherzustellen. Wir behandeln |EOS| während des Trainings als normales Token und entfernen es während des Samplings, wodurch LLaDA die Antwortlänge automatisch steuern kann. Weitere Details finden Sie in Anhang B.1.

Wir trainieren 3 Epochen auf den SFT-Daten unter Verwendung eines ähnlichen Zeitplans wie in der Vorabtrainingsphase. Die Lernrate wird über die ersten 50 Iterationen linear von 0 auf 2.5×10−52.5 \times 10^{- 5} erhöht und dann konstant gehalten. Während der letzten 10%10\% der Iterationen wird sie linear auf 2.5×10−62.5 \times 10^{- 6} reduziert. Darüber hinaus setzen wir den Weight Decay auf 0,1, die globale Batch-Größe auf 256 und die lokale Batch-Größe auf 2 pro GPU. Das SFT-Experiment wurde einmal durchgeführt, ohne jegliche Hyperparameter-Optimierung.

2.4 Inferenz

Als generatives Modell kann LLaDA neuen Text samplen und die Likelihood von Kandidatentext auf eine Diffusionsweise bewerten, anstatt in links-nach-rechts-autoregressiver Manier.

Wir beginnen mit dem umgekehrten Generierungsprozess. Wie in Abb. 2 dargestellt, diskretisieren wir den umgekehrten Prozess, um aus der Modellverteilung pθ(r0∣p0)p_{\theta}(r_{0}|p_{0}) zu samplen, beginnend mit einer vollständig maskierten Antwort. Die Gesamtzahl der Sampling-Schritte ist ein Hyperparameter, der LLaDA auf natürliche Weise einen Kompromiss zwischen Effizienz und Sample-Qualität bietet, wie in Abschn. [3.3] analysiert. Standardmäßig verwenden wir gleichmäßig verteilte Zeitschritte. Darüber hinaus wird auch die Generierungslänge als Hyperparameter behandelt, der die Länge des vollständig maskierten Satzes zu Beginn des Sampling-Prozesses festlegt. Nach der Generierung werden Tokens, die nach dem |EOS|-Token auftreten, verworfen. Wie in Anhang [B.5] ausführlich dargelegt, sind die Endergebnisse unempfindlich gegenüber diesem Längen-Hyperparameter, da sowohl das Vorabtraining als auch das SFT mit Datensätzen variabler Länge durchgeführt werden.

Bei einem Zwischenschritt von Zeit t∈(0,1]t \in (0,1] zu s∈[0,t)s \in [0,t) speisen wir sowohl p0p_{0} als auch rtr_{t} in den Maskenprädiktor ein und sagen alle maskierten Tokens gleichzeitig voraus. Anschließend maskieren wir st\frac{s}{t} der vorhergesagten Tokens im Erwartungswert erneut, um rsr_{s} zu erhalten, wodurch sichergestellt wird, dass der Übergang des umgekehrten Prozesses mit dem Vorwärtsprozess für eine akkurate Sampling-Prozedur übereinstimmt [18] [20]. Im Prinzip sollte die Remasking-Strategie rein zufällig sein. Inspiriert von den Annealing-Tricks beim Sampling in LLMs [4] [30] verwenden wir jedoch eine Remasking-Strategie mit geringer Konfidenz, bei der st\frac{s}{t} der vorhergesagten Tokens mit der geringsten Konfidenz basierend auf den Vorhersagen erneut maskiert werden, ebenso wie der Ansatz von Chang et al. [23].

Wir erwähnen, dass LLaDA ein flexibles Sampling ermöglicht. Insbesondere unterstützt es autoregressives und Block-Diffusions-Sampling [31] direkt nach den oben beschriebenen Vorabtrainings- oder SFT-Prozessen, ohne dass weitere Modifikationen oder Trainings erforderlich sind. Wir bieten eine detaillierte Analyse in Anhang [B.4]. Nichtsdestotrotz erzielt das Diffusions-Sampling (d. h. der umgekehrte Generierungsprozess) die beste Leistung und wird als Standard in dieser Arbeit verwendet, insbesondere für alle in Abschn. [3] vorgestellten Experimente.

Für die bedingte Likelihood-Bewertung können wir auf natürliche Weise die obere Schranke in Gl. [5] nutzen. Wir stellen jedoch fest, dass die folgende äquivalente Form [20] eine geringere Varianz aufweist und stabiler ist:

−El,r0,rl[Ll∑i=1L1[rli=M]log⁡pθ(r0i∣p0,rl)],(6)-\mathbb{E}{l,r{0},r_{l}}\left[\frac{L}{l}\sum_{i = 1}^{L}\mathbf{1}[r_{l}^{i} = \mathbf{M}]\log p_{\theta}(r_{0}^{i}|p_{0},r_{l})\right], \quad (6)

Hierbei ist LL die Sequenzlänge von r0r_{0}, ll wird gleichmäßig aus {1,2,…,L}\{1,2,\ldots ,L\} gezogen, und rlr_{l} wird erhalten, indem ll Token gleichmäßig ohne Zurücklegen aus r0r_{0} gezogen werden, um sie zu maskieren.

Wir stellen die Trainings- und Inferenzalgorithmen zusammen mit theoretischen Details in Anhang [A] vor.

3 Experimente

Wir evaluieren die Skalierbarkeit, die Fähigkeit zur Instruktionsbefolgung und die In-Context-Lernfähigkeiten von LLaDA anhand standardisierter Benchmarks, gefolgt von Analysen und Fallstudien, um eine umfassende Bewertung zu ermöglichen.

Abbildung 3: Skalierbarkeit von LLaDA. Wir bewerten die Leistung von LLaDA und unseren ARM-Baselines, die auf denselben Daten trainiert wurden, über zunehmende Rechen-FLOPs im Vortraining hinweg. LLaDA zeigt eine starke Skalierbarkeit und erreicht die Gesamtleistung von ARMs bei sechs Aufgaben.
Abbildung 3: Skalierbarkeit von LLaDA. Wir bewerten die Leistung von LLaDA und unseren ARM-Baselines, die auf denselben Daten trainiert wurden, über zunehmende Rechen-FLOPs im Vortraining hinweg. LLaDA zeigt eine starke Skalierbarkeit und erreicht die Gesamtleistung von ARMs bei sechs Aufgaben.

3.1 Skalierbarkeit von LLaDA bei Sprachaufgaben

Wir untersuchen zunächst die Skalierbarkeit von LLaDA bei nachgelagerten Aufgaben im Vergleich zu den von uns konstruierten ARM-Baselines. Konkret haben wir im Maßstab von 1B sichergestellt, dass LLaDA und ARM dieselbe Architektur, dieselben Daten und alle anderen Konfigurationen teilten. In größeren Maßstäben berichten wir auch Ergebnisse für LLaDA- und ARM-Modelle leicht unterschiedlicher Größe, die aufgrund von Ressourcenbeschränkungen auf denselben Daten trainiert wurden. Weitere Details finden sich in Anhang [B.2]. Wir verwenden die Rechenkosten des Vortrainings als einheitliches Skalierungsmaß. Für die Evaluation konzentrierten wir uns auf sechs standardisierte und vielfältige Aufgaben.

Abb. 3 zeigt, dass LLaDA eine beeindruckende Skalierbarkeit aufweist, wobei sein Gesamttrend mit ARMs höchst konkurrenzfähig ist. Bemerkenswert ist, dass LLaDA bei Aufgaben wie MMLU und GSM8K sogar eine stärkere Skalierbarkeit zeigt. Selbst bei relativ schwächeren Aufgaben wie PIQA verringert sich die Leistungslücke zu ARMs mit zunehmendem Maßstab. Um den Einfluss von Ausreißern zu berücksichtigen, haben wir darauf verzichtet, quantitative Kurven anzupassen, um mögliche Fehlinterpretationen zu vermeiden. Dennoch zeigen die Ergebnisse eindeutig die Skalierbarkeit von LLaDA.

In Anbetracht der Vorteile von LLaDA bei bestimmten Benchmarks stellen wir die Hypothese auf, dass dieser Leistungsgewinn aus einem entscheidenden architektonischen Unterschied resultiert: Während autoregressive Modelle nur bedingte Wahrscheinlichkeiten von links nach rechts optimieren, wird LLaDA darauf trainiert, mehrere Konditionierungsrichtungen zu berücksichtigen, wie in Anhang [A.2] detailliert dargestellt, was größere Flexibilität bieten und zu besserer Generalisierung führen könnte. Diese Hypothese wird durch die starke Leistung von LLaDA beim Umkehrschluss in Abschnitt [3.3] und die Ablationsstudien zu Sampling-Strategien in Anhang [B.4] motiviert.

Nie et al. [27] legen nahe, dass MDM im Vergleich zu ARM 16-mal mehr Rechenaufwand benötigt, um dieselbe Likelihood zu erreichen. Jedoch machen entscheidende Unterschiede unsere Ergebnisse breiter anwendbar. Insbesondere ist die Likelihood eine relativ indirekte Metrik für die Leistung bei nachgelagerten Aufgaben, und Diffusion optimiert eine Schranke der Likelihood, was sie nicht direkt mit ARM vergleichbar macht. Darüber hinaus haben wir den Skalierungsbereich von 1018∼102010^{18} \sim 10^{20} FLOPs in Nie et al. [27] auf 1020∼102310^{20} \sim 10^{23} FLOPs in dieser Arbeit erweitert.

3.2 Benchmark-Ergebnisse

Um die In-Context-Lern- und Instruktionsbefolgungsfähigkeiten von LLaDA 8B umfassend zu evaluieren, haben wir detaillierte Vergleiche mit bestehenden LLMs [6,21,25,26,32,33] ähnlicher Größe durchgeführt. Aufgabenauswahl und Evaluationsprotokolle folgten bestehenden Studien und deckten populäre Benchmarks in allgemeinen Aufgaben, Mathematik, Code und Chinesisch ab. Weitere Details werden in Anhang [B.6] bereitgestellt. Für einen direkteren Vergleich haben wir repräsentative LLMs [6,21] in unserer Implementierung erneut evaluiert.

Wie in Tab. [1] gezeigt, demonstriert LLaDA 8B Base nach dem Vortraining auf 2,3T Token bemerkenswerte Leistung, übertrifft LLaMA2 7B Base bei nahezu allen Aufgaben und ist insgesamt konkurrenzfähig mit LLaMA3 8B Base. LLaDA zeigt Vorteile bei Mathematik- und Chinesisch-Aufgaben. Wir vermuten, dass die

LLaDA 8B*LLaMA3 8B*LLaMA2 7B*Qwen2 7B†Qwen2.5 7B†Mistral 7B†Deepseek 7B†
Modell-Trainings-TokenDiffusion 2,3TAR 15TAR 2TAR 7TAR 18TAR -AR 2T
Allgemeine Aufgaben
MMLU65,9 (5)65,4 (5)45,9 (5)70,3 (5)74,2 (5)64,2 (5)48,2 (5)
BBH49,7 (3)62,1 (3)39,4 (3)62,3 (3)70,4 (3)56,1 (3)39,5 (3)
ARC-C45,9 (0)53,1 (0)46,3 (0)60,6 (25)63,7 (25)60,0 (25)48,1 (0)
Hellaswag70,5 (0)79,1 (0)76,0 (0)80,7 (10)80,2 (10)83,3 (10)75,4 (0)
TruthfulQA46,1 (0)44,0 (0)39,0 (0)54,2 (0)56,4 (0)42,2 (0)-
WinoGrande74,8 (5)77,3 (5)72,5 (5)77,0 (5)75,9 (5)78,4 (5)70,5 (0)
PIQA73,6 (0)80,6 (0)79,1 (0)---79,2 (0)
Mathematik & Naturwissenschaften
GSM8K70,3 (4)48,7 (4)13,1 (4)80,2 (4)85,4 (4)36,2 (4)17,4 (8)
Math31,4 (4)16,0 (4)4,3 (4)43,5 (4)49,8 (4)10,2 (4)6,0 (4)
GPQA25,2 (5)25,9 (5)25,7 (5)30,8 (5)36,4 (5)24,7 (5)-
Code
HumanEval35,4 (0)34,8 (0)12,8 (0)51,2 (0)57,9 (0)29,3 (0)26,2 (0)
HumanEval-FIM73,8 (2)73,3 (2)26,9 (2)----
MBPP40,0 (4)48,8 (4)23,2 (4)64,2 (0)74,9 (0)51,1 (0)39,0 (3)
Chinesisch
CMMLU69,9 (5)50,7 (5)32,5 (5)83,9 (5)--47,2 (5)
C-Eval70,5 (5)51,7 (5)34,0 (5)83,2 (5)--45,0 (5)
Tabelle 1: Benchmark-Ergebnisse vortrainierter LLMs. \* zeigt an, dass die Modelle unter demselben Protokoll evaluiert wurden, das in Anhang B.6 ausführlich beschrieben ist. Ergebnisse, die mit †\dagger und \P gekennzeichnet sind, stammen von Yang et al. [25] [26] bzw. Bi et al. [32]. Die Zahlen in Klammern geben die Anzahl der Shots an, die für das In-Context-Learning verwendet wurden. „-“ zeigt unbekannte Daten an.
LLaDA 8B*LLaMA3 8B*LLaMA2 7B*Qwen2 7B†Qwen2.5 7B†Gemma2 9B†Deepseek 7B†
Modell-Trainings-TokenDiffusion 2,3TAR 15TAR 2TAR 7TAR 18TAR 8TAR 2T
Post-Training-AusrichtungspaareSFT 4,5MSFT+RL -SFT+RL -SFT+RL 0,5M + -SFT+RL 1M + 0,15M -SFT+RL -SFT+RL 1,5M + -
Allgemeine Aufgaben
MMLU65,5 (5)68,4 (5)44,1 (5)---49,4 (0)
MMLU-pro37,0 (0)41,9 (0)4,6 (0)44,1 (5)56,3 (5)52,1 (5)-
Hellaswag74,6 (0)75,5 (0)51,5 (0)---68,5 (-)
ARC-C88,5 (0)82,4 (0)57,3 (0)---49,4 (-)
Mathematik & Naturwissenschaften
GSM8K69,4 (4)78,3 (4)29,0 (4)85,7 (0)91,6 (0)76,7 (0)63,0 (0)
Mathematik31,9 (0)29,6 (0)3,8 (0)52,9 (0)75,5 (0)44,3 (0)15,8 (0)
GPQA33,3 (5)31,9 (5)28,4 (5)34,3 (0)36,4 (0)32,8 (0)-
Code
HumanEval49,4 (0)59,8 (0)16,5 (0)79,9 (0)84,8 (0)68,9 (0)48,2 (-)
MBPP41,0 (4)57,6 (4)20,6 (4)67,2 (0)79,2 (0)74,9 (0)35,2 (-)
Tabelle 2: Benchmark-Ergebnisse nachtrainierter LLMs. LLaDA verwendet nur ein SFT-Verfahren, während andere Modelle zusätzlich ein Reinforcement-Learning-(RL-)Alignment erhalten. \* zeigt an, dass Modelle unter demselben Protokoll evaluiert werden, das in Anhang B.6 ausführlich beschrieben ist. Ergebnisse, die mit \(\dagger\) und \(\P\) gekennzeichnet sind, stammen aus Yang et al. [26] bzw. Bi et al. [32]. Die Zahlen in Klammern geben die Anzahl der Shots an, die für das In-Context-Learning verwendet wurden. "-" zeigt unbekannte Daten an.

Stärken aus denselben Faktoren stammen wie seine relativ schwächere Leistung bei einigen Aufgaben – Unterschiede in Datenqualität und -verteilung, die weitgehend auf die Closed-Source-Situation von LLM-Datensätzen zurückzuführen sind.

Insbesondere haben wir die Möglichkeit von Datenlecks sorgfältig ausgeschlossen, indem wir GSM8K als Beispiel herangezogen haben. Erstens übertrifft LLaDA, wie in Abb. [3] gezeigt, die ARM-Baselines in Bezug auf GSM8K. Darüber hinaus bleibt die Schlussfolgerung bei einer völlig ungesehenen GSM8K-ähnlichen Aufgabe [34] in Anhang B.8 bestehen.

Weiterhin vergleicht Tab. [2] die Leistung von LLaDA 8B Instruct mit bestehenden LLMs. SFT verbesserte die Leistung von LLaDA bei den meisten nachgelagerten Aufgaben. Einige wenige Metriken, wie MMLU, zeigten Rückgänge, möglicherweise aufgrund der suboptimalen Qualität der SFT-Daten. Insgesamt, da wir kein Alignment

Sampling-Prozess
BenutzerLily kann 12 Kilometer pro Stunde für 4 Stunden laufen. Danach läuft sie 6 Kilometer pro Stunde. Wie viele Kilometer kann sie in 8 Stunden laufen?
LLaDAIn 4 Stunden läuft Lily 12 * 4 = 48 Kilometer. Nach 4 Stunden läuft sie 6 * 4 = 24 Kilometer. Insgesamt läuft sie 48 + 24 = 72 Kilometer in 8 Stunden. Ergebnis 72
Fall eines mehrrundigen Dialogs
BenutzerKönntest du mir bitte die ersten beiden Zeilen des berühmten Gedichts „The Road Not Taken“ mitteilen?
LLaDAGewiss! Die ersten beiden Zeilen des berühmten Gedichts „The Road Not Taken“ von Robert Frost lauten: „Two roads diverged in a yellow wood, And sorry I could not travel both.“ Diese Zeilen bereiten den Boden für das Gedicht und führen die Idee eines Sprechers ein, der vor der Wahl zwischen zwei Wegen steht.
BenutzerBitte hilf mir, es ins Chinesische zu übersetzen.
LLaDAGerne! Die ersten beiden Zeilen von „The Road Not Taken“ von Robert Frost lassen sich ins Chinesische übersetzen als: „两条路分岔在黄色的树林中,遗憾我不能同时走“
BenutzerBitte übersetze ins Deutsche.
LLaDAGerne! Die ersten beiden Zeilen von „The Road Not Taken“ von Robert Frost lassen sich ins Deutsche übersetzen als: „Zwei Wege trennten sich im gelben Wald, und leider konnte ich nicht beide tun.“
BenutzerBitte schreibe auch ein Gedicht über Lebensentscheidungen. Ich verlange 5 Sätze, und das erste Wort jedes Satzes beginnt mit C als erstem Buchstaben.
LLaDAGewiss! Hier ist ein Gedicht über Lebensentscheidungen, bei dem jeder Satz mit dem Buchstaben „C“ beginnt: Choices cascade through life’s journey, Creating connections with each decision, Careful consideration leads to better paths, Courageous choices shape our destiny, Choosing wisely guides us through the years.
Tabelle 3: Visualisierung des Sampling-Prozesses und eines generierten mehrrundigen Dialogs. In der Antwort von LLaDA zeigen dunklere Farben Token an, die in späteren Phasen des Samplings vorhergesagt wurden, während hellere Farben früheren Vorhersagen entsprechen.

mit Reinforcement Learning (RL) durchgeführt haben, liegen unsere Ergebnisse etwas hinter LLaMA3 8B Instruct zurück, obwohl die Lücken bei vielen Metriken klein bleiben. Bemerkenswert ist, dass LLaDA selbst mit nur SFT beeindruckende Fähigkeiten zur Befehlsbefolgung zeigt, wie in Abschnitt [3.4] detailliert beschrieben. Wir überlassen RL-basiertes Alignment zukünftiger Arbeit.

Alle Ergebnisse in Abschnitt [3] basieren auf reinen Diffusionsmethoden, da sie eine bessere Gesamtleistung erzielen als Ansätze, die autoregressive Komponenten einbeziehen. Konkret verwenden wir Gl. (6) zur bedingten Likelihood-Schätzung und wenden Low-Confidence-Remasking für das Sampling an. Für LLaDA 8B Instruct erzielt das Sampling im Block-Diffusions-Stil bessere Ergebnisse bei GSM8K und Math, mit Werten von 78,6 und 42,2, verglichen mit 69,4 und 31,9 in Tab. [2]. Dieser Gewinn ist auf umfangreiches |EOS|-Token-Padding in den SFT-Daten zurückzuführen, das eine vorzeitige Beendigung beim Low-Confidence-Remasking verursacht. Weitere Details finden Sie in Anhang [B.4].

Insgesamt haben wir trotz der mangelnden Datentransparenz alle Anstrengungen unternommen, standardisierte Verfahren anzuwenden und vielfältige Aufgaben einzuführen; wir sind der Überzeugung, dass sie die außergewöhnlichen Fähigkeiten von LLaDA hinreichend demonstrieren, das unseres Wissens das einzige konkurrenzfähige nicht-autoregressive Modell ist.

3.3 Umkehrschlussfolgerung und Analysen

Um die Fähigkeit zum Umkehrschluss [15] von Modellen zu quantifizieren, folgen wir dem von Allen-Zhu und Li [35] etablierten Protokoll. Konkret konstruieren wir einen Datensatz aus 496 berühmten chinesischen Gedicht-Satzpaaren. Bei einem gegebenen Satz aus einem Gedicht besteht die Aufgabe der Modelle darin, die nachfolgende Zeile (vorwärts) oder die vorhergehende Zeile (umgekehrt) ohne zusätzliches Fine-Tuning zu generieren. Beispiele finden sich in Abschnitt [B.9]. Diese Einstellung bietet eine unkomplizierte und realistischere Bewertung im Vergleich zu früheren Studien [27, 36].

Wie in Tab. [4] gezeigt, adressiert LLaDA den Umkehrfluch [15] effektiv und demonstriert konsistente Zero-Shot-Leistung sowohl bei Vorwärts- als auch bei Umkehraufgaben. Im Gegensatz dazu zeigen sowohl Qwen 2.5 als auch GPT-4o eine erhebliche Lücke zwischen beiden. Die Ergebnisse bei der Vorwärtsgenerierung bestätigen, dass beide ARMs stark sind und von deutlich größeren Datensätzen und greateren Rechenressourcen als LLaDA profitieren. Jedoch übertrifft LLaDA beide bei der Umkehraufgabe um einen großen Abstand.

Wir haben nichts Besonderes für Umkehraufgaben entworfen. Intuitiv behandelt LLaDA Token gleichmäßig ohne induktiven Bias, was zu ausgewogener Leistung führt. Details finden Sie in Anhang A.2.

Wir analysieren auch die Auswirkung verschiedener Sampling-Strategien für LLaDA, einschließlich autoregressivem Sampling, Block-Diffusions-Sampling [31] und reinem Diffusions-Sampling, und zeigen, dass reines Diffusions-Sampling die beste Gesamtleistung erzielt, wie in Anhang B.4 detailliert beschrieben.

VorwärtsUmkehrung
GPT-4o (2024-08-06)82,734,3
Qwen2.5-7B Instruct75,938,0
LLaDA-8B Instruct51,845,6
Tabelle 4: Vergleich bei der Aufgabe zur Gedichtvervollständigung.

Darüber hinaus untersuchen wir die Sampling-Geschwindigkeit und den Speicherverbrauch von LLaDA und zeigen, dass es einen flexiblen Kompromiss zwischen Generierungsqualität und Geschwindigkeit ermöglicht. Weitere Details finden Sie in Anhang B.7.

Classifier-free Guidance (CFG) [37] [27] ist eine weit verbreitete Technik in Diffusionsmodellen zur Verbesserung der Generierungsqualität. Um einen fairen Vergleich mit ARMs zu gewährleisten, wenden wir CFG im Haupttext nicht auf LLaDA an. Wir zeigen jedoch, dass LLaDA mit CFG kompatibel ist und konsistent von seiner Anwendung profitiert. Weitere Details finden Sie in Anhang B.3.

3.4 Fallstudien

Wir präsentieren in Tab. 3 von LLaDA 8B Instruct generierte Beispiele, die seine Fähigkeiten zur Befehlsbefolgung veranschaulichen. Erstens veranschaulicht die Tabelle LLaDAs Fähigkeit, kohärenten, flüssigen und ausgedehnten Text auf nicht-autoregressive Weise zu generieren. Zweitens hebt sie die Mehrfachdialogfähigkeit des Modells hervor, die den Gesprächsverlauf effektiv beibehält und kontextuell angemessene Antworten in mehreren Sprachen erzeugt. Solche Chat-Fähigkeiten von LLaDA sind beeindruckend, da es unseres Wissens nach zum ersten Mal von konventionellen ARMs abweicht. Weitere Fallstudien finden Sie in Anhang B.10.

4 Verwandte Arbeiten

Diffusionsmodelle [38,40] haben im visuellen Bereich bemerkenswerte Erfolge erzielt, bleiben jedoch für die Sprachmodellierung im großen Maßstab (z. B. Modelle, die mit über 102310^{23} FLOPs trainiert wurden) unverifiziert, trotz wachsendem Interesse und umfangreicher Forschungsbemühungen.

Ein einfacher Ansatz besteht darin, Textdaten zu kontinuisieren und kontinuierliche Diffusionsmodelle direkt anzuwenden [41-51]. Alternativ modellieren einige Methoden stattdessen kontinuierliche Parameter diskreter Verteilungen [52-56]. Allerdings bleibt die Skalierbarkeit für diese Ansätze eine erhebliche Herausforderung. Beispielsweise könnte ein 1B-Modell das 64-fache an Rechenleistung eines ARM benötigen, um vergleichbare Leistung zu erzielen [57].

Ein anderer Ansatz ersetzt kontinuierliche Diffusion durch diskrete Prozesse mit neuen Vorwärts- und Rückwärtsdynamiken, was zu zahlreichen Varianten führt [58,71]. Das ursprüngliche Diffusionsmodell-Papier [38] führte sowohl kontinuierliche als auch diskrete Zustandsübergangskerne unter einem einheitlichen Diffusionsrahmen ein. Austin et al. [16] gehörten zu den Pionierarbeiten, die diskrete Diffusionsmodelle in die Sprachmodellierung einführten und die Machbarkeit dieses Ansatzes demonstrierten. Lou et al. [17] zeigten, dass maskierte Diffusion als Spezialfall der diskreten Diffusion eine Perplexität erreicht, die mit ARMs auf GPT-2-Skala vergleichbar ist oder diese übertrifft. Shi et al. [18], Sahoo et al. [19], Ou et al. [20] etablierten grundlegende theoretische Ergebnisse, die unser Modell-Design, Training und Inferenz motivierten (siehe Anhang A für Details). Nie et al. [27] führten die Skalierungsgesetze für MDMs in der Sprachmodellierung ein und untersuchten, wie MDMs für Sprachaufgaben wie Fragebeantwortung auf GPT-2-Skala genutzt werden können. Gong et al. [72] demonstrierten das Potenzial des Fine-Tunings eines ARM innerhalb des MDM-Frameworks. Allerdings sind die von Gong et al. [72] beobachteten Verbesserungen auf spezifische Metriken beschränkt, und ihr Ansatz adressiert nicht die durch reines diffusionsbasiertes Training erreichbare Leistung. Eine parallele Arbeit [73] demonstriert das Potenzial von Diffusions-Sprachmodellen in der Codegenerierung und hebt ihre Vorteile in der Inferenzeffizienz hervor. Da es sich jedoch um ein Closed-Source-Produkt handelt, bleiben spezifische Details wie Trainingsverfahren und Sampling-Methoden unbekannt.

Im Vergleich dazu skaliert diese Studie MDM von Grund auf auf eine beispiellose Größe von 8B Parametern und erzielt eine Leistung, die mit führenden LLMs wie LLaMA 3 vergleichbar ist.

Darüber hinaus steht eine parallele Arbeitslinie zur Bildgenerierung [23,74,75] in gutem Einklang mit der Anwendung von MDMs auf Textdaten. Darüber hinaus haben MDMs auch in anderen Bereichen wie der Proteingenerierung [76][77] vielversprechende Ergebnisse erzielt. Bemerkenswert ist, dass eine Reihe von Studien [31][78][87] Techniken wie Architekturoptimierung, Destillation und Sampling-Algorithmus-Design untersucht haben, um das Sampling von MDMs zu beschleunigen.

5 Schlussfolgerung und Diskussion

Wir stellen LLaDA vor, ein Diffusions-Sprachmodell, das von Grund auf mit einer beispiellosen Größe von 8B Parametern trainiert wurde. LLaDA demonstriert starke Fähigkeiten in Skalierbarkeit, In-Context-Learning und Befehlsbefolgung und erreicht eine Leistung, die mit starken LLMs wie LLaMA3 vergleichbar ist. Darüber hinaus bietet LLaDA einzigartige Vorteile wie bidirektionale Modellierung und erhöhte Robustheit und adressiert effektiv die relevanten Einschränkungen bestehender LLMs. Unsere Ergebnisse zeigen das Versprechen von Diffusionsmodellen für die Sprachmodellierung im großen Maßstab und stellen die gängige Annahme in Frage, dass diese wesentlichen Fähigkeiten inhärent an ARMs gebunden sind. Diese Ergebnisse repräsentieren ein neues Paradigma für die Sprachmodellierung und eröffnen neuartige Erkenntnisse, die ein hohes Maß an wissenschaftlicher Innovation demonstrieren.

Einschränkungen. So vielversprechend sie sind, bleibt das volle Potenzial von Diffusionsmodellen noch zu erkunden. Mehrere Einschränkungen dieser Arbeit bieten bedeutende Möglichkeiten für zukünftige Forschung. Die Generierungslänge ist ein vom Benutzer festgelegter Hyperparameter. Obwohl LLaDA gegenüber diesem Hyperparameter unempfindlich ist, wie in Anhang [B.5] detailliert beschrieben, glauben wir, dass die Annahme einer adaptiven Generierungslänge eine effizientere Lösung bieten würde. Aufgrund von Rechenbeschränkungen waren direkte Vergleiche zwischen LLaDA und ARMs – wie etwa das Training auf identischen Datensätzen – auf ein Rechenbudget von weniger als 102310^{23} FLOPs beschränkt. Um Ressourcen für das Training des größtmöglichen LLaDA-Modells und die Demonstration seines Potenzials zu allocieren, konnten wir die ARM-Baseline nicht im gleichen Umfang skalieren. Darüber hinaus wurden weder spezialisierte Attention-Mechanismen noch Positions-Embeddings für LLaDA entworfen, noch wurden systemische Architekturoptimierungen wie KV-Cache angewendet. Auf der Inferenzseite bleiben effizientere und kontrollierbarere [37][88][89] Sampling-Algorithmen vorläufig. Darüber hinaus hat LLaDA noch kein Alignment mit Reinforcement Learning [90][91] durchlaufen, was entscheidend für die Verbesserung seiner Leistung und die Ausrichtung an menschlichen Absichten ist.

Mit Blick auf die Zukunft bleiben sowohl die Modellgröße als auch die Menge der Trainingsdaten für LLaDA kleiner als die führender ARM-Gegenstücke [6][26][92][95], was die Notwendigkeit weiterer Skalierung unterstreicht, um seine Fähigkeiten vollständig zu evaluieren. Darüber hinaus ist LLaDAs Fähigkeit zur Verarbeitung multimodaler Daten noch unerforscht. Seine Auswirkung auf Prompt-Tuning-Techniken [96] und die Integration in agentenbasierte Systeme [97][98] ist noch nicht vollständig verstanden. Schließlich ist eine systematische Untersuchung des Post-Trainings für LLaDA (z. B. O1-ähnliche Systeme [99][100]) erforderlich, um das Potenzial von Diffusions-Sprachmodellen weiter zu erschließen.

Danksagungen

Diese Arbeit wurde unterstützt von der National Natural Science Foundation of China (Nr. 92470118); der Beijing Natural Science Foundation (Nr. L247030); dem Beijing Nova Program (Nr. 20220484044); und dem Ant Group Research Fund.

Literatur

[1] Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, et al. A survey of large language models. arXiv preprint arXiv:2303.18223, 2023. [2] Alec Radford. Improving language understanding by generative pre-training, 2018. [3] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019. [4] Tom B Brown. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020. [5] OpenAI. ChatGPT: Optimizing Language Models for Dialogue. OpenAI blog, November 2022. URL https://openai.com/blog/chatgpt/[6] Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, Aiesha Letman, Akhil Mathur, Alan Schelten, Amy Yang, Angela Fan, et al. The llama 3 herd of models. arXiv preprint arXiv:2407.21783, 2024.

[7] Ashish Vaswani. Attention is all you need. arXiv preprint arXiv:1706.03762, 2017.

[8] Ronald A Fisher. On the mathematical foundations of theoretical statistics. Philosophical transactions of the Royal Society of London. Series A, containing papers of a mathematical or physical character, 222(594-604):309-368, 1922.

[9] Fan Bao, Shen Nie, Kaiwen Xue, Yue Cao, Chongxuan Li, Hang Su und Jun Zhu. All are worth words: A vit backbone for diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seiten 22669–22679, 2023.

[10] William Peebles und Saining Xie. Scalable diffusion models with transformers. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Seiten 4195–4205, 2023.

[11] Tim Brooks, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang und Aditya Ramesh. Video generation models as world simulators. 2024. URL https://openai.com/research/video-generation-models-as-world-simulators

[12] Gregoire Deletang, Anian Ruoss, Paul-Ambroise Duquenne, Elliot Catt, Tim Genewein, Christopher Mattern, Jordi Grau-Moya, Li Kevin Wenliang, Matthew Aitchison, Laurent Orseau, et al. Language modeling is compression. In The Twelfth International Conference on Learning Representations.

[13] Yuzhen Huang, Jinghan Zhang, Zifei Shan und Junxian He. Compression represents intelligence linearly. arXiv preprint arXiv:2404.09937, 2024.

[14] Claude Elwood Shannon. A mathematical theory of communication. The Bell system technical journal, 27(3):379–423, 1948.

[15] Lukas Berglund, Meg Tong, Max Kaufmann, Mikita Balesni, Asa Cooper Stickland, Tomasz Korbak und Owain Evans. The reversal curse: Llms trained on" a is b" fail to learn" b is a". arXiv preprint arXiv:2309.12288, 2023.

[16] Jacob Austin, Daniel D Johnson, Jonathan Ho, Daniel Tarlow und Rianne Van Den Berg. Structured denoising diffusion models in discrete state-spaces. Advances in Neural Information Processing Systems, 34:17981–17993, 2021.

[17] Aaron Lou, Chenlin Meng und Stefano Ermon. Discrete diffusion language modeling by estimating the ratios of the data distribution. arXiv preprint arXiv:2310.16834, 2023.

[18] Jiaxin Shi, Kehang Han, Zhe Wang, Arnaud Doucet und Michalis K Titsias. Simplified and generalized masked diffusion for discrete data. arXiv preprint arXiv:2406.04329, 2024.

[19] Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush und Volodymyr Kuleshov. Simple and effective masked diffusion language models. arXiv preprint arXiv:2406.07524, 2024.

[20] Jingyang Ou, Shen Nie, Kaiwen Xue, Fengqi Zhu, Jiacheng Sun, Zhenguo Li und Chongxuan Li. Your absorbing discrete diffusion secretly models the conditional distributions of clean data. arXiv preprint arXiv:2406.03736, 2024.

[21] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[22] Jacob Devlin. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[23] Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu und William T Freeman. Maskgit: Masked generative image transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seiten 11315–11325, 2022.

[24] Joshua Ainslie, James Lee-Thorp, Michiel de Jong, Yury Zemlyanskiy, Federico Lebron und Sumit Sanghai. Gqa: Training generalized multi-query transformer models from multihead checkpoints. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, Seiten 4895–4901, 2023.

[25] An Yang, Baosong Yang, Binyuan Hui, Bo Zheng, Bowen Yu, Chang Zhou, Chengpeng Li, Chengyuan Li, Dayiheng Liu, Fei Huang, Guanting Dong, Haoran Wei, Huan Lin, Jialong Tang, Jialin Wang, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Ma, Jianxin Yang, Jin Xu, Jingren Zhou, Jinze Bai, Jinzheng He, Junyang Lin, Kai Dang, Keming Lu, Keqin Chen, Kexin Yang, Mei Li, Mingfeng Xue, Na Ni, Pei Zhang, Peng Wang, Ru Peng, Rui Men, Ruize Gao, Runji Lin, Shijie Wang, Shuai Bai, Sinan Tan, Tianhang Zhu, Tianhao Li, Tianyu Liu, Wenbin Ge, Xiaodong Deng, Xiaohuan Zhou, Xingzhang Ren, Xinyu Zhang, Xipin Wei, Xuancheng Ren, Xuejing Liu, Yang Fan, Yang Yao, Yichang Zhang, Yu Wan, Yunfei Chu, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zhifang Guo und Zhihao Fan. Qwen2 technical report, 2024. URL https://arxiv.org/abs/2407.10671

[26] An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang und Zihan Qiu. Qwen2.5 technical report. arXiv preprint arXiv:2412.15115, 2024.

[27] Shen Nie, Fengqi Zhu, Chao Du, Tianyu Pang, Qian Liu, Guangtao Zeng, Min Lin und Chongxuan Li. Scaling up masked diffusion models on text. arXiv preprint arXiv:2410.18514, 2024.

[28] Shengding Hu, Yuge Tu, Xu Han, Chaoqun He, Ganqu Cui, Xiang Long, Zhi Zheng, Yewei Fang, Yuxiang Huang, Weilin Zhao, et al. Minicpm: Unveiling the potential of small language models with scalable training strategies. arXiv preprint arXiv:2404.06395, 2024.

[29] I Loshchilov. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.

[30] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes und Yejin Choi. The curious case of neural text degeneration. arXiv preprint arXiv:1904.09751, 2019.

[31] Marianne Arriola, Aaron Gokaslan, Justin T Chiu, Zhihan Yang, Zhixuan Qi, Jiaqi Han, Subham Sekhar Sahoo und Volodymyr Kuleshov. Block diffusion: Interpolating between autoregressive and diffusion language models. arXiv preprint arXiv:2503.09573, 2025.

[32] Xiao Bi, Deli Chen, Guanting Chen, Shanhuang Chen, Damai Dai, Chengqi Deng, Honghui Ding, Kai Dong, Qiushi Du, Zhe Fu, et al. Deepseek llm: Scaling open-source language models with longtermism. arXiv preprint arXiv:2401.02954, 2024.

[33] Albert Q Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, et al. Mistral 7b. arXiv preprint arXiv:2310.06825, 2023.

[34] Tian Ye, Zicheng Xu, Yuanzhi Li und Zeyuan Allen-Zhu. Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process. arXiv e-prints, abs/2407.20311, Juli 2024. Vollständige Version verfügbar unter http://arxiv.org/abs/2407.20311

[35] Zeyuan Allen-Zhu und Yuanzhi Li. Physics of Language Models: Part 3.2, Knowledge Manipulation. ArXiv e-prints, abs/2309.14402, September 2023. Vollständige Version verfügbar unter http://arxiv.org/abs/2309.14402

[36] Ouaïl Kitouni, Niklas Nolte, Diane Bouchacourt, Adina Williams, Mike Rabbat und Mark Ibrahim. The factorization curse: Which tokens you predict underlie the reversal curse and more. arXiv preprint arXiv:2406.05183, 2024.

[37] Jonathan Ho und Tim Salimans. Classifier-free diffusion guidance. arXiv preprint arXiv:2207.12598, 2022.

[38] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan und Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In International conference on machine learning, Seiten 2256-2265. PMLR, 2015.

[39] Jonathan Ho, Ajay Jain und Pieter Abbeel. Denoising diffusion probabilistic models. Advances in neural information processing systems, 33:6840-6851, 2020.

[40] Yang Song, Jascha Sohl-Dickstein, Diederik P Kingma, Abhishek Kumar, Stefano Ermon und Ben Poole. Score-based generative modeling through stochastic differential equations. arXiv preprint arXiv:2011.13456, 2020.

[41] Xiang Li, John Thickstun, Ishaan Gulrajani, Percy S Liang und Tatsunori B Hashimoto. Diffusion-lm improves controllable text generation. Advances in Neural Information Processing Systems, 35:4328-4343, 2022.

[42] Shansan Gong, Mukai Li, Jiangtao Feng, Zhiyong Wu und LingPeng Kong. Diffuseq: Sequenz-zu-Sequenz-Textgenerierung mit Diffusionsmodellen. arXiv preprint arXiv:2210.08933, 2022.

[43] Xiaochuang Han, Sachin Kumar und Yulia Tsvetkov. Ssd-lm: Halbautoregressives simplexbasiertes Diffusions-Sprachmodell für Textgenerierung und modulare Steuerung. arXiv preprint arXiv:2210.17432, 2022.

[44] Robin Strudel, Corentin Tallec, Florent Altché, Yilun Du, Yaroslav Ganin, Arthur Mensch, Will Grathwohl, Nikolay Savinov, Sander Dieleman, Laurent Sifre, et al. Selbstkonditionierte Einbettungsdiffusion für Textgenerierung. arXiv preprint arXiv:2211.04236, 2022.

[45] Ting Chen, Ruixiang Zhang und Geoffrey Hinton. Analog Bits: Generierung diskreter Daten mit Diffusionsmodellen und Selbstkonditionierung. arXiv preprint arXiv:2208.04202, 2022.

[46] Sander Dieleman, Laurent Sartran, Arman Roshannai, Nikolay Savinov, Yaroslav Ganin, Pierre H Richemond, Arnaud Doucet, Robin Strudel, Chris Dyer, Conor Durkan, et al. Kontinuierliche Diffusion für kategorische Daten. arXiv preprint arXiv:2211.15089, 2022.

[47] Pierre H. Richemond, Sander Dieleman und Arnaud Doucet. Kategorische SDEs mit Simplex-Diffusion, 2022.

[48] Tong Wu, Zhihao Fan, Xiao Liu, Yeyun Gong, Yelong Shen, Jian Jiao, Hai-Tao Zheng, Juntao Li, Zhongyu Wei, Jian Guo, Nan Duan und Weizhu Chen. Ar-Diffusion: Autoregressives Diffusionsmodell für Textgenerierung, 2023.

[49] Rabeeh Karimi Mahabadi, Hamish Ivison, Jaesung Tae, James Henderson, Iz Beltagy, Matthew E. Peters und Arman Cohan. Tess: Text-zu-Text selbstkonditionierte Simplex-Diffusion, 2024.

[50] Jiasheng Ye, Zaixiang Zheng, Yu Bao, Lihua Qian und Mingxuan Wang. Dinoiser: Diffundiertes konditionales Sequenzlernen durch Manipulation von Rauschen. arXiv preprint arXiv:2302.10025, 2023.

[51] Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Joshua Susskind und Navdeep Jaitly. Planner: Generierung diversifizierter Absätze mittels latentem Sprachdiffusionsmodell. Advances in Neural Information Processing Systems, 36:80178-80190, 2023.

[52] Aaron Lou und Stefano Ermon. Reflektierte Diffusionsmodelle, 2023.

[53] Alex Graves, Rupesh Kumar Srivastava, Timothy Atkinson und Faustino Gomez. Bayessche Flussnetzwerke. arXiv preprint arXiv:2308.07037, 2023.

[54] Zhenghao Lin, Yeyun Gong, Yelong Shen, Tong Wu, Zhihao Fan, Chen Lin, Nan Duan und Weizhu Chen. Textgenerierung mit Diffusions-Sprachmodellen: Ein Vor trainierungsansatz mit kontinuierlicher Absatzentrauschung. In International Conference on Machine Learning, Seiten 21051-21064. PMLR, 2023.

[55] Kaiwen Xue, Yuhao Zhou, Shen Nie, Xu Min, Xiaolu Zhang, Jun Zhou und Chongxuan Li. Vereinheitlichung bayesscher Flussnetzwerke und Diffusionsmodelle durch stochastische Differentialgleichungen. arXiv preprint arXiv:2404.15766, 2024.

[56] Ruixiang Zhang, Shuangfei Zhai, Yizhe Zhang, James Thornton, Zijing Ou, Joshua Susskind und Navdeep Jaitly. Target Concrete Score Matching: Ein ganzheitliches Framework für diskrete Diffusion. arXiv preprint arXiv:2504.16431, 2025.

[57] Ishaan Gulrajani und Tatsunori B Hashimoto. Likelihood-basierte Diffusions-Sprachmodelle. Advances in Neural Information Processing Systems, 36, 2024.

[58] Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré und Max Welling. Argmax-Flüsse und multinomiale Diffusion: Lernen kategorischer Verteilungen. Advances in Neural Information Processing Systems, 34:12454-12465, 2021.

[59] Emiel Hoogeboom, Alexey A Gritsenko, Jasmijn Bastings, Ben Poole, Rianne van den Berg und Tim Salimans. Autoregressive Diffusionsmodelle. arXiv preprint arXiv:2110.02037, 2021.

[60] Zhengfu He, Tianxiang Sun, Kuanning Wang, Xuanjing Huang und Xipeng Qiu. Diffusion-BERT: Verbesserung generativer maskierter Sprachmodelle mit Diffusionsmodellen. arXiv preprint arXiv:2211.15029, 2022.

[61] Andrew Campbell, Joe Benton, Valentin De Bortoli, Thomas Rainforth, George Deligiannidis und Arnaud Doucet. Ein kontinuierliches Zeit-Framework für diskrete Entrauschungsmodelle. Advances in Neural Information Processing Systems, 35:28266-28279, 2022.

[62] Chenlin Meng, Kristy Choi, Jiaming Song und Stefano Ermon. Concrete Score Matching: Verallgemeinertes Score Matching für diskrete Daten. Advances in Neural Information Processing Systems, 35:34532-34545, 2022.

[63] Machel Reid, Vincent J. Hellendoorn und Graham Neubig. Diffuser: Diskrete Diffusion mittels bearbeitungsbasierter Rekonstruktion, 2022.

[64] Haoran Sun, Lijun Yu, Bo Dai, Dale Schuurmans und Hanjun Dai. Score-basierte kontinuierliche diskrete Diffusionsmodelle. arXiv preprint arXiv:2211.16750, 2022.

[65] Ouaif Kitouni, Niklas Nolte, James Hensman und Bhaskar Mitra. Disk: Ein Diffusionsmodell für strukturiertes Wissen. arXiv preprint arXiv:2312.05253, 2023.

[66] Lin Zheng, Jianbo Yuan, Lei Yu und Lingpeng Kong. Ein reparametrisiertes diskretes Diffusionsmodell für Textgenerierung. ArXiv, abs/2302.05737, 2023.

[67] Zixiang Chen, Huizhuo Yuan, Yongqian Li, Yiwen Kou, Junkai Zhang und Quanquan Gu. Schnelles Sampling mittels Entrandomisierung für diskrete Diffusionsmodelle. arXiv preprint arXiv:2312.09193, 2023.

[68] Jiasheng Ye, Zaixiang Zheng, Yu Bao, Lihua Qian und Quanquan Gu. Diffusions-Sprachmodelle können viele Aufgaben durch Skalierung und Instruktions-Feintuning bewältigen. arXiv preprint arXiv:2308.12219, 2023.

[69] Itai Gat, Tal Remez, Neta Shaul, Felix Kreuk, Ricky TQ Chen, Gabriel Synnaeve, Yossi Adi und Yaron Lipman. Diskrete Flussanpassung. arXiv preprint arXiv:2407.15595, 2024.

[70] Kaiwen Zheng, Yongxin Chen, Hanzi Mao, Ming-Yu Liu, Jun Zhu und Qinsheng Zhang. Maskierte Diffusionsmodelle sind heimlich zeitagnostische maskierte Modelle und nutzen ungenaue kategorische Stichprobenentnahme aus, 2024. URL https://arxiv.org/abs/2409.02908

[71] Shreyas Kapur, Erik Jenner und Stuart Russell. Diffusion auf Syntaxbäumen für Programmsynthese. arXiv preprint arXiv:2405.20519, 2024.

[72] Shansan Gong, Shivam Agarwal, Yizhe Zhang, Jiacheng Ye, Lin Zheng, Mukai Li, Chenxin An, Peilin Zhao, Wei Bi, Jiawei Han, et al. Skalierung von Diffusions-Sprachmodellen durch Anpassung von autoregressiven Modellen. arXiv preprint arXiv:2410.17891, 2024.

[73] Samar Khanna, Siddhant Kharbanda, Shufan Li, Harshit Varma, Eric Wang, Sawyer Birnbaum, Ziyang Luo, Yanis Miraoui, Akash Palrecha, Stefano Ermon, et al. Mercury: Ultraschnelle Sprachmodelle auf Diffusionsbasis. arXiv preprint arXiv:2506.17298, 2025.

[74] Huiwen Chang, Han Zhang, Jarred Barber, AJ Maschinot, Jose Lezama, Lu Jiang, Ming-Hsuan Yang, Kevin Murphy, William T Freeman, Michael Rubinstein, et al. Muse: Text-zu-Bild-Generierung mittels maskierter generativer Transformer. arXiv preprint arXiv:2301.00704, 2023.

[75] Zebin You, Jingyang Ou, Xiaolu Zhang, Jun Hu, Jun Zhou und Chongxuan Li. Effektive und effiziente maskierte Bildgenerierungsmodelle. arXiv-Preprint arXiv:2503.07197, 2025.

[76] Xinyou Wang, Zaixiang Zheng, Fei Ye, Dongyu Xue, Shujian Huang und Quanquan Gu. Diffusions-Sprachmodelle sind vielseitige Protein-Lerner. arXiv-Preprint arXiv:2402.18567, 2024.

[77] Xinyou Wang, Zaixiang Zheng, Fei Ye, Dongyu Xue, Shujian Huang und Quanquan Gu. Dplm-2: Ein multimodales Diffusions-Protein-Sprachmodell. arXiv-Preprint arXiv:2410.13782, 2024.

[78] Siqi Kou, Lanxiang Hu, Zhezhi He, Zhijie Deng und Hao Zhang. Clims: Konsistenz-Sprachmodelle für große Modelle. arXiv-Preprint arXiv:2403.00835, 2024.

[79] Chenkai Xu, Xu Wang, Zhenyi Liao, Yishun Li, Tianqi Hou und Zhijie Deng. Show-o Turbo: Hin zu beschleunigtem einheitlichem multimodalen Verständnis und Generierung. arXiv-Preprint arXiv:2502.05415, 2025.

[80] Sulin Liu, Juno Nam, Andrew Campbell, Hannes Stärk, Yilun Xu, Tommi Jaakkola und Rafael Gómez-Bombarelli. Denke, während du generierst: Diskrete Diffusion mit geplantem Entrauschen. arXiv-Preprint arXiv:2410.06264, 2024.

[81] Yuanzhi Zhu, Xi Wang, Stéphane Lathuilière und Vicky Kalogeiton. Dimo: Destillation maskierter Diffusionsmodelle in einen Ein-Schritt-Generator. arXiv-Preprint arXiv:2503.15457, 2025.

[82] Yinuo Ren, Haoxuan Chen, Yuchen Zhu, Wei Guo, Yongxin Chen, Grant M Rotskoff, Molei Tao und Lexing Ying. Schnelle Löser für diskrete Diffusionsmodelle: Theorie und Anwendungen von Algorithmen höherer Ordnung. arXiv preprint arXiv:2502.00234, 2025.

[83] Satoshi Hayakawa, Yuhta Takida, Masaaki Imaizumi, Hiromi Wakaki und Yuki Mitsufuji. Destillation diskreter Diffusion durch dimensionale Korrelationen. arXiv preprint arXiv:2410.08709, 2024.

[84] Yixiu Zhao, Jiaxin Shi, Feng Chen, Shaul Druckmann, Lester Mackey und Scott Linderman. Informierte Korrektoren für diskrete Diffusionsmodelle. arXiv preprint arXiv:2407.21243, 2024.

[85] Kaiwen Zheng, Yongxin Chen, Hanzi Mao, Ming-Yu Liu, Jun Zhu und Qinsheng Zhang. Maskierte Diffusionsmodelle sind heimlich zeitagnostische maskierte Modelle und nutzen ungenaue kategorische Stichprobenentnahme aus. arXiv preprint arXiv:2409.02908, 2024.

[86] Yong-Hyun Park, Chieh-Hsin Lai, Satoshi Hayakawa, Yuhta Takida und Yuki Mitsufuji. Springe deine Schritte: Optimierung des Stichprobenplans diskreter Diffusionsmodelle. In The Thirteenth International Conference on Learning Representations, 2024.

[87] Justin Deschenaux und Caglar Gulcehre. Jenseits der Autoregression: Schnelle LLMs durch Selbst-Destillation über die Zeit. arXiv preprint arXiv:2410.21035, 2024.

[88] Prafulla Dhariwal und Alexander Nichol. Diffusionsmodelle schlagen GANs bei der Bildsynthese. Advances in neural information processing systems, 34:8780-8794, 2021.

[89] Yair Schiff, Subham Sekhar Sahoo, Hao Phung, Guanghan Wang, Sam Boshar, Hugo Dallatorre, Bernardo P de Almeida, Alexander Rush, Thomas Pierrot und Volodymyr Kuleshov. Einfache Lenkungsmechanismen für diskrete Diffusionsmodelle. arXiv preprint arXiv:2412.10193, 2024.

[90] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training von Sprachmodellen zur Befolgung von Anweisungen mit menschlichem Feedback. Advances in neural information processing systems, 35:27730-27744, 2022.

[91] Rafael Rafailov, Archit Sharma, Eric Mitchell, Christopher D Manning, Stefano Ermon und Chelsea Finn. Direkte Präferenzoptimierung: Ihr Sprachmodell ist heimlich ein Belohnungsmodell. Advances in Neural Information Processing Systems, 36, 2024.

[92] Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. Gpt-4 technischer Bericht. arXiv preprint arXiv:2303.08774, 2023.

[93] Google. Unser Modell der nächsten Generation: Gemini 1.5, 2024. URL https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024

[94] Anthropic. Claude 3.5 sonnet, 2024. URL https://www.anthropic.com/news/claude-3-5-sonnet

[95] Aixin Liu, Bei Feng, Bing Xue, Bingxuan Wang, Bochao Wu, Chengda Lu, Chenggang Zhao, Chengqi Deng, Chenyu Zhang, Chong Ruan, et al. Deepseek-v3 technischer Bericht. arXiv preprint arXiv:2412.19437, 2024.

[96] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chain-of-thought-Prompting ruft Schlussfolgern in großen Sprachmodellen hervor. Advances in neural information processing systems, 35:24824-24837, 2022.

[97] Joon Sung Park, Joseph O'Brien, Carrie Jun Cai, Meredith Ringel Morris, Percy Liang und Michael S Bernstein. Generative Agenten: Interaktive Simulakra menschlichen Verhaltens. In Proceedings of the 36th annual acm symposium on user interface software and technology, Seiten 1-22, 2023.

[98] Lei Wang, Chen Ma, Xueyang Feng, Zeyu Zhang, Hao Yang, Jingsen Zhang, Zhiyuan Chen, Jiakai Tang, Xu Chen, Yankai Lin, et al. Eine Übersicht über autonome Agenten auf Basis großer Sprachmodelle. Frontiers of Computer Science, 18(6):186345, 2024.

[99] OpenAI. Lernen, mit LLMs zu schlussfolgern, 2024. URL https://openai.com/index/learning-to-reason-with-llms/

[100] Daya Guo, Dejian Yang, Haowei Zhang, Junxiao Song, Ruoyu Zhang, Runxin Xu, Qihao Zhu, Shirong Ma, Peiyi Wang, Xiao Bi, et al. Deepseek-r1: Förderung der Schlussfolgerungsfähigkeit in LLMs durch Verstärkungslernen. arXiv preprint arXiv:2501.12948, 2025.

[101] Benigno Uria, Iain Murray und Hugo Larochelle. Ein tiefer und handhabbarer Dichteschätzer. In Proceedings of the 31th International Conference on Machine Learning, 2014.

[102] Andy Shih, Dorsa Sadigh und Stefano Ermon. Training und Inferenz bei autoregressiven Modellen beliebiger Ordnung auf die richtige Weise. In Proceedings of the 31th International Conference on Machine Learning, 2022.

[103] Zhangchen Xu, Fengqing Jiang, Luyao Niu, Yuntian Deng, Radha Poovendran, Yejin Choi und Bill Yuchen Lin. Magpie: Alignment-Datensynthese von Grund auf durch Prompting ausgerichteter LLMs mit nichts. arXiv preprint arXiv:2406.08464, 2024.

[104] Yuxiang Wei, Zhe Wang, Jiawei Liu, Yifeng Ding und Lingming Zhang. Magicoder: Befähigung zur Codegenerierung mit oss-instruct. arXiv preprint arXiv:2312.02120, 2023.

[105] Biao Zhang und Rico Sennrich. Root-Mean-Square-Layer-Normalisierung. Advances in Neural Information Processing Systems, 32, 2019.

[106] Noam Shazeer. GLU-Varianten verbessern den Transformer. arXiv preprint arXiv:2002.05202, 2020.

[107] Jianlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo und Yunfeng Liu. Roformer: Verbesserter Transformer mit rotierendem Positionseinbettung. Neurocomputing, 568:127063, 2024.

[108] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu und Dario Amodei. Skalierungsgesetze für neuronale Sprachmodelle. arXiv preprint arXiv:2001.08361, 2020.

.

[109] Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training rechenoptimaler großer Sprachmodelle. arXiv preprint arXiv:2203.15556, 2022.

[110] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song und Jacob Steinhardt. Messung massiven mehrstufigen Sprachverständnisses. arXiv preprint arXiv:2009.03300, 2020.

[111] Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V Le, Ed H Chi, Denny Zhou, et al. Herausfordernde Big-Bench-Aufgaben und ob Chain-of-thought sie lösen kann. arXiv preprint arXiv:2210.09261, 2022.

[112] Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick und Oyvind Tafjord. Denkst du, du hast Fragebeantwortung gelöst? Versuche ARC, die AI2-Reasoning-Herausforderung. arXiv preprint arXiv:1803.05457, 2018.

[113] Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi und Yejin Choi. Hellaswag: Kann eine Maschine deinen Satz wirklich vervollständigen? arXiv preprint arXiv:1905.07830, 2019.

[114] Stephanie Lin, Jacob Hilton und Owain Evans. Truthfulqa: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021.

[115] Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula und Yejin Choi. Winogrande: An adversarial winograd schema challenge at scale. Communications of the ACM, 64(9):99–106, 2021.

[116] Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi et al. Piqa: Reasoning about physical commonsense in natural language. In Proceedings of the AAAI conference on artificial intelligence, 2020.

[117] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano et al. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021.

[118] Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song und Jacob Steinhardt. Measuring mathematical problem solving with the math dataset. arXiv preprint arXiv:2103.03874, 2021.

[119] David Rein, Betty Li Hou, Asa Cooper Stickland, Jackson Petty, Richard Yuanzhe Pang, Julien Dirani, Julian Michael und Samuel R Bowman. Gpqa: A graduate-level google-proof q&a benchmark. arXiv preprint arXiv:2311.12022, 2023.

[120] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde De Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

[121] Mohammad Bavarian, Heewoo Jun, Nikolas Tezak, John Schulman, Christine McLeavey, Jerry Tworek und Mark Chen. Efficient training of language models to fill in the middle. arXiv preprint arXiv:2207.14255, 2022.

[122] Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le, et al. Program synthesis with large language models. arXiv preprint arXiv:2108.07732, 2021.

[123] Haonan Li, Yixuan Zhang, Fajri Koto, Yifei Yang, Hai Zhao, Yeyun Gong, Nan Duan und Timothy Baldwin. Cmmlu: Measuring massive multitask language understanding in chinese. arXiv preprint arXiv:2306.09212, 2023.

[124] Yuzhen Huang, Yuzhuo Bai, Zhihao Zhu, Junlei Zhang, Jinghan Zhang, Tangjun Su, Junteng Liu, Chuancheng Lv, Yikai Zhang, Yao Fu, et al. C- eval: A multi- level multi- discipline chinese evaluation suite for foundation models. Advances in Neural Information Processing Systems, 36, 2024.

[125] Leo Gao, Jonathan Tow, Baber Abbasi, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Alain Le Noac'h, Haonan Li, Kyle McDonell, Niklas Muennighoff, Chris Ociepa, Jason Phang, Laria Reynolds, Hailey Schoelkopf, Aviya Skowron, Lintang Sutawika, Eric Tang, Anish Thite, Ben Wang, Kevin Wang und Andy Zou. A framework for few- shot language model evaluation, 07 2024. URL https://zenodo.org/records/12608602

Algorithmus 1 Vortraining von LLaDA

Erfordert: Maskenprädiktor pθp_{\theta} , Datenverteilung pdatap_{\mathrm{data}}

1: wiederhole

2: x0∼pdatax_{0}\sim p_{\mathrm{data}} # mit einer Wahrscheinlichkeit von 1%1\% folgt die Sequenzlänge von x0x_{0} U[1, 4096]

3: t∼U(0,1]t\sim \mathrm{U}(0,1]

4: xt∼qt∣0(xt∣x0)x_{t}\sim q_{t|0}(x_{t}|x_{0}) # qt∣0q_{t|0} ist in Gl. (7) definiert

5: Berechne L=−1t∗L∑i=1L1[xti=M]log⁡pθ(x0i∣xt)\begin{array}{r}{\mathcal{L} = -\frac{1}{t*L}\sum_{i = 1}^{L}\mathbf{1}[x_{t}^{i} = \mathbf{M}]\log p_{\theta}(x_{0}^{i}|x_{t})} \end{array} # LL ist die Sequenzlänge von x0x_{0}

6: Berechne ∇θL\nabla_{\theta}\mathcal{L} und führe den Optimierer aus.

7: bis konvergiert

8: Gib pθp_{\theta} zurück

Algorithmus 2 Überwachtes Feintuning von LLaDA

Erfordert: Maskenprädiktor pθp_{\theta} , Paardatenverteilung pdatap_{\mathrm{data}}

1: wiederhole

2: p0,r0∼pdatap_{0},r_{0}\sim p_{\mathrm{data}} # Details zu den SFT-Daten finden Sie in Anhang B.1

3: t∼U(0,1]t\sim \mathrm{U}(0,1]

4: rt∼qt∣0(rt∣r0)r_{t}\sim q_{t|0}(r_{t}|r_{0}) # qt∣0q_{t|0} ist in Gl. (7) definiert

5: Berechne L=−1t∗L∑i=1L1[rti=M]log⁡pθ(r0i∣p0,rt)\begin{array}{r}{\mathcal{L} = -\frac{1}{t*L}\sum_{i = 1}^{L}\mathbf{1}[r_{t}^{i} = \mathbf{M}]\log p_{\theta}(r_{0}^{i}|p_{0},r_{t})} \end{array} # L′L^{\prime} ist die Sequenzlänge von r0r_{0}

6: Berechne ∇θL\nabla_{\theta}\mathcal{L} und führe den Optimierer aus.

7: bis konvergiert

8: Gib pθp_{\theta} zurück

Algorithmus 3 Bewertung der bedingten Log-Likelihood von LLaDA

Erfordert: Maskenprädiktor pθp_{\theta} , Prompt p0p_{0} , Antwort r0r_{0} , die Anzahl der Monte-Carlo-Schätzungen nmcn_{m c}

1: log_likelihood =0= 0

2: für i←1i\gets 1 bis nmcn_{m c} tue

3: l∼{1,2,…,L}l\sim \{1,2,\ldots ,L\} # LL ist die Sequenzlänge von r0r_{0}

4: Erhalte rtr_{t} durch gleichmäßiges Ziehen von ll Tokens aus r0r_{0} ohne Zurücklegen zum Maskieren

5: log⁡likelihood=log⁡likelihood+Ll∑i=1L1[rti=M]log⁡pθ(r0i∣p0,rt)\begin{array}{r}{\log \mathrm{likelihood} = \log \mathrm{likelihood} + \frac{L}{l}\sum_{i = 1}^{L}\mathbf{1}[r_{t}^{i} = \mathbf{M}]\log p_{\theta}(r_{0}^{i}|p_{0},r_{t})} \end{array}

6: Ende für

7: log_likelihood =log⁡likelihood/nmc= \log \mathrm{likelihood} / n_{m c}

8: Gib log_likelihood zurück

A Formulierung maskierter Diffusionsmodelle

A.1 Training

MDMs [16|20] definieren die Modellverteilung pθ(x0)p_{\theta}(x_{0}) auf eine Weise, die sich von autoregressiven Modellen unterscheidet.

Diese Modelle führen einen Vorwärtsprozess {xt}\{x_{t}\} ein, der durch eine Zeit t∈[0,1]t\in [0,1] indiziert wird. Dieser Prozess maskiert schrittweise und unabhängig alle Tokens in der Sequenz x0x_{0} . Zum Zeitpunkt t=0t = 0 ist der Datenpunkt x0x_{0} vollständig beobachtet und ohne Masken, während für t∈(0,1]t\in (0,1] xtx_{t} latente Variablen mit im Erwartungswert variierenden Maskenverhältnissen darstellt.

Formal ist die bedingte Verteilung von xtx_{t} gegeben x0x_{0} durch eine vollständig faktorisierte Form definiert:

qt∣0(xt∣x0)=∏i=1Lqt∣0(xti∣x0i),(7)q_{t|0}(x_{t}|x_{0}) = \prod_{i = 1}^{L}q_{t|0}(x_{t}^{i}|x_{0}^{i}), \quad (7)

wobei die bedingte Verteilung für jedes Token gegeben ist durch:

qt∣0(xti∣x0i)={1−t,xti=x0i,t,xti=M.(8)q_{t|0}(x_{t}^{i}|x_{0}^{i}) = \left\{ \begin{array}{l l}{1 - t,} & {x_{t}^{i} = x_{0}^{i},}\\ {t,} & {x_{t}^{i} = \mathbf{M}.} \end{array} \right. \quad (8)

Hierbei bezeichnet M das Masken-Token. Anschaulich gesprochen bleibt jedes Token entweder unverändert oder wird maskiert, wobei die Wahrscheinlichkeit, maskiert zu werden, linear zunimmt, während \(t\) von 0 auf 1 fortschreitet. Bei \(t = 1\) sind alle

Erforderlich: Maskenprädiktor \(p_{\theta}\) , Prompt \(p_{0}\) , Antwortlänge \(L\) , Sampling-Schritte \(N\) 1: Setze \(r_{1}\) als eine vollständig maskierte Sequenz der Länge \(L\) . 2: for \(t \leftarrow 1\) bis hinunter zu \(\frac{1}{N}\) mit Schrittweite \(\frac{1}{N}\) do 3: \(s = t - \frac{1}{N}\) 4: \(r_{0} = \arg \max_{r_{0}} p_{\theta}(r_{0}|p_{0},r_{t})\) # wir verwenden Greedy-Sampling bei der Vorhersage maskierter Token 5: for \(i \leftarrow 1\) bis \(L\) do 6: if \(r_{t}^{i} \neq \mathbf{M}\) then 7: \(r_{0}^{i} = r_{t}^{i}\) 8: else 9: mit Wahrscheinlichkeit \(\frac{s}{t}\) wird \(r_{0}^{i}\) auf \(\mathbf{M}\) gesetzt 10: end if 11: end for 12: \(r_{s} = r_{0}\) 13: end for 14: Gib \(r_{0}\) zurück. Token garantiert maskiert sind, was bedeutet, dass \(x_{1}\) einer Dirac-Verteilung folgt, die auf einer Sequenz vollständig maskierter Token konzentriert ist. Bemerkenswert ist, dass die lineare Maskierungswahrscheinlichkeit analog zum, aber verschieden vom Rauschplan in kontinuierlichen Diffusionsmodellen [38,40] ist. Diese Linearität ist durch die Annahme motiviert, dass die Information im Text im Durchschnitt proportional zur Anzahl der Token ist, wodurch es vernünftig ist, während des Vorwärtsprozesses linear Information zu verlieren.

Der Vorwärtsprozess ist nicht nur umkehrbar, sondern entspricht auch einem Rückwärtsprozess, der über alle Token vollständig faktorisiert ist. Der Rückwärtsprozess erzeugt von Zeit \(t = 1\) bis 0 neue Daten aus Sequenzen vollständig maskierter Token. Die bedingte Verteilung für den Rückwärtsprozess ist für \(0 \leq s < t \leq 1\) faktorisiert als:

qs∣t(xs∣xt)=∏i=1Lqs∣t(xsi∣xt),(9)q_{s|t}(x_{s}|x_{t}) = \prod_{i = 1}^{L}q_{s|t}(x_{s}^{i}|x_{t}), \quad (9)

wobei die bedingte Verteilung für jedes Token gegeben ist durch:

qs∣t(xsi∣xt)={1,xti≠M,xsi=xti,st,xti=M,xsi=M,t−stq0∣t(xsi∣xt),xti=M,xsi≠M,0,sonst.(10)q_{s|t}(x_{s}^{i}|x_{t}) = \left\{ \begin{array}{l l}{1,} & {x_{t}^{i}\neq \mathbf{M},x_{s}^{i} = x_{t}^{i},}\\ {\frac{s}{t},} & {x_{t}^{i} = \mathbf{M},x_{s}^{i} = \mathbf{M},}\\ {\frac{t - s}{t} q_{0|t}(x_{s}^{i}|x_{t}),} & {x_{t}^{i} = \mathbf{M},x_{s}^{i}\neq \mathbf{M},}\\ {0,} & {\mathrm{sonst}.} \end{array} \right. \quad (10)

Somit ist die zentrale zu schätzende Funktion die bedingte Verteilung \(q_{0|t}(x_{s}^{i}|x_{t})\) , welche das ursprüngliche Token vorhersagt, falls es in der Eingabe \(x_{t}\) maskiert ist. Dies ist analog zur Datenvorhersageform in kontinuierlichen Diffusionsmodellen.

Wie in [20] bewiesen wurde, lässt sich eine äquivalente, aber zeitfreie Parametrisierung ableiten als:

q0∣t(xsi∣xt)=pdata(x0i∣xtUM),∀i so dass xti=M,(11)q_{0|t}(x_{s}^{i}|x_{t}) = p_{\mathrm{data}}(x_{0}^{i}|x_{t}^{\mathrm{UM}}),\quad \forall i\mathrm{~so~dass~}x_{t}^{i} = \mathbf{M}, \quad (11)

wobei \(x_{t}^{\mathrm{UM}}\) die Sammlung der unmaskierten Token in \(x_{t}\) bezeichnet, die mit den entsprechenden Token in den ursprünglichen Daten \(x_{0}\) identisch ist, da unmaskierte Token ausschließlich durch \(x_{0}\) bestimmt werden und unabhängig von der Zeit \(t\) sind. Anschaulich bedeutet dies, dass die Schätzung der Datenvorhersagefunktion äquivalent zur Schätzung der bedingten Verteilungen auf sauberen Daten ist, welche zeitinvariant ist. Folglich muss die Zeit \(t\) nicht als Eingabe für das parametrische Modell bereitgestellt werden.

Obwohl die Entwicklung der maskierten Diffusion nicht trivial ist, ist die Implementierung unkompliziert. Zunächst führen wir den Maskenprädiktor ein, ein parametrisches Modell pθ(⋅∣xt)p_{\theta}(\cdot |x_{t}) (z. B. einen Transformer ohne kausale Maske), das xtx_{t} für jedes tt als Eingabe nimmt und alle maskierten Token gleichzeitig vorhersagt. Dann definieren wir die Modellverteilung pθ(x0)p_{\theta}(x_{0}) wie folgt: Ausgehend von x1x_{1} als einer Sequenz vollständig maskierter Token simulieren wir einen approximativen Umkehrprozess, parametrisiert durch pθ(⋅∣xt)p_{\theta}(\cdot |x_{t}), von t=1t = 1 bis 0. Die bei t=0t = 0 induzierte Randverteilung repräsentiert dann die Modellverteilung pθ(x0)p_{\theta}(x_{0}).

Erfordert: Maskenprädiktor pθp_{\theta}, Prompt p0p_{0}, Antwortlänge LL, Sampling-Schritte NN

1: Setze r1r_{1} als eine vollständig maskierte Sequenz der Länge LL.

2: for t←1t \leftarrow 1 bis hinunter zu 1N\frac{1}{N} mit Schrittweite 1N\frac{1}{N} do

3: s=t−1Ns = t - \frac{1}{N}

4: for i←1i \leftarrow 1 bis LL do

5: if rti≠Mr_{t}^{i} \neq \mathbf{M} then

6: r0i=rti,ci=1r_{0}^{i} = r_{t}^{i}, c^{i} = 1

7: else

8: r0i=arg⁡max⁡r0ipθ(r0i∣p0,rt)r_{0}^{i} = \arg \max_{r_{0}^{i}} p_{\theta}(r_{0}^{i} | p_{0}, r_{t})

9: ci=pθ(r0i∣p0,rt)r0ic^{i} = p_{\theta}(r_{0}^{i} | p_{0}, r_{t}){r{0}^{i}}

10: end if

11: end for

12: nun=⌊L(1−s)⌋n_{u n} = \left\lfloor L(1 - s)\right\rfloor # die Anzahl der unmaskierten Token ist nunn_{u n} im Zeitschritt ss

13: for i←1i \leftarrow 1 bis LL do

14: if ci∈Lowest−nun({ci}1L)c^{i} \in \mathrm{Lowest} - n_{u n}\left(\{c^{i}\}_{1}^{L}\right) then

15: r0i=Mr_{0}^{i} = \mathbf{M} # die nunn_{u n} Positionen mit der geringsten Konfidenz werden zur erneuten Maskierung ausgewählt.

16: end if

17: end for

18: rs=r0r_{s} = r_{0}

19: end for

20: Gib r0r_{0} zurück

Formal wird der Maskenprädiktor unter Verwendung einer Kreuzentropieverlustfunktion mit Maskierung trainiert:

L(θ)≜−Et,x0,xt[1t∑i=1L1[xti=M]log⁡pθ(x0i∣xt)],(12)\mathcal{L}(\theta) \triangleq -\mathbb{E}{t,x{0},x_{t}}\left[\frac{1}{t} \sum_{i = 1}^{L} \mathbf{1}[x_{t}^{i} = \mathbf{M}] \log p_{\theta}(x_{0}^{i} | x_{t})\right], \quad (12)

wobei x0x_{0} aus den Trainingsdaten gezogen wird, tt gleichmäßig aus [0,1][0,1] gezogen wird und xtx_{t} aus qt∣0(xt∣x0)q_{t|0}(x_{t}|x_{0}) gezogen wird. Die Indikatorfunktion 1[⋅]\mathbf{1}[\cdot ] stellt sicher, dass die Kreuzentropieverlustfunktion nur für maskierte Token berechnet wird. In Shi et al. [18], Sahoo et al. [19], Ou et al. [20] wurde bewiesen, dass die Verlustfunktion L(θ)\mathcal{L}(\theta) eine obere Schranke für die negative Log-Likelihood der Modellverteilung ist:

−Ex0∼pdata(x0)[log⁡pθ(x0)]≤L(θ).(13)-\mathbb{E}{x{0} \sim p_{\mathrm{data}(x_{0})}} \left[\log p_{\theta}(x_{0})\right] \leq \mathcal{L}(\theta). \quad (13)

Zusammenfassend trainiert dieser prinzipielle Ansatz ein generatives Modell, indem während eines Vorwärtsprozesses schrittweise Token maskiert werden und gelernt wird, die Datenverteilung während eines Umkehrprozesses wiederherzustellen, und zwar alles im Rahmen der (approximativen) Maximum-Likelihood-Schätzung.

A.2 Inferenz

Der Kreuzentropieverlust in Gl. [12] hat mehrere äquivalente Formen [20]. Die erste ist gegeben durch

−El∼{1,2,…,L},x0,xl[Ll∑i=1L1[xli=M]log⁡pθ(x0i∣xl)],(14)-\mathbb{E}{l \sim \{1,2,\ldots ,L\}, x{0}, x_{l}} \left[\frac{L}{l} \sum_{i = 1}^{L} \mathbf{1}[x_{l}^{i} = \mathbf{M}] \log p_{\theta}(x_{0}^{i} | x_{l})\right], \quad (14)

wobei ll gleichmäßig aus {1,2,…,L}\{1,2,\ldots ,L\} gezogen wird und xlx_{l} erhalten wird, indem ll Token gleichmäßig ohne Zurücklegen aus x0x_{0} zur Maskierung gezogen werden. Obwohl das Maskieren von genau ll Token sich davon unterscheidet, jedes Token unabhängig mit Wahrscheinlichkeit tt zu maskieren, führen diese beiden Maskierungsmethoden im Erwartungswert zu äquivalenten Ergebnissen [20].

Any-order autoregressive Modelle (AO-ARM) [59][101][102] charakterisieren die gemeinsame Verteilung autoregressiv für alle möglichen Reihenfolgen π\pi der LL Variablen. Um eine solche Verteilung zu lernen, verwendet ein AO-ARM ein neuronales Netz mit geteilten Gewichten, um alle univariaten bedingten Verteilungen zu modellieren, und setzt Masken-Token ein, um fehlende Variablen darzustellen. Während des Trainings wird die erwartete negative Log-Likelihood über der Gleichverteilung aller Reihenfolgen UπU_{\pi} minimiert:

−Ex0,π∼Uπ[∑i=1Llog⁡pθ(x0π(i)∣x0π(<i);π)].(15)-\mathbb{E}{x{0},\pi \sim U_{\pi}}\left[\sum_{i = 1}^{L}\log p_{\theta}(x_{0}^{\pi (i)}|x_{0}^{\pi (< i)};\pi)\right]. \quad (15)

Intuitiv kann x0π(<i)x_{0}^{\pi (< i)} als ein maskiertes Token xtx_{t} verstanden werden, bei dem die Indizes in π(≥i)\pi (\geq i) maskiert sind. Es kann weiter bewiesen werden, dass Gl. (15) äquivalent zu Gl. (12) ist. Diese Verbindung erklärt die bidirektionalen Argumentationsfähigkeiten von LLaDA, obwohl sie im Inferenzverfahren nie explizit genutzt wurden.

Darüber hinaus führt Nie et al. [27] unüberwachte Classifier-Free-Guidance (CFG) ein, eine Plug-and-Play-Technik, die die Ausrichtung an Prompts und die Textvielfalt ausbalanciert. Konkret verwendet unüberwachte CFG den folgenden modifizierten Maskenprädiktor für die Inferenz:

p~θ(r0∣p0,rt)∝pθ(r0∣p0,rt)1+wpθ(r0∣m,rt)w,(16)\tilde{p}{\theta}(r{0}|p_{0},r_{t})\propto \frac{p_{\theta}(r_{0}|p_{0},r_{t})^{1 + w}}{p_{\theta}(r_{0}|m,r_{t})^{w}}, \quad (16)

wobei mm eine Maskensequenz derselben Länge wie p0p_{0} ist und ww ein abstimmbarer Hyperparameter, der die Stärke von p0p_{0} steuert. Um einen fairen Vergleich mit ARMs zu gewährleisten, wenden wir CFG im Haupttext nicht auf LLaDA an. Wie jedoch in Anhang [B.3] gezeigt wird, ist LLaDA vollständig mit CFG kompatibel und weist durchgängig eine verbesserte Leistung auf, wenn es angewendet wird.

A.3 Algorithmen

In diesem Abschnitt stellen wir die Trainings- und Inferenzalgorithmen vor. Konkret führen wir die Algorithmen für das Vortraining und das überwachte Feintuning in Algorithmus [1] bzw. Algorithmus [2] ein. Darüber hinaus wird der Algorithmus zur Likelihood-Bewertung in Algorithmus [3] bereitgestellt. Schließlich präsentieren wir den umgekehrten Generierungsprozess in Algorithmus [4] und Algorithmus [5], die der Strategie des zufälligen Remaskings bzw. des Remaskings mit geringer Konfidenz [23] entsprechen.

B Experimente

B.1 Datenerhebung und Vorverarbeitung

In diesem Abschnitt führen wir zunächst die Datenerhebungs- und Filterprozesse sowohl für das Vortraining als auch für das SFT ein. Anschließend beschreiben wir, wie LLaDA diese Datensätze während des Trainings nutzt.

Unser Vortrainingskorpus wird aus diversen öffentlich verfügbaren Quellen zusammengestellt, darunter Webdaten, Bücher, wissenschaftliche Arbeiten, soziale Medien, Enzyklopädien, Mathematik und Code, mit etwa 11%11\% Chinesisch, 61%61\% Englisch und 28%28\% Code. Der Datenbereinigungsprozess umfasst die PDF-Textextraktion, Deduplizierung und Filterung schädlicher Inhalte. Um die Qualität weiter zu gewährleisten, feintunen wir ein BERT-Modell [22] für die automatisierte Annotation der Datenqualität, wodurch die Auswahl qualitativ hochwertigerer Stichproben ermöglicht wird. Unser SFT-Datensatz besteht aus 1 Million von Menschen annotierten Stichproben und 3,5 Millionen synthetischen Stichproben, die mit Methoden erzeugt wurden, die den in Xu et al. [103], Wei et al. [104] vorgeschlagenen ähneln.

Wir verketten die gesammelten Dokumente im Vortrainingskorpus und segmentieren den Text gemäß der vordefinierten Sequenzlänge in Sequenzen fester Länge.

Für das SFT wird eine Strategie mit dynamischer Sequenzlänge verwendet, bei der |EOS|-Token an das Ende kürzerer Paare angehängt werden, um einheitliche Sequenzlängen über alle Stichproben innerhalb jedes Mini-Batches hinweg sicherzustellen. Bemerkenswert ist, dass die Padding-|EOS|-Token als Teil der Antwort behandelt werden, d. h. maskiert und in das Trainingsziel einbezogen werden. Die |EOS|-Token werden beim Sampling aus den generierten Ausgaben entfernt. Diese Strategie stellt sicher, dass das Modell lernt, die Länge seiner Antworten durch die Generierung von |EOS| zu steuern, wodurch die Antwortlänge effektiv mit dem gegebenen Prompt abgestimmt werden kann.

Darüber hinaus behandeln wir für nn-Turn-Dialoge (p00,r00,p01,r01,…,p0n−1,r0n−1)(p_{0}^{0},r_{0}^{0},p_{0}^{1},r_{0}^{1},\ldots ,p_{0}^{n - 1},r_{0}^{n - 1}) diese als nn Einzel-Turn-Dialogpaare, d. h. (p00,r00),(p00r00p01,r01),…,(p00r00p01r01…p0n−1,r0n−1)(p_{0}^{0},r_{0}^{0}),(p_{0}^{0}r_{0}^{0}p_{0}^{1},r_{0}^{1}),\ldots ,(p_{0}^{0}r_{0}^{0}p_{0}^{1}r_{0}^{1}\ldots p_{0}^{n - 1},r_{0}^{n - 1}), und ziehen zufällig eines. Diese Datenpartitionierungsstrategie verleiht LLaDA nicht nur Fähigkeiten für Multi-Turn-Dialoge, sondern ist auch mit der oben genannten |EOS|-Padding-Strategie vereinbar.

Unser ARM-Baseline 1BLLaDA 1BUnser ARM-Baseline 7BLLaDA 8BLLaMA3 8B
Schichten2222283232
Modelldimension20482048409640964096
Attention-Köpfe3232323232
Vokabulargröße126.464126.464126.464126.464128.000
FFN-Dimension5634563413.44012.28814.336
Key/Value-Köpfe448328
Gesamtparameter1,49 B1,49 B6,83 B8,02 B8,03 B
Nicht-Embedding-Parameter0,97 B0,97 B5,80 B6,98 B6,98 B
Tabelle 5: Modellarchitektur. Wir berichten über die Architekturkonfigurationen für unsere 1B- und 7B-ARM-Baselines, die 1B- und 8B-LLaDA-Modelle und das 8B-LLaMA3-Modell.
ARC-CHellaswagTruthfulQAWinoGrandeGPQAPIQA
ohne CFG45,970,546,174,825,273,6
mit CFG47,972,546,474,826,174,4
Tabelle 6: Ablation zu CFG. CFG verbessert die Leistung von LLaDA durchgängig.

B.2 Details zum Modelltraining

Dieser Abschnitt enthält die Trainingsdetails von LLaDA und den entsprechenden ARM-Baselines.

Erstens haben wir aus Effizienzgründen ein ARM und ein MDM trainiert, beide mit 1,5B Parametern und identischen Architekturen. Darüber hinaus haben wir das MDM auf 8B Parameter skaliert. Aufgrund begrenzter Rechenressourcen haben wir kein autoregressives Modell mit 8B Parametern und derselben Architektur trainiert. Stattdessen haben wir unser zuvor trainiertes autoregressives Modell mit 7B Parametern für den Vergleich verwendet. Diese vier Modelle werden in der Skalierbarkeitsanalyse in Abschn. [3.1] verwendet.

Für die von uns trainierten ARMs und MDMs haben wir eine Transformer-Architektur ähnlich LLaMA [6] [21] verwendet. Konkret setzen wir RMSNorm [105] zur Stabilisierung des Trainings ein, verwenden SwiGLU [106] als Aktivierungsfunktion zur Verbesserung der Nichtlinearität und integrieren RoPE [107] für eine ausdrucksstärkere Positionskodierung. Tab. [5] bietet einen Überblick über die Modellarchitekturen.

Für die 1B- und 7B-ARM-Baselines sowie die 1B- und 8B-LLaDA-Modelle haben wir den AdamW-Optimierer [29] mit einem Weight Decay von 0,1 verwendet und den Lernraten-Scheduler Warmup-Stable-Decay [28] eingesetzt. Die Lernrate wurde über die ersten 2000 Iterationen linear von 0 auf den Maximalwert erhöht und dann konstant gehalten. Für LLaDA 8B wurde die Lernrate zur Gewährleistung eines stabilen Trainings einmal während des Vortrainings reduziert, wie in Abschn. [2.2] ausführlich dargestellt. Für die 1B-ARM-Baseline sowie die 1B- und 8B-LLaDA-Modelle ist die maximale Lernrate auf 4×10−44\times 10^{- 4} mit einer Batchgröße von 1280 festgelegt, ohne jegliche Hyperparameter-Abstimmung. Für die 7B-ARM-Baseline ist die maximale Lernrate auf 4.2×10−44.2\times 10^{- 4} mit einer Batchgröße von 4224 festgelegt, wobei beide Werte durch Grid Search ausgewählt wurden.

Zusätzlich verwenden wir die weit verbreitete 6ND6ND-Formulierung [108] [109], um die Trainings-FLOPs in Abb. [3] zu berechnen, wobei NN die Anzahl der Nicht-Embedding-Parameter und DD die Gesamtzahl der Trainings-Tokens bezeichnet. Die detaillierten Ergebnisse zu Abb. [3] sind in Tab. [18] und Tab. [19] angegeben.

B.3 Ablation zu Classifier-free Guidance

Dieser Abschnitt präsentiert eine Ablationsstudie zu Classifier-free Guidance (CFG). Theoretische Details zu CFG finden sich im Anhang [A.2].

Zur Vereinfachung wählen wir sechs repräsentative Benchmarks aus, darunter ARC-C, HellaSwag, TruthfulQA, WinoGrande, PIQA und GPQA, und führen Experimente mit LLaDA 8B Base durch. Wir durchsuchen die CFG-Skala in {0.5,1,1.5,2}\{0.5,1,1.5,2\} für jede Aufgabe und berichten das beste Ergebnis. Wie in Tab. [6] gezeigt, verbessert CFG durchgängig die Leistung von LLaDA. Wir betonen, dass CFG, um einen fairen Vergleich mit ARMs zu gewährleisten, in den in der Arbeit berichteten Hauptergebnissen nicht verwendet wird.

Abbildung 4: Von LLaDA unterstützte flexible Sampling-Strategien. Farbige Quadrate stellen nicht maskierte Token dar, während mit \times markierte Quadrate maskierte Token bezeichnen. In dieser Darstellung beträgt die Blocklänge sowohl für Block-Diffusion als auch für Block-Diffusion-LLaDA-Sampling 4.
Abbildung 4: Von LLaDA unterstützte flexible Sampling-Strategien. Farbige Quadrate stellen nicht maskierte Token dar, während mit ×\times markierte Quadrate maskierte Token bezeichnen. In dieser Darstellung beträgt die Blocklänge sowohl für Block-Diffusion als auch für Block-Diffusion-LLaDA-Sampling 4.
BBHGSM8KMathHumanEvalMBPP
Autoregressiv38,163,123,618,333,4
L&#x27; = 237,362,625,214,633,6
L&#x27; = 440,065,726,615,936,0
L&#x27; = 842,068,227,719,539,2
L&#x27; = 3245,768,629,729,937,4
Block-Diffusion-LLaDAL&#x27; = 248,070,030,826,240,0
L&#x27; = 448,570,331,327,438,8
L&#x27; = 848,670,230,931,139,0
L&#x27; = 3248,370,331,232,340,0
Reine Diffusion49,770,331,435,440,0
Tabelle 7: Ablation zu Sampling-Strategien für LLaDA 8B Base. L′L^{\prime} ist die Blocklänge. Reines Diffusions-Sampling erzielt die beste Gesamtleistung.
GSM8KMathematikHumanEvalMBPPGPQAMMLU-ProARC-C
Autoregressiv09,5000084,4
Block-Diffusion24,623,517,121,229,332,588,1
Block-Diffusion LLaDA77,542,246,334,231,334,885,4
Reine Diffusion69,431,949,441,033,337,088,5
Tabelle 8: Ablation zu Sampling-Strategien für LLaDA 8B Instruct. Die Blocklänge ist aus Effizienzgründen auf 32 gesetzt. Reines Diffusions-Sampling erzielt die beste Gesamtleistung.

B.4 Details und Ablation zu Sampling-Strategien

In diesem Abschnitt führen wir zunächst die verschiedenen von LLaDA unterstützten Sampling-Strategien ein. Anschließend präsentieren wir Ablationsstudien zur Bewertung der Leistung dieser Sampling-Strategien.

Flexible Sampling-Strategien. In Abschn. 2.4 veranschaulicht Abb. 2(c) den umgekehrten Generierungsprozess von LLaDA. Wie in Abb. 4 gezeigt, unterstützt LLaDA zusätzlich zum umgekehrten Generierungsprozess direkt nach den Pre-Training- oder SFT-Phasen auch autoregressives und Block-Diffusion-[31]-Sampling, ohne dass weitere Modifikationen oder ein Neutraining erforderlich sind. Beim Block-Diffusion-Sampling wird der ursprüngliche umgekehrte Prozess innerhalb jedes Blocks angewendet und das autoregressive Sampling über die Blöcke hinweg. Im ursprünglichen Block-Diffusion-Prozess variiert die Sequenzlänge dynamisch. Wie in Abb. 4(c) gezeigt, kann LLaDA auch eine Block-Diffusion-Strategie mit fester Länge anwenden, die wir als Block-Diffusion-LLaDA bezeichnen, auch bekannt als semi-autoregressives Remasking.

Experimentelles Setup. Wir bewerten verschiedene Sampling-Strategien sowohl mit LLaDA 8B Base als auch mit LLaDA 8B Instruct für eine umfassende Analyse. Für LLaDA 8B Base verwenden wir die fünf Benchmarks in Tab. 1, die auf Sampling statt auf Likelihood-Schätzung basierend bewertet werden. Für LLaDA 8B Instruct verwenden wir die sieben Metriken in Tab. 2 mit Ausnahme von MMLU und HellaSwag, da diese beiden Aufgaben vom Modell nur die Generierung eines einzelnen Tokens (d. h. A, B, C oder D) erfordern. In allen Einstellungen wird pro Sampling-Schritt ein Token generiert.

LängeBBHGSM8KMathHumanEvalMBPP
Zufälliges Remasking32.121.39.211.621.0
Remasking mit geringer Konfidenz45.070.030.332.940.2
Tabelle 9: Analyse der Strategien des zufälligen Remaskings und des Remaskings mit geringer Konfidenz. Das Remasking mit geringer Konfidenz übertrifft durchgängig das zufällige Remasking.
LängeBBHGSM8KMathHumanEvalMBPP
25645,070,030,332,940,2
51250,470,830,932,939,2
102449,770,331,435,440,0
Tabelle 10: Ablation zur Generierungslänge. Die Ergebnisse reagieren nicht empfindlich auf den Längen-Hyperparameter.

Beim autoregressiven und Block-Diffusion-Sampling endet die Generierung, wenn das |EOS|-Token erzeugt wird. Bei Block-Diffusion-LLaDA (d. h. semi-autoregressivem Remasking) und reinem Diffusions-Sampling ist die Generierungslänge für LLaDA 8B Base auf 1024 festgelegt, während sie für LLaDA 8B Instruct aus {64, 256, 512} abgestimmt wird, um Effizienz und Leistung auszubalancieren. Remasking mit geringer Konfidenz wird sowohl beim Block-Diffusion- und Block-Diffusion-LLaDA-Sampling auf das Intrab lock-Diffusions-Sampling als auch auf das reine Diffusions-Sampling angewendet. Wir testen zudem verschiedene Blocklängen für LLaDA 8B Base. Für LLaDA 8B Instruct bewerten wir aus Effizienzgründen nur die Blocklänge 32, da diese auf LLaDA 8B Base die besten Ergebnisse erzielt.

Zusätzlich beobachten wir für LLaDA 8B Instruct aufgrund der starken Auffüllung mit |EOS|-Tokens in den SFT-Daten (wie in Abschn. [B.1] ausführlich dargestellt), dass beim reinen Diffusions-Sampling der Anteil der |EOS|-Tokens in den Modellausgaben sehr hoch wird. Dies führt zu extrem kurzen Generierungen und beeinträchtigt die Modellleistung. Um dieses Problem zu mildern, setzen wir für HumanEval, MBPP, GSM8K, Math und GPQA den Konfidenzwert des |EOS|-Tokens während des reinen Diffusions-Samplings auf null. Diese Anpassung hilft, ein angemessenes Verhältnis von |EOS|-Tokens während der Generierung aufrechtzuerhalten.

Schließlich führen wir Ablationsstudien durch, um die Auswirkungen von zufälligen und Remasking-Strategien mit geringer Konfidenz beim reinen Diffusions-Sampling zu analysieren. Aus Effizienzgründen verwenden wir in dieser Analyse LLaDA 8B Base mit einer Generierungslänge und Samplingschritten von jeweils 256.

Ergebnisse. Wie in Tab. [7] gezeigt, verbessert sich beim Block-Diffusion-Sampling die Gesamtleistung mit zunehmender Blocklänge. Darüber hinaus zeigen sowohl Tab. [7] als auch Tab. [8], dass Block-Diffusion-Sampling durchgängig das autoregressive Sampling übertrifft und Block-Diffusion-LLaDA-Sampling das standardmäßige Block-Diffusion-Sampling weiter verbessert. Schließlich erzielt reines Diffusions-Sampling die beste Gesamtleistung.

Darüber hinaus zeigt Tab. [9], dass die Remasking-Strategie mit geringer Konfidenz durchgängig die zufällige Remasking-Strategie übertrifft. Wir vermuten, dass Remasking mit geringer Konfidenz ähnlich wie die standardmäßig in ARMs verwendete Annealed-Sampling-Methode wirkt und die Genauigkeit durch Verringerung der Vielfalt der generierten Sätze verbessert.

Wir stellen fest, dass autoregressives Sampling bei LLaDA 8B Instruct zu sehr schlechter Leistung führt. Dies liegt daran, dass jedes SFT-Datum ein vollständiger Satz ist, sodass LLaDA 8B Instruct dazu neigt, bei gegebener Sequenzlänge einen vollständigen Satz innerhalb dieser Länge zu generieren. Im Gegensatz dazu leidet LLaDA 8B Base nicht unter diesem Problem, da die Pre-Training-Daten aus abgeschnittenen Dokumenten bestehen (wie in Anhang [B.1] ausführlich dargestellt) und das Modell mit zufälligen Sequenzlängen trainiert wird (wie in Abschn. [2.2] ausführlich dargestellt). Infolgedessen neigt LLaDA 8B Base bei gegebener kurzer Sequenzlänge dazu, nur einen Teil eines Satzes zu generieren, der dann als Präfix zur Fortsetzung der Generierung verwendet werden kann.

Die Einstellung der Blocklänge auf 8 in Tab. [8] verbessert den GSM8K-Score weiter von 77,5 auf 78,6.

B.5 Ablation zur generierten Länge

In diesem Abschnitt führen wir Ablationsstudien zur generierten Länge durch.

Abbildung 5: Analyse der Sampling-Effizienz. Die Generierungslänge für LLaDA ist auf 256 festgelegt, wobei die Sampling-Schritte in den Abbildungen auf 32, 64, 128 und 256 gesetzt sind. Dies entspricht der Dekodierung von 8, 4, 2 bzw. 1 Token pro Vorwärtsdurchlauf. LLaDA ermöglicht einen flexiblen Kompromiss zwischen Generierungsqualität und Sampling-Geschwindigkeit.
Abbildung 5: Analyse der Sampling-Effizienz. Die Generierungslänge für LLaDA ist auf 256 festgelegt, wobei die Sampling-Schritte in den Abbildungen auf 32, 64, 128 und 256 gesetzt sind. Dies entspricht der Dekodierung von 8, 4, 2 bzw. 1 Token pro Vorwärtsdurchlauf. LLaDA ermöglicht einen flexiblen Kompromiss zwischen Generierungsqualität und Sampling-Geschwindigkeit.

Um Fairness zu gewährleisten, setzen wir für jede Einstellung die Anzahl der Sampling-Schritte gleich der generierten Länge, sodass in jedem Sampling-Schritt genau ein Token von der Maske in den Text übertragen wird. Wir führen Experimente mit LLaDA 8B Base durch.

Wie in Tab. [10] berichtet, sind die Ergebnisse unempfindlich gegenüber dem Längen-Hyperparameter.

B.6 Standard-Benchmarks und Evaluierungsdetails

In diesem Abschnitt führen wir die von uns verwendeten Benchmarks ein und präsentieren die Details unseres Evaluierungsprozesses.

In Anlehnung an standardmäßige LLM-[25] [26]-Evaluierungspraktiken bewerten wir LLaDA entlang von vier Dimensionen:

Allgemeine Fähigkeit: MMLU [110], BBH [111], ARC-C [112], Hellaswag [113], TruthfulQA [114], WinoGrande [115] und PIQA [116].

Mathematik- und Wissenschaftsfähigkeit: GSM8K [117], Math [118] und GPQA [119].

Codegenerierung: HumanEval [120], HumanEval-FIM [121] und MBPP [122].

Chinesisches Verständnis: CMMLU [123] und C-Eval [124].

Für alle oben genannten Benchmarks folgen wir dem weit verbreiteten Evaluierungsprozess [125], der in LLM-Bewertungen verwendet wird, und setzen dabei primär bedingte Likelihood-Schätzung und bedingte Generierung ein. Insbesondere werden für bestimmte Benchmarks ein Prompt und mehrere Kandidatenantworten bereitgestellt, und das Modell muss die bedingte Likelihood jedes Kandidaten berechnen. Der Kandidat mit der höchsten Likelihood wird dann als endgültige Antwort des Modells ausgewählt, und die Genauigkeit wird als Evaluierungsmetrik verwendet. Für die übrigen Benchmarks generiert das Modell Antworten basierend auf dem gegebenen Prompt, und die Leistung wird anhand von Metriken wie Exact Match und anderen relevanten Kriterien bewertet.

Für das Basismodell verwenden wir bedingte Likelihood-Schätzung für MMLU, CMMLU, C-Eval, ARC-C, Hellaswag, TruthfulQA, WinoGrande, PIQA und GPQA, während die übrigen Benchmarks mittels bedingter Generierung bewertet werden. Für das Instruct-Modell bewerten wir alle Benchmarks mittels bedingter Generierung.

EingabelängeAusgabelängeLLaDA 8BLLaMA3 8B ohne KV-CacheLLaMA3 8B mit KV-Cache
51251217,0316,7016,32
102417,5317,4916,43
204818,5220,0016,73
102451217,5317,1616,36
102418,0118,2616,41
204819,0221,3916,74
Tabelle 11: Analyse des Speicherverbrauchs. Der Speicher wird in GB gemessen. Ohne jegliche Techniken zur Inferenzoptimierung (z. B. KV-Cache) ist der Speicherverbrauch von LLaDA vergleichbar mit dem von LLaMA3 und etwas höher als bei LLaMA3, wenn Letzteres KV-Cache verwendet.

Für das Basismodell verwenden wir das weit verbreitete Open-Source-Evaluierungsframework lm-evaluation-harness [125], mit Ausnahme der HumanEval-FIM-Metrik, die vom Framework nicht unterstützt wird. Für HumanEval-FIM beim Basismodell und alle Evaluierungsmetriken beim Instruct-Modell verwenden wir eine interne Evaluierungsbibliothek. Wir wählen die interne Bibliothek, da lm-evaluation-harness eine größere Abweichung von den von Yang et al. [25] berichteten LLaMA3-Ergebnissen zeigt, relativ zu unserer internen Evaluierung.

Für Benchmarks, die mittels bedingter Likelihood-Schätzung bewertet werden, verwenden wir Monte-Carlo-Schätzung, um Gl. [6] für LLaDA zu approximieren. Da MMLU, CMMLU und C-EVAL nur die Likelihood eines einzelnen Tokens erfordern, ist eine einzelne Monte-Carlo-Schätzung für diese Benchmarks ausreichend. Für alle anderen Benchmarks stellen wir fest, dass 128 Monte-Carlo-Stichproben ausreichen, um stabile Ergebnisse zu erzeugen.

Für Benchmarks, die mittels bedingter Generierung bewertet werden, wenden wir reines Diffusions-Sampling mit einer Remasking-Strategie geringer Konfidenz sowohl auf LLaDA Base als auch auf LLaDA Instruct an. Für LLaDA Base setzen wir sowohl die Generierungslänge als auch die Anzahl der Sampling-Schritte auf 1024. Für LLaDA Instruct wird die Anzahl der Sampling-Schritte gleich der Antwortlänge gesetzt, die wie folgt konfiguriert ist: 3 für MMLU und HellaSwag, 64 für GPQA, 256 für MBPP und MMLU-Pro sowie 512 für HumanEval, GSM8K, Math und ARC-C. Wie in Anhang [B.4] ausführlich dargestellt, setzen wir für HumanEval, MBPP, GSM8K, Math und GPQA die Konfidenz des |EOS|-Tokens während des Samplings für LLaDA Instruct auf null.

B.7 Analyse der Sampling-Effizienz

In diesem Abschnitt analysieren wir zunächst die Sampling-Effizienz von LLaDA, einschließlich sowohl der Sampling-Geschwindigkeit als auch des Speicherverbrauchs. Anschließend erörtern wir mögliche Optimierungen zur weiteren Verbesserung ihrer Effizienz.

Für die Analyse der Sampling-Geschwindigkeit verwenden wir vier repräsentative offene Generierungs-Benchmarks: GSM8K, Math, HumanEval und MBPP. Wir verwenden die weit verbreitete Durchsatzmetrik zur Messung der Generierungsgeschwindigkeit, definiert als die Anzahl der pro Sekunde generierten Token. Wir vergleichen LLaDA 8B Base und LLaMA3 8B Base, beide mit bfloat16-Präzision. Alle Experimente in diesem Abschnitt wurden auf einer einzelnen A100-80GB-GPU mit einer Batch-Größe von 1 durchgeführt. Für LLaDA ist die Ausgabelänge über alle vier Benchmarks hinweg auf 256 Token festgelegt.

Abb. 5 zeigt, dass LLaDA durch Anpassung der Anzahl der Sampling-Schritte einen flexiblen Kompromiss zwischen Generierungsqualität und Geschwindigkeit ermöglicht. Konkret erreicht LLaDA 8B Base auf den Datensätzen GSM8K und Math eine vergleichbare Leistung wie LLaMA3 8B Base und liefert dabei 1,5- bzw. 1,8-mal höheren Durchsatz, obwohl LLaMA3 KV-Cache verwendet und LLaDA ohne jegliche Inferenz-Optimierungstechniken arbeitet. Beim HumanEval-Benchmark erzielt LLaDA 8B Base eine vergleichbare Leistung wie LLaMA3 8B Base, wenn der Durchsatz angeglichen wird. Beim MBPP-Benchmark bleibt LLaDA 8B Base hinter LLaMA3 8B Base zurück.

Bei LLaMA3 ist der durch KV-Caching gebotene Beschleunigungsvorteil beim HumanEval-Datensatz deutlich schwächer, was auf dessen relativ kurze Prompt-Längen zurückzuführen ist. Konkret betragen die durchschnittlichen Prompt-Längen für GSM8K, Math, MBPP und HumanEval 894, 680, 628 bzw. 132 Token.

Tab. [1] vergleicht den Speicherverbrauch zwischen LLaDA 8B Base und LLaMA3 8B Base. Um Schwankungen der Generierungslänge aufgrund unterschiedlicher Trainingsdaten zu vermeiden, legen wir während der Speicheranalyse sowohl die Eingabe- als auch die Ausgabe-Token-Länge fest. Bei LLaDA bleibt der Speicherverbrauch unabhängig von der Anzahl der Sampling-Schritte konstant. Sein Speicherverbrauch ist vergleichbar mit dem von LLaMA3 8B Base ohne KV-Cache, aber etwas höher als mit KV-Cache.

4 Schritte5 Schritte6 Schritte
LLaMA3 8B Base38,035,034,0
LLaDA 8B Base64,041,044,0
Tabelle 12: Vergleich auf dem iGSM-Datensatz.

Wir betonen, dass das Ziel dieser Studie nicht darin besteht, ein Modell vorzuschlagen, das schneller als ARMs ist. Stattdessen möchten wir das Potenzial von Diffusionsmodellen für die Sprachmodellierung im großen Maßstab aufzeigen und die gängige Annahme infrage stellen, dass Kernfähigkeiten von LLMs wie Skalierbarkeit, In-Context-Learning und Instruction-Following inhärent von ARMs abhängen. Ein umfangreicher Forschungsbereich [31, 79, 87] hat sich auf die Verbesserung der Generierungseffizienz von MDMs durch algorithmische oder architektonische Innovationen konzentriert. Eine ähnliche effizienzorientierte Untersuchung für LLaDA überlassen wir zukünftiger Arbeit.

B.8 Evaluierung auf dem iGSM-Datensatz

Um die mathematischen Fähigkeiten von LLaDA weiter zu bewerten, testen wir seine Leistung auf iGSM [34], einem unendlichen, synthetischen GSM8K-ähnlichen Datensatz. iGSM wird durch spezifische Regeln generiert, wobei Parameter die Schwierigkeit der Probleme (d. h. die Anzahl der Lösungsschritte) steuern. Für die Konsistenz der Evaluierung hängen wir „#### Sanswer" an die endgültige Lösung an und folgen dabei dem GSM8K-Format. Unten ist ein Beispiel mit Lösungsschritten gleich 4:

(Frage) Die Anzahl jedes Cultural Studies Classroom der North Star Elementary beträgt 1. Die Anzahl jedes Dance Studio der Westridge Elementary beträgt das Dreifache der Summe aus jedem Classroom der North Star Elementary und jedem Cultural Studies Classroom der North Star Elementary. Wie viele Dance Studios hat die Westridge Elementary? (Lösung) Definiere den Cultural Studies Classroom der North Star Elementary als x\mathbf{x} ; also x=1\mathbf{x} = 1 . Definiere den Classroom der North Star Elementary als m\mathbf{m} ; also m=x=1\mathbf{m} = \mathbf{x} = 1 . Definiere das Dance Studio der Westridge Elementary als n\mathbf{n} ; w=m+x=1+1=2\mathbf{w} = \mathbf{m} + \mathbf{x} = 1 + 1 = 2 ; also n=3∗w=3∗2=1\mathbf{n} = 3 * \mathbf{w} = 3 * 2 = 1 #### 1

Da es geringfügige Unterschiede zwischen GSM8K und iGSM gibt (z. B. die Verwendung eines algorithmischen Systems modulo 5), folgen wir [34] und stellen einen System-Prompt zusammen mit vier Frage-Antwort-Paaren (Four-Shot) für jedes Problem bereit.

(Prompt) Du bist ein Experte im Lösen elementarer mathematischer Probleme mit Addition, Subtraktion und Multiplikation. Du löst alle Probleme in einem einheitlichen Format. Alle Berechnungen werden modulo 5 durchgeführt. Zum Beispiel ergibt 4+44 + 4 3, 2+42 + 4 ergibt 1, 3+3+33 + 3 + 3 ergibt 4, 3∗33 * 3 ergibt 4 und 2∗22 * 2 ergibt 4. Wenn du deine Lösung angibst, beende sie bitte mit '#### x.', wobei x deine endgültige Antwort ist, eine ganze Zahl zwischen 0 und 4. Du musst alle Probleme im selben Lösungsformat lösen. Unsere Szenarien umfassen bis zu vier Kategorien von Objekten: Schulen, Klassenzimmer, Rucksäcke und Schreibwaren. Jede Schule kann Klassenzimmer enthalten, jedes Klassenzimmer kann Rucksäcke enthalten und jeder Rucksack kann Schreibwaren enthalten. Wir können Mengen angeben, wie die Anzahl der Tanzstudios an jeder Lakeshore High. Gehe davon aus, dass jede Entität mit demselben Namen eine identische Konfiguration hat; zum Beispiel enthält jede Lakeshore High dieselbe Anzahl an Tanzstudios. Ein weiteres Leitprinzip ist, dass das, was nicht erwähnt wird, nicht existiert: Wenn wir uns auf Klassenzimmer an der Lakeshore High beziehen, sprechen wir nur über die Klassenzimmer, die in unserem Szenario ausdrücklich erwähnt werden. Wenn die Lakeshore High nicht einmal erwähnt wird, gilt außerdem jedes Klassenzimmer darin automatisch als nicht existent (d. h. 0).

Für Lösungsschritte von 4 bis 6 generieren wir 100 Fragen für jeden Fall und berichten die entsprechende Genauigkeit in Tabelle [2]. Wie die Tabelle zeigt, weist LLaDA 8B Base bei ungesehenen mathematischen Problemen signifikante und konsistente Vorteile gegenüber LLaMA3 8B Base auf, was mit den Ergebnissen in Tabelle [1] übereinstimmt.

User LLaDAWelche Vorteile hat regelmäßige Bewegung für die körperliche und psychische Gesundheit?
Regelmäßige Bewegungkanndie körperlicheGesundheitverbessern,indemsieMuskelnundKnochenstärkt,
diekardiovaskuläreGesundheitverbessertunddasRisikochronischerErkrankungenwieDiabetes
undHerzkrankheitenverringert.Siekannauchdie psychischeGesundheitundAngstzuständeverbessern,
die Stimmunghebenunddie kognitiveFunktionsteigern.Darüber hinauskannBewegungdieSchlafqualität
verbessernunddas Energieniveauerhöhen.
Tabelle 13: Visualisierung des Block-Diffusion-LLaDA-Sampling-Prozesses. In der Antwort von LLaDA zeigen dunklere Farben Token an, die in späteren Phasen des Samplings vorhergesagt wurden, während hellere Farben früheren Vorhersagen entsprechen.

B.9 Aufgaben zur Gedichtvervollständigung

In diesem Abschnitt präsentieren wir Beispiele aus unserem Datensatz zur Gedichtvervollständigung wie folgt.

Beispiel 1:

Prompt: 窈窕淑女的下一句是什么? 直接输出句子即可。

Antwort: 君子好逑。

Beispiel 2:

Prompt: 不拘一格降人才的上一句是什么? 直接输出句子即可。

Antwort: 我劝天公重抖擞。

B.10 Weitere Fallstudien

In diesem Abschnitt präsentieren wir weitere Fallstudien zu LLaDA 8B Instruct. Zunächst zeigt Tab. [13] den Sampling-Prozess des Block-Diffusions-Samplings von LLaDA, während Tab. [14] den Sampling-Prozess für Multi-Turn-Dialoge mit zufälligem Remasking darstellt. Darüber hinaus liefern Tab. [15] und Tab. [16] weitere Beispiele für Single-Turn- und Multi-Turn-Dialoge. Schließlich präsentiert Tab. [17] Beispiele für Gedicht-Rückwärtsvervollständigungen, bei denen das Modell LLaDA 8B Instruct erfolgreich ist, im Gegensatz zum Scheitern von GPT-4o.

C Impact Statement

Unsere Arbeit zeigt das Potenzial von Diffusionsmodellen für die Sprachmodellierung im großen Maßstab und stellt die gängige Annahme infrage, dass Kernfähigkeiten von LLMs wie Skalierbarkeit, In-Context-Learning und Instruction-Following inhärent von ARMs abhängen. Unsere Ergebnisse eröffnen neue Wege zur Erforschung alternativer probabilistischer Paradigmen in der Verarbeitung natürlicher Sprache, mit potenziellen Anwendungen in konversationeller KI, Codegenerierung und komplexen Reasoning-Aufgaben.

Allerdings werfen Diffusionsmodelle, wie traditionelle LLMs, ähnliche gesellschaftliche Bedenken auf. Dazu gehören die Umweltauswirkungen groß angelegten Trainings, der potenzielle Missbrauch zur Generierung schädlicher Inhalte und die Verstärkung von Verzerrungen, die in Trainingsdaten vorhanden sind. Die Bewältigung dieser Herausforderungen ist entscheidend, um die verantwortungsvolle Entwicklung und den Einsatz von Diffusionssprachmodellen zu gewährleisten.

Tabelle 14: Visualisierung des Multi-Turn-Dialogs. Wir verwenden eine Strategie des zufälligen Remaskings. In der Antwort von LLaDA zeigen dunklere Farben Token an, die in späteren Phasen des Samplings vorhergesagt wurden, während hellere Farben früheren Vorhersagen entsprechen.

Alltagsleben
User
LLaDA
Welchen Ratschlag, den du erhalten hast, fandest du hilfreich?
Ein hilfreicher Ratschlag, den ich erhalten habe, ist, stets offen für Lernen und Wachstum zu sein. Ich habe festgestellt, dass die Bereitschaft, neue Ideen und Erfahrungen zu erkunden, mir geholfen hat, widerstandsfähiger und anpassungsfähiger zu werden. Indem ich eine Wachstumsmentalität angenommen habe, konnte ich Möglichkeiten zur Verbesserung und Entwicklung erkennen, sowohl persönlich als auch beruflich.
Alltagsleben
User
LLaDA
Bitte empfiehl mir drei berühmte Filme
Gerne! Hier sind drei berühmte Filme, die große Popularität und kritische Anerkennung erlangt haben:
1. Die Verurteilten (1994) – Inspiriert von einer Novelle und unter der Regie von Frank Darabont erzählt dieser Film die Geschichte von Andy Dufresne, einem Mann, der wegen Mordes an seiner Frau verurteilt wurde, der sein hartes Leben im Shawshank-Gefängnis bewältigt und eine unwahrscheinliche Freundschaft mit einem Mitinsassen schließt.
2. Der Pate (1972) – Unter der Regie von Francis Ford Coppola basiert dieser Film auf Mario Puzos gleichnamigem Roman. Er folgt der Geschichte der Familie Corleone, insbesondere Michael Corleone, der an die Macht aufsteigt und das kriminelle Imperium der Familie übernimmt.
3. Das Imperium schlägt zurück (1980) – Unter der Regie von George Lucas setzt dieser Film die Geschichte eines jungen Skywalkers in der Star-Wars-Saga fort. Er folgt Luke Skywalker, während er der Rebellenallianz hilft, gegen das Galaktische Imperium zu kämpfen und die mächtige Waffe, den Todesstern, zu zerstören.
Alle diese Filme werden für ihre filmischen Leistungen, ihr kraftvolles Erzählen und ihre unvergesslichen Figuren gefeiert.
Übersetzung
User
LLaDA
Bitte hilf mir, ins Chinesische zu übersetzen: ‚What is now proved was once only imagined‘ 现在被证明的曾经只是想象
Übersetzung
User
LLaDA
Bitte hilf mir, ins Deutsche zu übersetzen: ‚What is now proved was once only imagined‘ 我把他去查查过,我其实没再问啊。
Mathematik
User
LLaDA
Emma beschließt, 4 Sprints 5 Mal pro Woche zu laufen. Sie läuft 75 Meter pro Sprint. Wie viele Meter läuft sie insgesamt pro Woche?
Emma läuft jedes Mal 4 Sprints, also läuft sie insgesamt 4 x 5 = 20 Sprints pro Woche. Jeder Sprint ist 75 Meter lang, also läuft Emma insgesamt 20 x 75 = 1500 Meter pro Woche. Das Endergebnis ist 1500
Code
User
LLaDA
Ich schreibe Python-Code, ich habe ein Array, bitte hilf mir, es vom größten zum kleinsten zu sortieren
Gerne! Du kannst ein Array in Python mit der Methode ‚sort()‘ oder der Funktion ‚sorted()‘ vom größten zum kleinsten sortieren. Hier ist ein Beispiel:
### Verwendung der Methode ‚sort()‘:
my_array = [3, 1, 4, 1, 5, 2]
my_array.sort(reverse=True)
print(my_array)
Alltag
NutzerWie bereite ich mich auf ein Vorstellungsgespräch vor?
LLaDAUm sich auf ein Vorstellungsgespräch vorzubereiten, sollten Sie das Unternehmen und die Stelle recherchieren, gängige Interviewfragen üben und sich angemessen kleiden.
NutzerWas sind einige gängige Interviewfragen?
LLaDAEinige gängige Interviewfragen sind &quot;Erzählen Sie mir von sich&quot; und &quot;Warum möchten Sie für uns arbeiten&quot;?
Alltag
NutzerWie beginne ich mit dem Programmierenlernen?
LLaDAUm Programmieren zu lernen, können Sie damit beginnen, eine Programmiersprache zu wählen, die Sie interessiert. Einige beliebte Sprachen sind Python, Java und C++.
NutzerWelche Programmiersprache sollte ich zuerst lernen?
LLaDADas hängt von Ihren Interessen und Zielen ab. Python ist aufgrund seiner Einfachheit und Vielseitigkeit eine großartige Sprache für Anfänger.
NutzerWie lange dauert es, Python zu lernen?
LLaDADas Erlernen von Python kann zwischen einigen Wochen und mehreren Monaten dauern.
NutzerWelche guten Python-Projekte gibt es für Anfänger?
LLaDAEinige gute Python-Projekte für Anfänger sind der Bau eines einfachen Taschenrechners, eines Spiels und einer Webanwendung.
Mathematik
NutzerNatalia verkaufte im April Clips an 48 ihrer Freunde und verkaufte dann im Mai halb so viele Clips. Wie viele Clips verkaufte Natalia im April und Mai insgesamt?
LLaDANatalia verkaufte im April Clips an 48 Freunde. Im Mai verkaufte sie halb so viele Clips, also verkaufte sie 48/2 = 24 Clips im Mai. Insgesamt verkaufte Natalia im April und Mai 48 + 24 = 72 Clips. Das Endergebnis ist 72.
NutzerNatalia verkaufte im Juni dreimal so viele Artikel wie im Mai. Wie viele Clips verkaufte Natalia in diesen drei Monaten insgesamt?
LLaDANatalia verkaufte im April Clips an 48 Freunde. Im Mai verkaufte sie halb so viele Clips, also verkaufte sie 48/2 = 24 Clips im Mai. Natalia verkaufte im Juni dreimal so viele Artikel wie im Mai, also verkaufte sie 24 * 3 = 72 Clips im Juni. Insgesamt verkaufte Natalia in diesen drei Monaten 48 + 24 + 72 = 144 Clips. Das Endergebnis ist 144.
Tabelle 16: Fälle von Multi-Turn-Dialogen von LLaDA 8B Instruct.
Nur-Lese-Hintergrund zum Verständnis der Quelle (kein zu übersetzender Quelltext): Tabelle 14: Visualisierung des Multi-Turn-Dialogs. Wir verwenden eine zufällige Remasking-Strategie. In der Antwort von LLaDA zeigen dunklere Farben Token an, die in späteren Stadien der Stichprobenentnahme vorhergesagt wurden, während hellere Farben früheren Vorhersagen entsprechen. Zu übersetzender Text: Frage1
BenutzerWas ist die vorherige Zeile von „但闻人语响“?
GPT-4oDie vorherige Zeile von „但闻人语响“ ist „无可奈何花落去“. Diese beiden Zeilen stammen von der Dichterin der Tang-Dynastie Li Qingzhao aus (武陵春,春晚: 无可奈何花落去,但闻人语响. Dieses Gedicht drückt die Einsamkeit und Sentimentalität der Autorin im Frühling aus und spiegelt durch die Beschreibung des fallenden Blumen und der menschlichen Stimmen die Hilflosigkeit und den Verlust im Inneren der Dichterin wider.
LLaDADie vorherige Zeile von „但闻人语响“ ist „空山不见人“
Frage2
BenutzerWas ist die vorherige Zeile von „夜静春山空“?
GPT-4oDie vorherige Zeile von „夜静春山空“ ist „空山新雨后“. Diese beiden Zeilen stammen von dem Dichter der Tang-Dynastie Wang Wei aus (山居秋 膜): 空山新雨后,夜静春山空. Dieses Gedicht beschreibt die Stille und Leere im Berg nach dem Regen im Frühling und zeigt die Ruhe und harmonische Schönheit der Natur.
LLaDADie vorherige Zeile von „夜静春山空“ ist „人闲桂花落“
Tabelle 17: Fälle der Gedichtumkehr-Vervollständigung, in denen LLaDA 8B Instruct erfolgreich ist, GPT-4o jedoch scheitert.
ModellTrainings-TokensFLOPsMMLUCMMLUARC-CPIQAGSM8KHumanEval
LLaDA 1B37,75B2,20e2025,5225,9525,1759,411,820,00
LLaDA 1B88,08B5,13e2027,1126,5226,9661,863,031,83
LLaDA 1B138,41B8,06e2029,3227,1330,2063,382,350,00
LLaDA 1B239,08B1,39e2131,4830,7727,9963,113,261,22
LLaDA 1B352,32B2,05e2135,8634,3531,3165,343,643,05
LLaDA 1B461,37B2,69e2131,8630,9830,1265,512,350,61
LLaDA 8B62,91 Mrd.2,63e2132,2228,530,2063,823,872,44
LLaDA 8B125,83 Mrd.5,27e2133,3933,934,6466,548,723,66
LLaDA 8B251,66 Mrd.1,05e2242,8440,5940,1069,0415,313,66
LLaDA 8B377,49 Mrd.1,58e2245,1143,9939,2568,6125,409,76
LLaDA 8B503,32 Mrd.2,11e2243,5741,3842,0670,2427,529,76
LLaDA 8B629,14 Mrd.2,63e2248,8047,1342,2472,0930,1012,80
LLaDA 8B679,48 Mrd.2,85e2249,6148,1941,3070,8426,318,54
LLaDA 8B792,72 Mrd.3,31e2250,8849,0142,5870,5131,996,10
LLaDA 8B981,47B4,11e2249,4748,1040,2771,38-6,10
LLaDA 8B1107,30B4,64e2251,1347,5741,1369,2636,6910,37
LLaDA 8B1233,13B5,16e2250,5249,7245,0571,4938,979,76
LLaDA 8B1358,95B5,69e2254,6153,9749,4074,0548,1417,68
LLaDA 8B1547,70B6,48e2257,3856,0449,4974,5953,3020,73
LLaDA 8B1975,52B8,27e2258,5257,8750,6875,35-19,51
Tabelle 18: Detaillierte Ergebnisse von LLaDA in Abb. 3 „ kennzeichnet fehlende Werte, die die Beobachtungen zur Skalierbarkeit von LLaDA nicht beeinflussen. Diese fehlenden Werte sind auf Hardwarefehler zurückzuführen.
Tabelle 14: Visualisierung des Multi-Turn-Dialogs. Wir verwenden eine zufällige Remasking-Strategie. In der Antwort von LLaDA zeigen dunklere Farben Token an, die in späteren Phasen der Stichprobenentnahme vorhergesagt wurden, während hellere Farben früheren Vorhersagen entsprechen.Zu übersetzender Text: ModellTrainings-TokenFLOPsMMLUCMMLUARC-CPIQAGSM8K
HumanEvalARM 1B37,75B2,20e2025,4725,3830,2067,362,20
4,88ARM 1B88,08B5,13e2024,6725,2333,9670,027,51
10,37ARM 1B138,41B8,06e2029,2527,4833,4570,298,34
9,76ARM 7B17,30B6,02e2026,9225,1821,0257,181,29
1,22ARM 7B34,60B1,20e2125,8325,3824,0762,841,59
2,44ARM 7B86,50B3,01e2124,4124,9025,4271,112,88
7,93 ARM 7B173,02 Mrd.6,02e2126,2024,7826,1074,276,679,15
ARM 7B207,62 Mrd.7,23e2130,3628,8631,8674,488,5712,80
ARM 7B224,92 Mrd.7,83e2129,4932,2631,1974,378,958,54
ARM 7B242,22 Mrd.8,43e2133,6231,3834,9275,4110,849,15
ARM 7B259,52 Mrd.9,03e2134,1134,2032,8875,199,3310,98
ARM 7B311,43 Mrd.1,08e2235,6635,4936,6175,1411,3010,37
ARM 7B363,33 Mrd.1,26e2234,5437,6734,5876,5512,2814,02
ARM 7B415,24 Mrd.1,45e2235,3738,3735,2576,3914,4012,80
ARM 7B449,84 Mrd.1,57e2239,5139,2434,9276,8214,9414,63
ARM 7B519,09 Mrd.1,81e2240,3040,6937,2977,1514,0314,63
ARM 7B778,57 Mrd.2,71e2243,3343,5038,3177,5317,5914,63
ARM 7B1038,09 Mrd.3,61e2245,0646,1241,6977,8620,0215,85
ARM 7B1384,12 Mrd.4,82e2247,6348,1847,8076,9322,8215,24
ARM 7B2076,18 Mrd.7,23e2247,6850,8544,0777,3724,7914,63
ARM 7B2214,59 Mrd.7,71e2249,2652,0853,5677,6927,3717,07
Tabelle 19: Detaillierte Ergebnisse der autoregressiven Baselines in Abb. 3