メインコンテンツへスキップ
Shen Nie et al.

一語ずつ予測する代わりに、拡散モデルのようにマスク文を埋める。8B で LLaMA-3 に匹敵する。ICML 2025、全文無料。

Large Language Diffusion Models

大規模言語拡散モデル

Shen Nie1,2,3,†\mathbf{Nie}^{1,2,3,\dagger} Fengqi Zhu 1,2,3,†^{1,2,3,\dagger} Zebin You 1,2,3,†^{1,2,3,\dagger} Xiaolu Zhang 4‡^{4\ddagger} Jingyang 0u1,2,3\mathbf{0u}^{1,2,3} Jun Hu4‡\mathbf{Hu}^{4\ddagger} Jun Zhou 4^{4} Yankai Lin1,2,3‡\mathbf{Lin}^{1,2,3\ddagger} Ji- Rong Wen 1,2,3^{1,2,3} Chongxuan Li1,2,3‡\mathbf{Li}^{1,2,3\ddagger} 1^{1} 中国人民大学高瓴人工智能学院 2^{2} 北京市大模型与智能治理研究重点实验室 3^{3} 下一代智能搜索与推荐教育部工程研究中心 4^{4} 蚂蚁集团 {nieshen,fengqizhu,chongxuanli}@ruc.edu.cn {nie shen, fengqizhu, chongxuanli}@ruc.edu.cn

概要

大規模言語モデル(LLM)の能力は、自己回帰モデル(ARM)に依存していると広く考えられている。我々はこの通念に挑戦し、事前学習と教師あり微調整(SFT)の枠組みの下でゼロから訓練された拡散モデルであるLLaDAを導入する。LLaDAは、マスクされたトークンを予測するためにTransformerでパラメータ化された、順方向のデータマスキング過程と逆方向の生成過程を採用している。それは、尤度の下界を最適化することにより、確率的推論のための原理的な生成的アプローチを提供する。一般タスク、数学、コードなどに関する広範なベンチマークにおいて、LLaDAは強いスケーラビリティを示し、我々が自作したARMベースラインと同等の性能を発揮する。特筆すべきは、LLaDA 8Bが文脈内学習においてLLaMA3 8Bのような強力なLLMと競合し、SFT後にはマルチターン対話などのケーススタディにおいて印象的な指示追従能力を示すことである。さらに、LLaDAは反転の呪いに対処し、反転詩補完タスクにおいてGPT-4oを上回る。我々の発見は、大規模な言語モデリングにおける拡散モデルの有望性を示し、上述したLLMの核となる能力が本質的にARMに依存するという一般的な仮定に挑戦するものである。プロジェクトページとコード: https://ml- gsai.github.io/LLaDA- demo/

1 はじめに

大規模言語モデル(LLM)[1]は、完全に生成的モデリングの枠組みに属する。具体的には、LLMは最尤推定、すなわち2つの分布間のKLダイバージェンス最小化を通じてモデル分布 pθ(⋅)p_{\theta}(\cdot) を最適化することにより、真であるが未知の言語分布 pdata(⋅)p_{\mathrm{data}}(\cdot) を捉えることを目指す:

max⁡θEpdata(x)log⁡pθ(x)⇔min⁡θKL(pdata(x)∣∣pθ(x)).(1)\max_{\theta}\mathbb{E}{p{\mathrm{data}}(x)}\log p_{\theta}(x)\Leftrightarrow \min_{\theta}\mathrm{KL}(p_{\mathrm{data}}(x)||p_{\theta}(x)). \quad (1)

支配的なアプローチは、モデル分布を定義するために自己回帰モデリング(ARM)——一般に「次トークン予測」パラダイムと呼ばれる——に依拠している:

pθ(x)=pθ(x1)∏i=2Lpθ(xi∣x1,…,xi−1),(2)p_{\theta}(x) = p_{\theta}(x^{1})\prod_{i = 2}^{L}p_{\theta}(x^{i}\mid x^{1},\ldots ,x^{i - 1}), \quad (2)

自己回帰的定式化

\*同等の貢献。

\(^{1}\) 蚂蚁集团でのインターンシップ期間中の研究。

\(^{1}\) プロジェクトリーダー。

\(^{1}\) 連絡先:Chongxuan Li。

図1:ゼロ/フューショットベンチマーク。我々はLLaDAをゼロから8Bパラメータまでスケールアップし、強力な自己回帰型LLM[6]と比較して競争力のあるゼロ/フューショット性能を観察した。
図1:ゼロ/フューショットベンチマーク。我々はLLaDAをゼロから8Bパラメータまでスケールアップし、強力な自己回帰型LLM[6]と比較して競争力のあるゼロ/フューショット性能を観察した。

ここで xx は長さ LL の系列であり、xix^{i} は ii 番目のトークンである。このパラダイムは著しく効果的であることが証明されており [2][5]、現在のLLMの基盤となっている。その広範な採用にもかかわらず、根本的な問いが未解決のままである:自己回帰パラダイムは、スケーラビリティ、文脈内学習、指示追従といったLLMの核となる能力を達成する唯一の道なのだろうか?

我々は、その答えは単純に「はい」ではないと主張する。これまで見落とされてきた重要な洞察は次のとおりである:LLMの本質的な特性を根本的に支えているのは、自己回帰的定式化(すなわち式(2))そのものではなく、生成的モデリングの原理(すなわち式(1))である。

特に、我々はスケーラビリティが主に、式(2)のARMの独自の結果というよりも、Transformer [7]、モデルサイズ、データサイズ、そして式(1)の生成的原理によって引き起こされるフィッシャー一致性 [5][8] の相互作用の結果であると主張する。視覚データ[11]における拡散Transformer [9][10]の成功はこの主張を支持している。さらに、指示追従と文脈内学習 [4] の能力は、ARMの排他的な利点というよりも、構造的に一貫した言語タスクにおけるすべての条件付き生成的モデルの内在的特性であるように思われる。加えて、ARMは可逆なデータ圧縮器[12][13]として解釈できるが、十分に表現力のある確率的モデルであれば同様の能力を達成できる[14]。

しかしながら、LLMの特定の本質的限界は、その自己回帰的性質に直接起因する可能性がある。例えば、左から右への生成過程は、反転推論タスク[15]を扱う能力を制限しており、現在のモデルの汎化能力における代表的な失敗を浮き彫りにしている。

これらの洞察に動機づけられ、我々はLLaDA(Large Language Diffusion with mAsking)を導入し、LLMが示す能力がARMを超えた生成的モデリングの原理から生じうるかどうかを調査することで、先に提起した根本的な問いに取り組む。従来のARMとは対照的に、LLaDAはマスク付き拡散モデル(MDM)[16][20]を活用しており、これは順方向のデータマスキング過程を組み込み、その逆過程を近似するマスク予測器を訓練する。この設計により、LLaDAは双方向依存性を持つモデル分布を構築し、その対数尤度の変分下界を最適化することが可能となり、上述したLLMの核となる能力について、原理的かつこれまで未探索の視点を提供する。

我々はデータ準備、事前学習、教師あり微調整(SFT)、評価という標準的なパイプラインを採用し、LLaDAを前例のない規模である8Bの言語拡散モデルへとスケールアップする。特に、LLaDA 8Bは2.3兆トークンを用いて0.13百万H800 GPU時間でゼロから事前学習され、その後450万ペアでSFTされた。言語理解、数学、コード、中国語を含む多様なタスクにおいて、LLaDAは以下の貢献を示す:

- LLaDAは \(10^{23}\) FLOPsの計算予算まで効果的にスケールし、MMLUやGSM8Kを含む6つのタスクにおいて、同じデータで訓練されたARMベースラインと同等の結果を達成する。

図2:LLaDAの概要。(a) 事前学習。LLaDAは、すべてのトークンに独立して同じ比率 t \sim U[0,1] でランダムマスクを適用したテキストで訓練される。(b) SFT。応答トークンのみがマスクされる可能性がある。(c) サンプリング。LLaDAは t = 1(完全マスク)から t = 0(マスクなし)への拡散過程をシミュレートし、各ステップで柔軟なリマーク戦略を用いてすべてのマスクを同時に予測する。
図2:LLaDAの概要。(a) 事前学習。LLaDAは、すべてのトークンに独立して同じ比率 t∼U[0,1]t \sim U[0,1] でランダムマスクを適用したテキストで訓練される。(b) SFT。応答トークンのみがマスクされる可能性がある。(c) サンプリング。LLaDAは t=1t = 1(完全マスク)から t=0t = 0(マスクなし)への拡散過程をシミュレートし、各ステップで柔軟なリマーク戦略を用いてすべてのマスクを同時に予測する。

- 事前学習済みのLLaDA 8B Baseは、15の標準的なゼロ/少数ショット学習タスクのほぼすべてにおいてLLaMA2 7B Base [21]を上回り、LLaMA3 8B Base [6]と同等の性能を発揮し、効果的な文脈内学習能力を示す。

- LLaDAは、マルチターン対話などのケーススタディで示されるように、SFT後の指示追従能力を大幅に向上させる。

- LLaDAは反転の呪い[15]を効果的に打破し、順方向タスクと反転タスクで一貫した性能を発揮する。特筆すべきは、反転詩補完タスクにおいてGPT-4oを上回ることである。

2 アプローチ

本節では、図2に示すように、LLaDAの確率的定式化[6]ならびに事前学習、教師あり微調整、推論の手順を紹介する。

2.1 確率的定式化

式(2)のARMとは異なり、LLaDAは順方向過程と逆方向過程を通じてモデル分布 pθ(x0)p_{\theta}(x_{0}) を定義する[16][20]。順方向過程は、系列が t=1t = 1 で完全にマスクされるまで、x0x_{0} 内のトークンを独立に徐々にマスクする。t∈(0,1)t \in (0,1) において、系列 xtx_{t} は部分的にマスクされており、各トークンは確率 tt でマスクされるか、確率 1−t1 - t でマスクされずに残る。逆方向過程は、\(t\) が1から0へ移動するにつれてマスクされたトークンを反復的に予測することにより、データ分布を回復する。

LLaDAの中核はマスク予測器であり、xtx_{t} を入力として受け取り、すべてのマスクされたトークン(Mと表記)を同時に予測するパラメトリックモデル pθ(⋅∣xt)p_{\theta}(\cdot |x_{t}) です。これは、マスクされたトークンのみで計算される交差エントロピー損失を用いて学習されます[18][20]:

L(θ)≜−Et,x0,xt[1t∑i=1L1[xti=M]log⁡pθ(x0i∣xt)],(3)\mathcal{L}(\theta) \triangleq -\mathbb{E}{t,x{0},x_{t}} \left[ \frac{1}{t} \sum_{i = 1}^{L} \mathbf{1}[x_{t}^{i} = \mathbf{M}] \log p_{\theta}(x_{0}^{i} | x_{t}) \right], \quad (3)

ここで、x0x_{0} は学習サンプル、tt は [0,1][0,1] から一様に抽出される連続確率変数、xtx_{t} はフォワード過程からサンプリングされ、LL は系列長です。指示関数 1[⋅]\mathbf{1}[\cdot ] は、損失がマスクされたトークンに対してのみ計算されることを保証します。

学習後、マスク予測器によってパラメータ化された逆過程(詳細は第[2.4]節を参照)をシミュレートし、モデル分布 pθ(x0)p_{\theta}(x_{0}) を t=0t = 0 で誘導される周辺分布として定義できます。式(3)の損失関数は、モデル分布の負の対数尤度の上界であることが証明されており、生成モデリングのための原理的な目的関数となっています:

−Epdata(x0)[log⁡pθ(x0)]≤L(θ).(4)-\mathbb{E}{p{\mathrm{data}}(x_{0})} \left[\log p_{\theta}(x_{0})\right] \leq \mathcal{L}(\theta). \quad (4)

注目すべきことに、LLaDAは0から1の間でランダムに変化するマスキング率を採用しているのに対し、BERT [22]は固定の率を使用しています。この微妙な違いは、特にスケールにおいて重要な意味を持ちます:式(4)に示されるように、LLaDAはLLMと同様に、インコンテキスト学習や指示追従を自然に実行できる可能性を秘めた原理的な生成モデルです。さらに、その生成的な観点は、第[1]節で議論したように、大規模なデータとモデルに対する強いスケーラビリティを意味します。加えて、MaskGIT [23]はヒューリスティックな学習目的を採用しており、式(3)と比較して 1t\frac{1}{t} 項を欠いており、最尤推定との理論的な関連性を欠いています。私たちが言語モデリングのために離散拡散モデルをスケールアップする動機となったのは、まさに最尤推定の理論的基盤であることを強調します。

2.2 事前学習

LLaDAは、既存のLLMと同様に、マスク予測器としてTransformer [7]を採用しています。しかし、LLaDAは因果マスクを使用しません。その定式化により、予測のために入力全体を見ることができるからです。

私たちは、異なるサイズのLLaDAの2つの変種、1Bと8Bを学習しました。ここでLLaDA 8BとLLaMA3 8B [6]のモデルアーキテクチャを要約し、詳細は付録[B.2]で提供します。いくつかの必要な変更を加えつつ、ほとんどのハイパーパラメータの一貫性を確保しています。LLaDAはKVキャッシュと互換性がなく、キーとバリューのヘッド数が異なるため、簡潔さのためにグループ化クエリ注意[24]の代わりにバニラのマルチヘッド注意を使用します。その結果、注意層のパラメータが増えるため、同等のモデルサイズを維持するためにFFN次元を削減します。さらに、私たちのデータに適応させたトークナイザ[4]により、語彙サイズが異なります。

LLaDAモデルは、2.3兆(T)トークンからなるデータセットで事前学習されており、既存のLLM[25][26]に密接に沿ったデータプロトコルに従っており、特別な技術は一切組み込まれていない。データはオンラインコーパスから取得され、低品質なコンテンツは手作業で設計されたルールとLLMベースのアプローチによってフィルタリングされている。一般テキストに加えて、データセットには高品質なコード、数学、多言語データが含まれている。データセットの詳細については付録[B.1]を参照されたい。データソースとドメインの混合は、縮小規模のARMによって導かれる。事前学習プロセスでは4096トークンの固定系列長を使用し、総計算コストは13万H800 GPU時間であり、同規模・同データセットサイズのARMと同程度である。

訓練系列x0x_{0}に対して、我々はt∈[0,1]t \in [0,1]をランダムにサンプリングし、各トークンを同じ確率ttで独立にマスクしてxtx_{t}を得て(図2参照)、確率的勾配降下訓練のためのモンテカルロ法によって式(3)を推定する。さらに、Nie et al.[27]に従い、可変長データを扱うLLaDAの能力を強化するため、事前学習データの1%1\%を[1,4096][1,4096]の範囲から一様にサンプリングされたランダムな長さに設定した。

我々は、連続訓練を中断することなく訓練の進捗を監視するために、Warmup-Stable-Decay[28]学習率スケジューラを採用した。具体的には、最初の2000イテレーションで学習率を0から4×10−44 \times 10^{- 4}まで線形に増加させ、4×10−44 \times 10^{- 4}に維持した。1.2Tトークンを処理した後、学習率を1×10−41 \times 10^{- 4}に減衰させ、安定した訓練を確保するために次の0.8Tトークンに対して一定に保った。最後に、最後の0.3Tトークンに対して学習率を1×10−41 \times 10^{- 4}から1×10−51 \times 10^{- 5}まで線形に減少させた。さらに、重み減衰0.1、バッチサイズ1280、GPUあたりのローカルバッチサイズ4でAdamWオプティマイザ[29]を使用した。8B実験は一度だけ実行され、ハイパーパラメータのチューニングは一切行われなかった。

2.3 教師ありファインチューニング

我々は、ペアデータ(p0,r0)(p_{0},r_{0})(ここでp0p_{0}はプロンプト、r0r_{0}は応答を表す)を用いた教師ありファインチューニング(SFT)により、指示に従うLLaDAの能力を強化する。これはLLMのための最も単純かつ基本的なポストトレーニング手法である。技術的には、事前学習におけるpθ(x0)p_{\theta}(x_{0})の代わりに条件付き分布pθ(r0∣p0)p_{\theta}(r_{0}|p_{0})をモデル化する必要がある。

実装は事前学習と同様である。図2に示すように、プロンプトは変更せず、応答内のトークンをx0x_{0}に対して行ったのと同様に独立にマスクする。そして、プロンプトとマスクされた応答rtr_{t}の両方を事前学習済みのマスク予測器に入力して、SFTの損失を計算する:

−Et,p0,r0,rt[1t∑i=1L′1[rti=M]log⁡pθ(r0i∣p0,rt)],(5)-\mathbb{E}{t,p{0},r_{0},r_{t}}\left[\frac{1}{t}\sum_{i = 1}^{L^{\prime}}\mathbf{1}[r_{t}^{i} = \mathbf{M}]\log p_{\theta}(r_{0}^{i}|p_{0},r_{t})\right], \quad (5)

ここでL′L^{\prime}は後述する動的な長さを表し、その他の記号はすべて以前と同じである。このアプローチは事前学習と完全に互換性があることに注意されたい。本質的に、p0p_{0}とr0r_{0}の連結はクリーンな事前学習データx0x_{0}として扱うことができ、p0p_{0}とrtr_{t}の連結はマスクされたバージョンxtx_{t}として機能する。このプロセスは事前学習と同一であり、唯一の違いは、すべてのマスクされたトークンがたまたまr0r_{0}の部分に現れることである。

LLaDA 8Bモデルは、450万ペアからなるデータセットでSFTを受ける。事前学習プロセスと一致して、データ準備と訓練の両方が既存のLLM[25][26]で利用されているSFTプロトコルに従い、LLaDAの性能を最適化するための追加技術は一切導入されていない。データセットはコード、数学、指示追従を含む複数のドメインにまたがる。各ミニバッチ内の短いペアの末尾に|EOS|トークンを付加し、すべてのデータ間で長さが等しくなるようにする。訓練中は|EOS|を通常のトークンとして扱い、サンプリング中にそれを除去することで、LLaDAが応答長を自動的に制御できるようにする。詳細については付録B.1を参照されたい。

我々は、事前学習段階と同様のスケジュールを用いて、SFTデータで3エポック訓練する。学習率は最初の50イテレーションで0から2.5×10−52.5 \times 10^{- 5}まで線形に増加させ、その後一定に保つ。最後の10%10\%のイテレーションでは、2.5×10−62.5 \times 10^{- 6}まで線形に減少させる。さらに、重み減衰を0.1、グローバルバッチサイズを256、GPUあたりのローカルバッチサイズを2に設定した。SFT実験は一度だけ実行され、ハイパーパラメータのチューニングは一切行われなかった。

2.4 推論

生成モデルとして、LLaDAは左から右への自己回帰的方式ではなく、拡散方式で新しいテキストをサンプリングし、候補テキストの尤度を評価することができる。

まず逆生成プロセスから始める。図2に示すように、プロンプトp0p_{0}が与えられたとき、完全にマスクされた応答から開始して、モデル分布pθ(r0∣p0)p_{\theta}(r_{0}|p_{0})からサンプリングするために逆プロセスを離散化する。総サンプリングステップ数はハイパーパラメータであり、第[3.3]節で分析するように、効率とサンプル品質の間のトレードオフをLLaDAに自然に提供する。デフォルトでは一様に分布したタイムステップを採用する。さらに、生成長もハイパーパラメータとして扱われ、サンプリングプロセスの開始時における完全にマスクされた文の長さを指定する。生成後、|EOS|トークンの後に現れるトークンは破棄される。付録[B.5]で詳述するように、事前学習とSFTの両方が可変長のデータセットを用いて行われるため、最終結果はこの長さハイパーパラメータに対して鈍感である。

時刻t∈(0,1]t \in (0,1]からs∈[0,t)s \in [0,t)への中間ステップにおいて、p0p_{0}とrtr_{t}の両方をマスク予測器に入力し、すべてのマスクされたトークンを同時に予測する。続いて、予測されたトークンのうち期待値でst\frac{s}{t}の割合を再マスクしてrsr_{s}を得ることで、逆プロセスの遷移が正確なサンプリングのために順プロセスと整合することを保証する[18][20]。原則として、再マスキング戦略は純粋にランダムであるべきである。しかし、LLMにおけるサンプリングのアニーリング技法[4][30]に触発され、我々は低信頼度再マスキング戦略を採用しており、予測に基づいて最も信頼度の低いst\frac{s}{t}の割合の予測トークンを再マスクする。これはChang et al.[23]のアプローチと同じである。

LLaDAは柔軟なサンプリングを可能にすることに言及する。特に、上述の事前学習またはSFTプロセスの後、さらなる修正や訓練を必要とせずに、自己回帰サンプリングおよびブロック拡散[31]サンプリングを直接サポートする。付録[B.4]で詳細な分析を提供する。それにもかかわらず、拡散サンプリング(すなわち逆生成プロセス)が最良の性能をもたらし、本論文全体を通じて、特に第[3]節で提示されるすべての実験に対して、デフォルトとして採用されている。

条件付き尤度評価については、式[5]の上界を自然に利用することができる。しかし、以下の等価な形式[20]がより低い分散を示し、より安定であることがわかった:

−El,r0,rl[Ll∑i=1L1[rli=M]log⁡pθ(r0i∣p0,rl)],(6)-\mathbb{E}{l,r{0},r_{l}}\left[\frac{L}{l}\sum_{i = 1}^{L}\mathbf{1}[r_{l}^{i} = \mathbf{M}]\log p_{\theta}(r_{0}^{i}|p_{0},r_{l})\right], \quad (6)

ここで、LL は r0r_{0} の系列長であり、ll は {1,2,…,L}\{1,2,\ldots ,L\} から一様にサンプリングされ、rlr_{l} はマスキングのために r0r_{0} から ll 個のトークンを非復元で一様にサンプリングすることによって得られる。

訓練および推論アルゴリズム、ならびに理論的詳細は付録 [A] に示す。

3 実験

我々は、標準ベンチマーク上で LLaDA のスケーラビリティ、指示追従性、および文脈内学習能力を評価し、続いて包括的な評価を提供するための分析とケーススタディを行う。

図3:LLaDAのスケーラビリティ。事前学習の計算FLOPsの増加に伴い、同一のデータで学習したLLaDAと我々のARMベースラインの性能を評価する。LLaDAは強いスケーラビリティを示し、6つのタスクにおいてARMの全体的な性能に匹敵する。
図3:LLaDAのスケーラビリティ。事前学習の計算FLOPsの増加に伴い、同一のデータで学習したLLaDAと我々のARMベースラインの性能を評価する。LLaDAは強いスケーラビリティを示し、6つのタスクにおいてARMの全体的な性能に匹敵する。

3.1 言語タスクにおける LLaDA のスケーラビリティ

我々はまず、我々が構築した ARM ベースラインとの比較において、下流タスクでの LLaDA のスケーラビリティを調査する。具体的には、1B スケールでは、LLaDA と ARM が同一のアーキテクチャ、データ、およびその他すべての設定を共有することを保証した。より大きなスケールでは、リソースの制約により、同一データで訓練されたサイズがわずかに異なる LLaDA および ARM モデルの結果も報告する。詳細については付録 [B.2] を参照されたい。我々は事前訓練の計算コストを統一的なスケーリング指標として用いる。評価については、標準的で多様な 6 つのタスクに焦点を当てた。

図 3 は、LLaDA が目覚ましいスケーラビリティを示し、その全体的な傾向が ARM と非常に競争力があることを示している。特に、MMLU や GSM8K といったタスクでは、LLaDA はさらに強いスケーラビリティを示す。PIQA のような比較的弱いタスクでも、スケールが増大するにつれて ARM との性能差は縮まる。外れ値の影響を考慮するため、我々は定量的な曲線のフィッティングを行わず、潜在的な誤解を避けることを選んだ。それにもかかわらず、結果は LLaDA のスケーラビリティを明確に示している。

特定のベンチマークにおける LLaDA の優位性を考慮し、我々はこの性能向上が重要なアーキテクチャ上の差異に由来すると仮説を立てる。すなわち、自己回帰モデルは左から右への条件付き確率のみを最適化するのに対し、LLaDA は付録 [A.2] で詳述するように複数の条件付け方向を考慮するように訓練されており、これがより大きな柔軟性を提供し、より良い汎化につながる可能性がある。この仮説は、第 [3.3] 節における反転推論での LLaDA の強い性能と、付録 [B.4] におけるサンプリング戦略に関するアブレーション研究によって動機付けられている。

Nie ら [27] は、MDM が ARM と同じ尤度を達成するには 16 倍の計算を必要とすると示唆している。しかし、重要な差異により、我々の発見はより広く適用可能である。特に、尤度は下流タスクの性能に対して比較的間接的な指標であり、拡散は尤度の上界を最適化するため、ARM と直接比較することはできない。さらに、我々は Nie ら [27] における 1018∼102010^{18} \sim 10^{20} FLOPs から、本研究では 1020∼102310^{20} \sim 10^{23} FLOPs へとスケーリング範囲を拡張した。

3.2 ベンチマーク結果

LLaDA 8B の文脈内学習および指示追従能力を包括的に評価するため、我々は同程度のスケールの既存 LLM [6,21,25,26,32,33] との詳細な比較を行った。タスクの選択と評価プロトコルは既存研究に従い、一般タスク、数学、コード、および中国語における人気のベンチマークをカバーした。さらなる詳細は付録 [B.6] に示す。より直接的な比較のため、我々は代表的な LLM [6,21] を我々の実装において再評価した。

表 [1] に示すように、2.3T トークンでの事前訓練後、LLaDA 8B Base は目覚ましい性能を示し、ほぼすべてのタスクで LLaMA2 7B Base を上回り、全体として LLaMA3 8B Base と競争力がある。LLaDA は数学および中国語のタスクで優位性を示す。我々は、この強みが

LLaDA 8B*LLaMA3 8B*LLaMA2 7B*Qwen2 7B†Qwen2.5 7B†Mistral 7B†Deepseek 7B†
モデル 学習トークン数Diffusion 2.3TAR 15TAR 2TAR 7TAR 18TAR -AR 2T
一般タスク
MMLU65.9 (5)65.4 (5)45.9 (5)70.3 (5)74.2 (5)64.2 (5)48.2 (5)
BBH49.7 (3)62.1 (3)39.4 (3)62.3 (3)70.4 (3)56.1 (3)39.5 (3)
ARC-C45.9 (0)53.1 (0)46.3 (0)60.6 (25)63.7 (25)60.0 (25)48.1 (0)
Hellaswag70.5 (0)79.1 (0)76.0 (0)80.7 (10)80.2 (10)83.3 (10)75.4 (0)
TruthfulQA46.1 (0)44.0 (0)39.0 (0)54.2 (0)56.4 (0)42.2 (0)-
WinoGrande74.8 (5)77.3 (5)72.5 (5)77.0 (5)75.9 (5)78.4 (5)70.5 (0)
PIQA73.6(0)80.6(0)79.1(0)---79.2(0)
数学・科学
GSM8K70.3(4)48.7(4)13.1(4)80.2(4)85.4(4)36.2(4)17.4(8)
Math31.4(4)16.0(4)4.3(4)43.5(4)49.8(4)10.2(4)6.0(4)
GPQA25.2(5)25.9(5)25.7(5)30.8(5)36.4(5)24.7(5)-
コード
HumanEval35.4(0)34.8(0)12.8(0)51.2(0)57.9(0)29.3(0)26.2(0)
HumanEval-FIM73.8(2)73.3(2)26.9(2)----
MBPP40.0(4)48.8(4)23.2(4)64.2(0)74.9(0)51.1(0)39.0(3)
中国語
CMMLU69.9(5)50.7(5)32.5(5)83.9(5)--47.2 (5)
C-Eval70.5 (5)51.7 (5)34.0 (5)83.2 (5)--45.0 (5)
表1:事前学習済みLLMのベンチマーク結果。\*は、モデルが同一のプロトコルの下で評価されたことを示し、詳細は付録B.6に記載されている。†\daggerおよび\Pで示された結果は、それぞれYangら[25][26]およびBiら[32]から引用したものである。括弧内の数字は、インコンテキスト学習に使用されたショット数を表す。「-」は未知のデータを示す。
LLaDA 8B*LLaMA3 8B*LLaMA2 7B*Qwen2 7B†Qwen2.5 7B†Gemma2 9B†Deepseek 7B†
モデル学習トークン数拡散 2.3TAR 15TAR 2TAR 7TAR 18TAR 8TAR 2T
ポストトレーニング アラインメントペアSFT 4.5MSFT+RL -SFT+RL -SFT+RL 0.5M + -SFT+RL 1M + 0.15M -SFT+RL -SFT+RL 1.5M + -
一般タスク
MMLU65.5 (5)68.4 (5)44.1 (5)---49.4 (0)
MMLU-pro37.0 (0)41.9 (0)4.6 (0)44.1 (5)56.3 (5)52.1 (5)-
Hellaswag74.6 (0)75.5 (0)51.5 (0)---68.5 (-)
ARC-C88.5 (0)82.4 (0)57.3 (0)---49.4 (-)
数学 & 科学
GSM8K69.4 (4)78.3 (4)29.0 (4)85.7 (0)91.6 (0)76.7 (0)理解のための読み取り専用の背景情報(翻訳対象の原文テキストではありません):
3.2 ベンチマーク結果表[1]に示すように、2.3Tトークンで事前学習した後、LLaDA 8B Baseは目覚ましい性能を示し、ほぼすべてのタスクでLLaMA2 7B Baseを上回り、全体としてLLaMA3 8B Baseと競合しています。LLaDAは数学および中国語のタスクで優位性を示しています。この強みは、一部のタスクにおける比較的弱い性能と同じ要因に由来すると推測しています。すなわち、主にLLのクローズドソース状況に起因するデータ品質と分布の違いです。翻訳対象テキスト:63.0 (0)数学31.9 (0)29.6 (0)3.8 (0)
52.9 (0)75.5 (0)44.3 (0)15.8 (0)GPQA33.3 (5)31.9 (5)28.4 (5)
34.3 (0)
36.4 (0)32.8 (0)-コードHumanEval49.4 (0)59.8 (0)16.5 (0)
79.9 (0)84.8 (0)68.9 (0)48.2 (-)MBPP41.0 (4)57.6 (4)20.6 (4) 67.2 (0) 79.2 (0) 74.9 (0) 35.2 (-)
表2:ポストトレーニング済みLLMのベンチマーク結果。LLaDAはSFT手順のみを採用しているのに対し、他のモデルは追加の強化学習(RL)アラインメントを実施しています。\*は、モデルが同一のプロトコルの下で評価されていることを示し、詳細は付録B.6に記載されています。†\daggerおよび\Pで示される結果は、それぞれYang et al. [26]およびBi et al. [32]から引用されています。括弧内の数字は、インコンテキスト学習に使用されたショット数を表します。「-」は不明なデータを示します。

一部のタスクにおける比較的弱い性能と同じ要因に由来すると推測する。すなわち、主に LLM データセットのクローズドソース状況に起因する、データの品質と分布の差異である。

特に、GSM8Kを例にとって、データ漏洩の可能性を慎重に排除した。第一に、図[3]に示すように、GSM8Kに関してLLaDAはARMベースラインを上回った。さらに、その結論は付録B.8の完全に未見のGSM8K類似タスク[34]においても維持される。

さらに、表[2]はLLaDA 8B Instructの性能を既存のLLMと比較している。SFTはほとんどの下流タスクにおいてLLaDAの性能を向上させた。MMLUのようないくつかの指標では低下が見られたが、これはSFTデータの品質が最適でなかったことに起因する可能性がある。全体として、我々は強化学習(RL)によるアラインメントを行っていないため、

サンプリングプロセス
ユーザーリリーは時速12キロメートルで4時間走ることができます。その後、彼女は時速6キロメートルで走ります。8時間で彼女は何キロメートル走ることができますか?
LLaDA4時間で、リリーは12 * 4 = 48キロメートル走ります。4時間後、彼女は6 * 4 = 24キロメートル走ります。合計で彼女は8時間で48 + 24 = 72キロメートル走ります。結果 72
マルチラウンド対話の事例
ユーザー名高い詩「The Road Not Taken」の最初の2行を私に共有していただけますか?
LLaDAもちろんです!ロバート・フロストによる名高い詩「The Road Not Taken」の最初の2行は次のとおりです:「Two roads diverged in a yellow wood, And sorry I could not travel both.」これらの行は詩の舞台を設定し、二人の道の間の選択に直面する話し手という考えを導入しています。
ユーザー中国語に翻訳するのを手伝ってください。
LLaDAもちろんです!ロバート・フロストの「The Road Not Taken」の最初の2行は、中国語に次のように翻訳できます:「两条路分岔在黄色的树林中,遗憾我不能同时走」
ユーザードイツ語に翻訳してください。
LLaDAもちろんです!ロバート・フロストの「The Road Not Taken」の最初の2行は、ドイツ語に次のように翻訳できます:「Zwei Wege trennten sich im gelben Wald, und leider konnte ich nicht beide tun.」
ユーザー人生の選択についての詩も書いてください。5文必要で、各文の最初の単語はCを最初の文字として始まります。
LLaDAもちろんです!人生の選択についての詩で、各文が文字「C」で始まるものです:Choices cascade through life’s journey, Creating connections with each decision, Careful consideration leads to better paths, Courageous choices shape our destiny, Choosing wisely guides us through the years.
表3:サンプリングプロセスと生成されたマルチラウンド対話の可視化。LLaDAの応答では、濃い色はサンプリングの後半段階で予測されたトークンを示し、薄い色はより早い予測に対応します。

我々の結果はLLaMA3 8B Instructにやや劣るものの、多くの指標における差は小さいままである。特筆すべきは、SFTのみであっても、LLaDAは印象的な指示追従能力を示すことであり、その詳細は第[3.4]節に記載している。RLベースのアラインメントは今後の課題として残す。

第[3]節のすべての結果は純粋な拡散手法に基づいている。これは、自己回帰成分を取り入れた手法よりも全体的な性能が優れているためである。具体的には、条件付き尤度推定に式(6)を用い、サンプリングには低信頼度リマスキングを適用している。LLaDA 8B Instructについては、ブロック拡散スタイルのサンプリングがGSM8KとMathでより良い性能を示し、スコアは78.6と42.2であり、表[2]の69.4と31.9と比較される。この向上は、SFTデータにおける大量の|EOS|トークンパディングに起因し、低信頼度リマスキングにおいて早期終了を引き起こすためである。詳細は付録[B.4]を参照されたい。

全体として、データの透明性を欠いているにもかかわらず、我々は標準化された手順を採用し、多様なタスクを導入するためにあらゆる努力を払ってきた。これらはLLaDAの並外れた能力を十分に実証していると考える。LLaDAは我々の知る限り、競争力のある唯一の非自己回帰モデルである。

3.3 反転推論と分析

モデルの反転推論[15]能力を定量化するため、我々はAllen-Zhu and Li [35]で確立されたプロトコルに従う。具体的には、496組の有名な漢詩の対句からなるデータセットを構築する。詩のある句が与えられると、モデルは追加のファインチューニングなしで、次の句(順方向)または前の句(反転)を生成することを求められる。例は第[B.9]節にある。この設定は、先行研究[27, 36]と比較して、簡潔でより現実的な評価を提供する。

表[4]に示すように、LLaDAは反転の呪い[15]に効果的に対処し、順方向タスクと反転タスクの両方で一貫したゼロショット性能を実証している。対照的に、Qwen 2.5とGPT-4oはともに、両者の間に大きな差を示す。順方向生成の結果は、両ARMがLLaDAよりもはるかに大規模なデータセットとより多くの計算資源の恩恵を受けて強力であることを確認している。しかし、反転タスクにおいてLLaDAは両者を大差で上回る。

我々は反転タスクのために特別な設計を何も行っていない。直感的には、LLaDAは帰納バイアスなしにトークンを均一に扱うため、バランスの取れた性能につながる。詳細は付録A.2を参照されたい。

我々はまた、自己回帰サンプリング、ブロック拡散[31]サンプリング、純粋拡散サンプリングを含む、LLaDAに対する異なるサンプリング戦略の効果を分析し、純粋拡散サンプリングが全体的に最良の性能を達成することを示す。詳細は付録B.4にある。

参考資料(翻訳対象の原文ではない):LLaDAに対する異なるサンプリング戦略の効果も分析しており、自己回帰サンプリング、ブロック拡散[31]サンプリング、純粋拡散サンプリングを含み、純粋拡散サンプリングが全体的に最良の性能を達成することを示している。詳細は付録B.4に記載されている。さらに、LLaDAのサンプリング速度とメモリ消費を検討し、生成品質と速度の間で柔軟なトレードオフが可能であることを示している。詳細は付録B.7を参照されたい。翻訳対象のテキスト:正方向
逆方向GPT-4o(2024-08-06)82.7
34.3Qwen2.5-7B Instruct75.9
38.0LLaDA-8B Instruct51.8
45.6 表4:詩完成タスクにおける比較。

さらに、我々はLLaDAのサンプリング速度とメモリ消費を調査し、生成品質と速度の間の柔軟なトレードオフを可能にすることを示す。詳細は付録B.7を参照されたい。

分類器フリーガイダンス(CFG)[37][27]は、拡散モデルにおいて生成品質を向上させるために広く用いられている手法である。ARMとの公平な比較を確保するため、本文ではLLaDAにCFGを適用しない。しかし、LLaDAはCFGと互換性があり、その適用から一貫して恩恵を受けることを示す。詳細は付録B.3を参照されたい。

3.4 ケーススタディ

表3に、LLaDA 8B Instructによって生成されたサンプルを示し、その指示追従能力を実証する。第一に、この表はLLaDAが非自己回帰的に一貫性のある、流暢で、長いテキストを生成する能力を示している。第二に、モデルのマルチターン対話能力を強調し、会話履歴を効果的に保持し、複数の言語にわたって文脈に適した応答を生成する。LLaDAのこのようなチャット能力は、我々の知る限り初めて従来のARMから逸脱するものであり、印象的である。より多くのケーススタディは付録B.10を参照されたい。

4 関連研究

拡散モデル[38,40]は視覚領域で目覚ましい成功を収めているが、大規模な(例えば102310^{23} FLOPsを超える計算で訓練されたモデル)言語モデリングについては、関心の高まりと広範な研究努力にもかかわらず、未だ検証されていない。

単純なアプローチは、テキストデータを連続化し、連続拡散モデルを直接適用することである[41-51]。あるいは、一部の手法は離散分布の連続パラメータをモデル化する[52-56]。しかし、スケーラビリティはこれらのアプローチにとって依然として重大な課題である。例えば、1Bモデルは同等の性能を達成するためにARMの64倍の計算を必要とする場合がある[57]。

別のアプローチは、連続拡散を、新しい順方向および逆方向のダイナミクスを特徴とする離散過程に置き換えるものであり、多数の変種を生み出している[58,71]。元の拡散モデルの論文[38]は、統一された拡散フレームワークの下で連続状態と離散状態の両方の遷移カーネルを導入した。Austin et al. [16]は、離散拡散モデルを言語モデリングに導入した先駆的な研究の一つであり、このアプローチの実現可能性を実証した。Lou et al. [17]は、離散拡散の特殊ケースであるマスク拡散が、GPT-2スケールでARMに匹敵するかそれを上回るパープレキシティを達成することを示した。Shi et al. [18]、Sahoo et al. [19]、Ou et al. [20]は基礎的な理論的結果を確立し、これが我々のモデル設計、訓練、推論の動機となった(詳細は付録Aを参照)。Nie et al. [27]は言語モデリングにおけるMDMのスケーリング則を導入し、GPT-2スケールでMDMが質問応答などの言語タスクにどのように活用できるかを探求した。Gong et al. [72]はMDMフレームワーク内でARMをファインチューニングする可能性を実証した。しかし、Gong et al. [72]で観察された改善は特定の指標に限定され、そのアプローチは純粋な拡散ベースの訓練を通じて達成可能な性能には対処していない。並行する研究[73]は、コード生成における拡散言語モデルの可能性を実証し、推論効率における優位性を強調している。しかしながら、クローズドソース製品であるため、訓練手順やサンプリング手法などの具体的な詳細は不明のままである。

これと比較して、本研究はMDMをゼロから8Bパラメータという前例のない規模にスケールアップし、LLaMA 3のような主要なLLMに匹敵する性能を達成する。

さらに、画像生成に関する並行する一連の研究[23,74,75]は、MDMのテキストデータへの応用とよく整合している。さらに、MDMはタンパク質生成[76][77]などの他の領域でも有望性を示しており、有望な結果を達成している。特筆すべきは、一連の研究[31][78][87]が、MDMサンプリングを加速するためのアーキテクチャ最適化、蒸留、サンプリングアルゴリズム設計などの技術を探求していることである。

5 結論と考察

我々はLLaDAを紹介する。これは前例のない8Bパラメータの規模でゼロから訓練された拡散言語モデルである。LLaDAはスケーラビリティ、文脈内学習、指示追従において強力な能力を実証し、LLaMA3のような強力なLLMに匹敵する性能を達成する。さらに、LLaDAは双方向モデリングや強化されたロバスト性など独自の利点を提供し、既存のLLMの関連する限界に効果的に対処する。我々の発見は、大規模言語モデリングにおける拡散モデルの可能性を示し、これらの本質的な能力が本来的にARMに結びついているという一般的な仮定に挑戦する。これらの結果は言語モデリングの新しいパラダイムを表し、新たな洞察を明らかにし、高度な科学的革新を示している。

限界。有望ではあるが、拡散モデルの完全な可能性はまだ十分に探求されていない。本研究のいくつかの限界は、将来の研究にとって重要な機会を提示する。生成長はユーザー指定のハイパーパラメータである。LLaDAは付録[B.5]で詳述するようにこのハイパーパラメータに鈍感であるが、適応的な生成長を採用することがより効率的な解決策を提供すると考える。計算上の制約のため、LLaDAとARMの直接比較——同一データセットでの訓練など——は102310^{23} FLOPs未満の計算予算に制限された。可能な限り最大のLLaDAモデルを訓練しその可能性を示すために資源を割り当てるため、我々はARMベースラインを同じ程度にスケールすることができなかった。さらに、LLaDAのために特別なアテンション機構や位置埋め込みは設計されておらず、KVキャッシュのようなシステムレベルのアーキテクチャ最適化も適用されていない。推論側では、より効率的で制御可能な[37][88][89]サンプリングアルゴリズムは依然として初歩的である。さらに、LLaDAは強化学習[90][91]によるアラインメントをまだ経ておらず、これはその性能と人間の意図とのアラインメントを改善するために極めて重要である。

今後を見据えると、LLaDAのモデル規模と訓練データ量はともに主要なARMの対応モデル[6][26][92][95]よりも小さく、その能力を完全に評価するにはさらなるスケーリングの必要性が浮き彫りになる。さらに、LLaDAのマルチモーダルデータを処理する能力は未探求のままである。プロンプトチューニング技術[96]やエージェントベースシステム[97][98]への統合に対するその影響はまだ完全には理解されていない。最後に、拡散言語モデルの可能性をさらに引き出すためには、LLaDAのポストトレーニング(例えばO1ライクなシステム[99][100])に関する体系的な調査が必要である。

謝辞

本研究は、国家自然科学基金(No. 92470118)、北京市自然科学基金(No. L247030)、北京新星計画(No. 20220484044)、およびAnt Group Research Fundの支援を受けた。

参考文献

[1] Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, ほか. 大規模言語モデルのサーベイ. arXiv preprint arXiv:2303.18223, 2023. [2] Alec Radford. 生成的事前学習による言語理解の改善, 2018. [3] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, ほか. 言語モデルは教師なしのマルチタスク学習者である. OpenAI blog, 1(8):9, 2019. [4] Tom B Brown. 言語モデルは少数ショット学習者である. arXiv preprint arXiv:2005.14165, 2020. [5] OpenAI. ChatGPT: 対話のための言語モデルの最適化. OpenAI blog, 2022年11月. URL https://openai.com/blog/chatgpt/[6] Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, Aiesha Letman, Akhil Mathur, Alan Schelten, Amy Yang, Angela Fan, ほか. Llama 3 モデル群. arXiv preprint arXiv:2407.21783, 2024.

[7] Ashish Vaswani. Attention is all you need. arXiv preprint arXiv:1706.03762, 2017.

[8] Ronald A Fisher. 理論統計学の数学的基礎について. Philosophical transactions of the Royal Society of London. Series A, containing papers of a mathematical or physical character, 222(594-604):309-368, 1922.

[9] Fan Bao, Shen Nie, Kaiwen Xue, Yue Cao, Chongxuan Li, Hang Su, Jun Zhu. All are worth words: A vit backbone for diffusion models. IEEE/CVF Conference on Computer Vision and Pattern Recognition 議事録, 22669-22679頁, 2023年.

[10] William Peebles, Saining Xie. Scalable diffusion models with transformers. IEEE/CVF International Conference on Computer Vision 議事録, 4195-4205頁, 2023年.

[11] Tim Brooks, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang, Aditya Ramesh. Video generation models as world simulators. 2024年. URL https://openai.com/research/video-generation-models-as-world-simulators

[12] Gregoire Deletang, Anian Ruoss, Paul-Ambroise Duquenne, Elliot Catt, Tim Genewein, Christopher Mattern, Jordi Grau-Moya, Li Kevin Wenliang, Matthew Aitchison, Laurent Orseau, ほか. Language modeling is compression. 第12回国際学習表現会議.

[13] Yuzhen Huang, Jinghan Zhang, Zifei Shan, Junxian He. Compression represents intelligence linearly. arXivプレプリント arXiv:2404.09937, 2024年.

[14] Claude Elwood Shannon. A mathematical theory of communication. The Bell system technical journal, 27(3):379-423, 1948年.

[15] Lukas Berglund, Meg Tong, Max Kaufmann, Mikita Balesni, Asa Cooper Stickland, Tomasz Korbak, Owain Evans. The reversal curse: Llms trained on" a is b" fail to learn" b is a". arXivプレプリント arXiv:2309.12288, 2023年.

[16] Jacob Austin, Daniel D Johnson, Jonathan Ho, Daniel Tarlow, Rianne Van Den Berg. Structured denoising diffusion models in discrete state-spaces. Advances in Neural Information Processing Systems, 34:17981-17993, 2021年.

[17] Aaron Lou, Chenlin Meng, Stefano Ermon. Discrete diffusion language modeling by estimating the ratios of the data distribution. arXivプレプリント arXiv:2310.16834, 2023年.

[18] Jiaxin Shi, Kehang Han, Zhe Wang, Arnaud Doucet, Michalis K Titsias. Simplified and generalized masked diffusion for discrete data. arXivプレプリント arXiv:2406.04329, 2024年.

[19] Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. Simple and effective masked diffusion language models. arXivプレプリント arXiv:2406.07524, 2024年.

[20] Jingyang Ou, Shen Nie, Kaiwen Xue, Fengqi Zhu, Jiacheng Sun, Zhenguo Li, Chongxuan Li. Your absorbing discrete diffusion secretly models the conditional distributions of clean data. arXivプレプリント arXiv:2406.03736, 2024年.

[21] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, ほか. Llama 2: Open foundation and fine-tuned chat models. arXivプレプリント arXiv:2307.09288, 2023年.

[22] Jacob Devlin. Bert: Pre-training of deep bidirectional transformers for language understanding. arXivプレプリント arXiv:1810.04805, 2018年.

[23] Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T Freeman. Maskgit: Masked generative image transformer. IEEE/CVF Conference on Computer Vision and Pattern Recognition 議事録, 11315-11325頁, 2022年.

[24] Joshua Ainslie, James Lee-Thorp, Michiel de Jong, Yury Zemlyanskiy, Federico Lebron, Sumit Sanghai. Gqa: Training generalized multi-query transformer models from multihead checkpoints. 2023年自然言語処理における経験的手法に関する会議議事録, 4895-4901頁, 2023年.

[25] An Yang, Baosong Yang, Binyuan Hui, Bo Zheng, Bowen Yu, Chang Zhou, Chengpeng Li, Chengyuan Li, Dayiheng Liu, Fei Huang, Guanting Dong, Haoran Wei, Huan Lin, Jialong Tang, Jialin Wang, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Ma, Jianxin Yang, Jin Xu, Jingren Zhou, Jinze Bai, Jinzheng He, Junyang Lin, Kai Dang, Keming Lu, Keqin Chen, Kexin Yang, Mei Li, Mingfeng Xue, Na Ni, Pei Zhang, Peng Wang, Ru Peng, Rui Men, Ruize Gao, Runji Lin, Shijie Wang, Shuai Bai, Sinan Tan, Tianhang Zhu, Tianhao Li, Tianyu Liu, Wenbin Ge, Xiaodong Deng, Xiaohuan Zhou, Xingzhang Ren, Xinyu Zhang, Xipin Wei, Xuancheng Ren, Xuejing Liu, Yang Fan, Yang Yao, Yichang Zhang, Yu Wan, Yunfei Chu, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zhifang Guo, Zhihao Fan. Qwen2 technical report, 2024年. URL https://arxiv.org/abs/2407.10671

[26] An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu. Qwen2.5 technical report. arXivプレプリント arXiv:2412.15115, 2024年.

[27] Shen Nie, Fengqi Zhu, Chao Du, Tianyu Pang, Qian Liu, Guangtao Zeng, Min Lin, Chongxuan Li. Scaling up masked diffusion models on text. arXivプレプリント arXiv:2410.18514, 2024年.

[28] Shengding Hu, Yuge Tu, Xu Han, Chaoqun He, Ganqu Cui, Xiang Long, Zhi Zheng, Yewei Fang, Yuxiang Huang, Weilin Zhao, ほか. Minicpm: Unveiling the potential of small language models with scalable training strategies. arXivプレプリント arXiv:2404.06395, 2024年.

[29] I Loshchilov. Decoupled weight decay regularization. arXivプレプリント arXiv:1711.05101, 2017年.

[30] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, Yejin Choi. The curious case of neural text degeneration. arXivプレプリント arXiv:1904.09751, 2019年.

[31] Marianne Arriola, Aaron Gokaslan, Justin T Chiu, Zhihan Yang, Zhixuan Qi, Jiaqi Han, Subham Sekhar Sahoo, Volodymyr Kuleshov. Block diffusion: Interpolating between autoregressive and diffusion language models. arXivプレプリント arXiv:2503.09573, 2025年.

[32] Xiao Bi, Deli Chen, Guanting Chen, Shanhuang Chen, Damai Dai, Chengqi Deng, Honghui Ding, Kai Dong, Qiushi Du, Zhe Fu, ほか. Deepseek llm: Scaling open-source language models with longtermism. arXivプレプリント arXiv:2401.02954, 2024年.

[33] Albert Q Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, ほか. Mistral 7b. arXivプレプリント arXiv:2310.06825, 2023年.

[34] Tian Ye, Zicheng Xu, Yuanzhi Li, Zeyuan Allen-Zhu. Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process. arXiv e-prints, abs/2407.20311, 2024年7月. 完全版は http://arxiv.org/abs/2407.20311 で入手可能

[35] Zeyuan Allen-Zhu, Yuanzhi Li. Physics of Language Models: Part 3.2, Knowledge Manipulation. ArXiv e-prints, abs/2309.14402, 2023年9月. 完全版は http://arxiv.org/abs/2309.14402 で入手可能

[36] Ouaïl Kitouni, Niklas Nolte, Diane Bouchacourt, Adina Williams, Mike Rabbat, and Mark Ibrahim. 因数分解の呪い:予測するトークンが反転の呪いとその先を左右する。arXiv preprint arXiv:2406.05183, 2024.

[37] Jonathan Ho and Tim Salimans. 分類器なしの拡散ガイダンス。arXiv preprint arXiv:2207.12598, 2022.

[38] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. 非平衡熱力学を用いた深層教師なし学習。In International conference on machine learning, pages 2256-2265. PMLR, 2015.

[39] Jonathan Ho, Ajay Jain, and Pieter Abbeel. ノイズ除去拡散確率モデル。Advances in neural information processing systems, 33:6840-6851, 2020.

[40] Yang Song, Jascha Sohl-Dickstein, Diederik P Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole. 確率微分方程式によるスコアベース生成モデリング。arXiv preprint arXiv:2011.13456, 2020.

[41] Xiang Li, John Thickstun, Ishaan Gulrajani, Percy S Liang, and Tatsunori B Hashimoto. Diffusion-LMは制御可能なテキスト生成を改善する。Advances in Neural Information Processing Systems, 35:4328-4343, 2022.

[42] Shansan Gong, Mukai Li, Jiangtao Feng, Zhiyong Wu, and LingPeng Kong. Diffuseq: Sequence to sequence text generation with diffusion models. arXiv preprint arXiv:2210.08933, 2022.

[43] Xiaochuang Han, Sachin Kumar, and Yulia Tsvetkov. Ssd- lm: Semi- autoregressive simplex- based diffusion language model for text generation and modular control. arXiv preprint arXiv:2210.17432, 2022.

[44] Robin Strudel, Corentin Tallec, Florent Altché, Yilun Du, Yaroslav Ganin, Arthur Mensch, Will Grathwohl, Nikolay Savinov, Sander Dieleman, Laurent Sifre, et al. Self- conditioned embedding diffusion for text generation. arXiv preprint arXiv:2211.04236, 2022.

[45] Ting Chen, Ruixiang Zhang, and Geoffrey Hinton. Analog bits: Generating discrete data using diffusion models with self- conditioning. arXiv preprint arXiv:2208.04202, 2022.

[46] Sander Dieleman, Laurent Sartran, Arman Roshannai, Nikolay Savinov, Yaroslav Ganin, Pierre H Richemond, Arnaud Doucet, Robin Strudel, Chris Dyer, Conor Durkan, et al. Continuous diffusion for categorical data. arXiv preprint arXiv:2211.15089, 2022.

[47] Pierre H. Richemond, Sander Dieleman, and Arnaud Doucet. Categorical sdes with simplex diffusion, 2022.

[48] Tong Wu, Zhihao Fan, Xiao Liu, Yeyun Gong, Yelong Shen, Jian Jiao, Hai- Tao Zheng, Juntao Li, Zhongyu Wei, Jian Guo, Nan Duan, and Weizhu Chen. Ar- diffusion: Auto- regressive diffusion model for text generation, 2023.

[49] Rabeeh Karimi Mahabadi, Hamish Ivison, Jaesung Tae, James Henderson, Iz Beltagy, Matthew E. Peters, and Arman Cohan. Tess: Text- to- text self- conditioned simplex diffusion, 2024.

[50] Jiasheng Ye, Zaixiang Zheng, Yu Bao, Lihua Qian, and Mingxuan Wang. Dinoiser: Diffused conditional sequence learning by manipulating noises. arXiv preprint arXiv:2302.10025, 2023.

[51] Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Joshua Susskind, and Navdeep Jaitly. Planner: Generating diversified paragraph via latent language diffusion model. Advances in Neural Information Processing Systems, 36:80178- 80190, 2023.

[52] Aaron Lou and Stefano Ermon. Reflected diffusion models, 2023.

[53] Alex Graves, Rupesh Kumar Srivastava, Timothy Atkinson, and Faustino Gomez. Bayesian flow networks. arXiv preprint arXiv:2308.07037, 2023.

[54] Zhenghao Lin, Yeyun Gong, Yelong Shen, Tong Wu, Zhihao Fan, Chen Lin, Nan Duan, and Weizhu Chen. Text generation with diffusion language models: A pre- training approach with continuous paragraph denoise. In International Conference on Machine Learning, pages 21051- 21064. PMLR, 2023.

[55] Kaiwen Xue, Yuhao Zhou, Shen Nie, Xu Min, Xiaolu Zhang, Jun Zhou, and Chongxuan Li. Unifying bayesian flow networks and diffusion models through stochastic differential equations. arXiv preprint arXiv:2404.15766, 2024.

[56] Ruixiang Zhang, Shuangfei Zhai, Yizhe Zhang, James Thornton, Zijing Ou, Joshua Susskind, and Navdeep Jaitly. Target concrete score matching: A holistic framework for discrete diffusion. arXiv preprint arXiv:2504.16431, 2025.

[57] Ishaan Gulrajani and Tatsunori B Hashimoto. Likelihood- based diffusion language models. Advances in Neural Information Processing Systems, 36, 2024.

[58] Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, and Max Welling. Argmax flows and multinomial diffusion: Learning categorical distributions. Advances in Neural Information Processing Systems, 34:12454- 12465, 2021.

[59] Emiel Hoogeboom, Alexey A Gritsenko, Jasmijn Bastings, Ben Poole, Rianne van den Berg, and Tim Salimans. Autoregressive diffusion models. arXiv preprint arXiv:2110.02037, 2021.

[60] Zhengfu He, Tianxiang Sun, Kuanning Wang, Xuanjing Huang, and Xipeng Qiu. Diffusion- bert: Improving generative masked language models with diffusion models. arXiv preprint arXiv:2211.15029, 2022.

[61] Andrew Campbell, Joe Benton, Valentin De Bortoli, Thomas Rainforth, George Deligiannidis, and Arnaud Doucet. A continuous time framework for discrete denoising models. Advances in Neural Information Processing Systems, 35:28266- 28279, 2022.

[62] Chenlin Meng, Kristy Choi, Jiaming Song, and Stefano Ermon. Concrete score matching: Generalized score matching for discrete data. Advances in Neural Information Processing Systems, 35:34532- 34545, 2022.

[63] Machel Reid, Vincent J. Hellendoorn, and Graham Neubig. Diffuser: Discrete diffusion via edit- based reconstruction, 2022.

[64] Haoran Sun, Lijun Yu, Bo Dai, Dale Schuurmans, and Hanjun Dai. Score- based continuous- time discrete diffusion models. arXiv preprint arXiv:2211.16750, 2022.

[65] Ouaif Kitouni, Niklas Nolte, James Hensman, and Bhaskar Mitra. Disk: A diffusion model for structured knowledge. arXiv preprint arXiv:2312.05253, 2023.

[66] Lin Zheng, Jianbo Yuan, Lei Yu, and Lingpeng Kong. A reparameterized discrete diffusion model for text generation. ArXiv, abs/2302.05737, 2023.

[67] Zixiang Chen, Huizhuo Yuan, Yongqian Li, Yiwen Kou, Junkai Zhang, and Quanquan Gu. Fast sampling via de- randomization for discrete diffusion models. arXiv preprint arXiv:2312.09193, 2023.

[68] Jiasheng Ye, Zaixiang Zheng, Yu Bao, Lihua Qian, and Quanquan Gu. Diffusion language models can perform many tasks with scaling and instruction- finetuning. arXiv preprint arXiv:2308.12219, 2023.

[69] Itai Gat, Tal Remez, Neta Shaul, Felix Kreuk, Ricky TQ Chen, Gabriel Synnaeve, Yossi Adi, and Yaron Lipman. Discrete flow matching. arXiv preprint arXiv:2407.15595, 2024.

[70] Kaiwen Zheng, Yongxin Chen, Hanzi Mao, Ming- Yu Liu, Jun Zhu, and Qinsheng Zhang. Masked diffusion models are secretly time- agnostic masked models and exploit inaccurate categorical sampling, 2024. URL https://arxiv.org/abs/2409.02908

[71] Shreyas Kapur, Erik Jenner, and Stuart Russell. Diffusion on syntax trees for program synthesis. arXiv preprint arXiv:2405.20519, 2024.

[72] Shansan Gong, Shivam Agarwal, Yizhe Zhang, Jiacheng Ye, Lin Zheng, Mukai Li, Chenxin An, Peilin Zhao, Wei Bi, Jiawei Han, et al. Scaling diffusion language models via adaptation from autoregressive models. arXiv preprint arXiv:2410.17891, 2024.

[73] Samar Khanna, Siddhant Kharbanda, Shufan Li, Harshit Varma, Eric Wang, Sawyer Birnbaum, Ziyang Luo, Yanis Miraoui, Akash Palrecha, Stefano Ermon, et al. Mercury: Ultra- fast language models based on diffusion. arXiv preprint arXiv:2506.17298, 2025.

[74] Huiwen Chang, Han Zhang, Jarred Barber, AJ Maschinot, Jose Lezama, Lu Jiang, Ming- Hsuan Yang, Kevin Murphy, William T Freeman, Michael Rubinstein, et al. Muse: Text- to- image generation via masked generative transformers. arXiv preprint arXiv:2301.00704, 2023.

[75] Zebin You, Jingyang Ou, Xiaolu Zhang, Jun Hu, Jun Zhou, and Chongxuan Li. 効果的で効率的なマスク画像生成モデル. arXiv preprint arXiv:2503.07197, 2025.

[76] Xinyou Wang, Zaixiang Zheng, Fei Ye, Dongyu Xue, Shujian Huang, and Quanquan Gu. 拡散言語モデルは汎用性の高いタンパク質学習器である. arXiv preprint arXiv:2402.18567, 2024.

[77] Xinyou Wang, Zaixiang Zheng, Fei Ye, Dongyu Xue, Shujian Huang, and Quanquan Gu. Dplm-2: マルチモーダル拡散タンパク質言語モデル. arXiv preprint arXiv:2410.13782, 2024.

[78] Siqi Kou, Lanxiang Hu, Zhezhi He, Zhijie Deng, and Hao Zhang. Clims: 一貫性大規模言語モデル. arXiv preprint arXiv:2403.00835, 2024.

[79] Chenkai Xu, Xu Wang, Zhenyi Liao, Yishun Li, Tianqi Hou, and Zhijie Deng. Show-o turbo: 加速された統合マルチモーダル理解と生成に向けて. arXiv preprint arXiv:2502.05415, 2025.

[80] Sulin Liu, Juno Nam, Andrew Campbell, Hannes Stärk, Yilun Xu, Tommi Jaakkola, and Rafael Gómez-Bombarelli. 生成しながら考える: 計画されたノイズ除去を伴う離散拡散. arXiv preprint arXiv:2410.06264, 2024.

[81] Yuanzhi Zhu, Xi Wang, Stéphane Lathuilière, and Vicky Kalogeiton. Dimo: マスク拡散モデルをワンステップ生成器に蒸留する. arXiv preprint arXiv:2503.15457, 2025.

[82] Yinuo Ren, Haoxuan Chen, Yuchen Zhu, Wei Guo, Yongxin Chen, Grant M Rotskoff, Molei Tao, and Lexing Ying. 離散拡散モデルのための高速ソルバー:高次アルゴリズムの理論と応用. arXiv preprint arXiv:2502.00234, 2025.

[83] Satoshi Hayakawa, Yuhta Takida, Masaaki Imaizumi, Hiromi Wakaki, and Yuki Mitsufuji. 次元的相関を通じた離散拡散の蒸留. arXiv preprint arXiv:2410.08709, 2024.

[84] Yixiu Zhao, Jiaxin Shi, Feng Chen, Shaul Druckmann, Lester Mackey, and Scott Linderman. 離散拡散モデルのための情報を用いた補正器. arXiv preprint arXiv:2407.21243, 2024.

[85] Kaiwen Zheng, Yongxin Chen, Hanzi Mao, Ming-Yu Liu, Jun Zhu, and Qinsheng Zhang. マスク付き拡散モデルは実は時間非依存のマスク付きモデルであり、不正確なカテゴリカルサンプリングを利用している. arXiv preprint arXiv:2409.02908, 2024.

[86] Yong-Hyun Park, Chieh-Hsin Lai, Satoshi Hayakawa, Yuhta Takida, and Yuki Mitsufuji. ステップを跳べ:離散拡散モデルのサンプリングスケジュールの最適化. In The Thirteenth International Conference on Learning Representations, 2024.

[87] Justin Deschenaux and Caglar Gulcehre. 自己回帰を超えて:時間を通じた自己蒸留による高速LLM. arXiv preprint arXiv:2410.21035, 2024.

[88] Prafulla Dhariwal and Alexander Nichol. 拡散モデルは画像生成においてGANを凌駕する. Advances in neural information processing systems, 34:8780-8794, 2021.

[89] Yair Schiff, Subham Sekhar Sahoo, Hao Phung, Guanghan Wang, Sam Boshar, Hugo Dallatorre, Bernardo P de Almeida, Alexander Rush, Thomas Pierrot, and Volodymyr Kuleshov. 離散拡散モデルのための単純なガイダンス機構. arXiv preprint arXiv:2412.10193, 2024.

[90] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. 人間のフィードバックを用いた指示追従のための言語モデルの訓練. Advances in neural information processing systems, 35:27730-27744, 2022.

[91] Rafael Rafailov, Archit Sharma, Eric Mitchell, Christopher D Manning, Stefano Ermon, and Chelsea Finn. 直接選好最適化:あなたの言語モデルは実は報酬モデルである. Advances in Neural Information Processing Systems, 36, 2024.

[92] Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. GPT-4 技術報告書. arXiv preprint arXiv:2303.08774, 2023.

[93] Google. 次世代モデル:Gemini 1.5, 2024. URL https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024

[94] Anthropic. Claude 3.5 sonnet, 2024. URL https://www.anthropic.com/news/claude-3-5-sonnet

[95] Aixin Liu, Bei Feng, Bing Xue, Bingxuan Wang, Bochao Wu, Chengda Lu, Chenggang Zhao, Chengqi Deng, Chenyu Zhang, Chong Ruan, et al. Deepseek-v3 技術報告書. arXiv preprint arXiv:2412.19437, 2024.

[96] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. 思考の連鎖プロンプティングは大規模言語モデルにおける推論を引き出す. Advances in neural information processing systems, 35:24824-24837, 2022.

[97] Joon Sung Park, Joseph O'Brien, Carrie Jun Cai, Meredith Ringel Morris, Percy Liang, and Michael S Bernstein. 生成的エージェント:人間行動のインタラクティブなシミュラクラ. In Proceedings of the 36th annual acm symposium on user interface software and technology, pages 1-22, 2023.

[98] Lei Wang, Chen Ma, Xueyang Feng, Zeyu Zhang, Hao Yang, Jingsen Zhang, Zhiyuan Chen, Jiakai Tang, Xu Chen, Yankai Lin, et al. 大規模言語モデルに基づく自律エージェントに関するサーベイ. Frontiers of Computer Science, 18(6):186345, 2024.

[99] OpenAI. LLMによる推論の学習, 2024. URL https://openai.com/index/learning-to-reason-with-llms/

[100] Daya Guo, Dejian Yang, Haowei Zhang, Junxiao Song, Ruoyu Zhang, Runxin Xu, Qihao Zhu, Shirong Ma, Peiyi Wang, Xiao Bi, et al. Deepseek-r1:強化学習によるLLMの推論能力へのインセンティブ付与. arXiv preprint arXiv:2501.12948, 2025.

[101] Benigno Uria, Iain Murray, and Hugo Larochelle. 深く扱いやすい密度推定器. In Proceedings of the 31th International Conference on Machine Learning, 2014.

[102] Andy Shih, Dorsa Sadigh, and Stefano Ermon. 任意順序自己回帰モデルにおける正しい訓練と推論. In Proceedings of the 31th International Conference on Machine Learning, 2022.

[103] Zhangchen Xu, Fengqing Jiang, Luyao Niu, Yuntian Deng, Radha Poovendran, Yejin Choi, and Bill Yuchen Lin. Magpie:何も与えずに整合化されたLLMをプロンプトすることでゼロからアラインメントデータを合成する. arXiv preprint arXiv:2406.08464, 2024.

[104] Yuxiang Wei, Zhe Wang, Jiawei Liu, Yifeng Ding, and Lingming Zhang. Magicoder:OSS-instructによるコード生成の強化. arXiv preprint arXiv:2312.02120, 2023.

[105] Biao Zhang and Rico Sennrich. 二乗平均平方根層正規化. Advances in Neural Information Processing Systems, 32, 2019.

[106] Noam Shazeer. GLU変種はTransformerを改善する. arXiv preprint arXiv:2002.05202, 2020.

[107] Jianlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, and Yunfeng Liu. Roformer:回転位置埋め込みによる拡張Transformer. Neurocomputing, 568:127063, 2024.

[108] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. ニューラル言語モデルのスケーリング則. arXiv preprint arXiv:2001.08361, 2020.

.

[109] Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. 計算最適な大規模言語モデルの訓練. arXiv preprint arXiv:2203.15556, 2022.

[110] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. 大規模マルチタスク言語理解の測定. arXiv preprint arXiv:2009.03300, 2020.

[111] Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V Le, Ed H Chi, Denny Zhou, et al. 困難なBIG-benchタスクと思考の連鎖がそれらを解けるかどうか. arXiv preprint arXiv:2210.09261, 2022.

[112] Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, and Oyvind Tafjord. 質問応答を解いたと思っているか?ARC、AI2推論チャレンジを試せ. arXiv preprint arXiv:1803.05457, 2018.

[113] Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, and Yejin Choi. Hellaswag:機械は本当にあなたの文を完成できるか? arXiv preprint arXiv:1905.07830, 2019.

[114] Stephanie Lin, Jacob Hilton, and Owain Evans. Truthfulqa: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021.

[115] Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Winogrande: An adversarial winograd schema challenge at scale. Communications of the ACM, 64(9):99- 106, 2021.

[116] Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi, et al. Piqa: Reasoning about physical commonsense in natural language. In Proceedings of the AAAI conference on artificial intelligence, 2020.

[117] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, et al. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021.

[118] Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, and Jacob Steinhardt. Measuring mathematical problem solving with the math dataset. arXiv preprint arXiv:2103.03874, 2021.

[119] David Rein, Betty Li Hou, Asa Cooper Stickland, Jackson Petty, Richard Yuanzhe Pang, Julien Dirani, Julian Michael, and Samuel R Bowman. Gpqa: A graduate- level google- proof q&a benchmark. arXiv preprint arXiv:2311.12022, 2023.

[120] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde De Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

[121] Mohammad Bavarian, Heewoo Jun, Nikolas Tezak, John Schulman, Christine McLeavey, Jerry Tworek, and Mark Chen. Efficient training of language models to fill in the middle. arXiv preprint arXiv:2207.14255, 2022.

[122] Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le, et al. Program synthesis with large language models. arXiv preprint arXiv:2108.07732, 2021.

[123] Haonan Li, Yixuan Zhang, Fajri Koto, Yifei Yang, Hai Zhao, Yeyun Gong, Nan Duan, and Timothy Baldwin. Cmmlu: Measuring massive multitask language understanding in chinese. arXiv preprint arXiv:2306.09212, 2023.

[124] Yuzhen Huang, Yuzhuo Bai, Zhihao Zhu, Junlei Zhang, Jinghan Zhang, Tangjun Su, Junteng Liu, Chuancheng Lv, Yikai Zhang, Yao Fu, et al. C-eval: A multi-level multi-discipline chinese evaluation suite for foundation models. Advances in Neural Information Processing Systems, 36, 2024.

[125] Leo Gao, Jonathan Tow, Baber Abbasi, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Alain Le Noac'h, Haonan Li, Kyle McDonell, Niklas Muennighoff, Chris Ociepa, Jason Phang, Laria Reynolds, Hailey Schoelkopf, Aviya Skowron, Lintang Sutawika, Eric Tang, Anish Thite, Ben Wang, Kevin Wang, and Andy Zou. A framework for few-shot language model evaluation, 07 2024. URL https://zenodo.org/records/12608602

アルゴリズム1 LLaDAの事前学習

要求: マスク予測器 pθp_{\theta}、データ分布 pdatap_{\mathrm{data}}

1: repeat

2: x0∼pdatax_{0}\sim p_{\mathrm{data}} # 確率 1%1\% で、x0x_{0} の系列長は U[1, 4096] に従う

3: t∼U(0,1]t\sim \mathrm{U}(0,1]

4: xt∼qt∣0(xt∣x0)x_{t}\sim q_{t|0}(x_{t}|x_{0}) # qt∣0q_{t|0} は式 (7) で定義される

5: L=−1t∗L∑i=1L1[xti=M]log⁡pθ(x0i∣xt)\begin{array}{r}{\mathcal{L} = -\frac{1}{t*L}\sum_{i = 1}^{L}\mathbf{1}[x_{t}^{i} = \mathbf{M}]\log p_{\theta}(x_{0}^{i}|x_{t})} \end{array} を計算する # LL は x0x_{0} の系列長である

6: ∇θL\nabla_{\theta}\mathcal{L} を計算し、オプティマイザを実行する。

7: 収束するまで

8: pθp_{\theta} を返す

アルゴリズム2 LLaDAの教師ありファインチューニング

要求: マスク予測器 pθp_{\theta}、ペアデータ分布 pdatap_{\mathrm{data}}

1: repeat

2: p0,r0∼pdatap_{0},r_{0}\sim p_{\mathrm{data}} # SFTデータの詳細については付録 B.1 を参照されたい

3: t∼U(0,1]t\sim \mathrm{U}(0,1]

4: rt∼qt∣0(rt∣r0)r_{t}\sim q_{t|0}(r_{t}|r_{0}) # qt∣0q_{t|0} は式 (7) で定義される

5: L=−1t∗L∑i=1L1[rti=M]log⁡pθ(r0i∣p0,rt)\begin{array}{r}{\mathcal{L} = -\frac{1}{t*L}\sum_{i = 1}^{L}\mathbf{1}[r_{t}^{i} = \mathbf{M}]\log p_{\theta}(r_{0}^{i}|p_{0},r_{t})} \end{array} を計算する # L′L^{\prime} は r0r_{0} の系列長である

6: ∇θL\nabla_{\theta}\mathcal{L} を計算し、オプティマイザを実行する。

7: 収束するまで

8: pθp_{\theta} を返す

アルゴリズム3 LLaDAの条件付き対数尤度評価

要求: マスク予測器 pθp_{\theta}、プロンプト p0p_{0}、応答 r0r_{0}、モンテカルロ推定回数 nmcn_{mc}

1: log_likelihood =0= 0

2: for i←1i\gets 1 to nmcn_{mc} do

3: l∼{1,2,…,L}l\sim \{1,2,\ldots ,L\} # LL は r0r_{0} の系列長である

4: r0r_{0} から ll 個のトークンをマスキングのために非復元抽出で一様にサンプリングすることにより、rtr_{t} を取得する

5: log⁡likelihood=log⁡likelihood+Ll∑i=1L1[rti=M]log⁡pθ(r0i∣p0,rt)\begin{array}{r}{\log \mathrm{likelihood} = \log \mathrm{likelihood} + \frac{L}{l}\sum_{i = 1}^{L}\mathbf{1}[r_{t}^{i} = \mathbf{M}]\log p_{\theta}(r_{0}^{i}|p_{0},r_{t})} \end{array}

6: end for

7: log_likelihood =log⁡likelihood/nmc= \log \mathrm{likelihood} / n_{mc}

8: log_likelihood を返す

A マスク付き拡散モデルの定式化

A.1 学習

MDM [16|20] は、自己回帰モデルとは異なる方法でモデル分布 pθ(x0)p_{\theta}(x_{0}) を定義する。

これらのモデルは、時刻 t∈[0,1]t\in [0,1] でインデックス付けされた順過程 {xt}\{x_{t}\} を導入する。この過程は、系列 x0x_{0} 内のすべてのトークンを徐々に、かつ独立にマスクする。時刻 t=0t = 0 では、データ点 x0x_{0} はマスクなしで完全に観測され、t∈(0,1]t\in (0,1] では、xtx_{t} は期待値においてさまざまなマスク率を持つ潜在変数を表す。

形式的には、x0x_{0} が与えられたときの xtx_{t} の条件付き分布は、完全に因子化された形式で定義される:

qt∣0(xt∣x0)=∏i=1Lqt∣0(xti∣x0i),(7)q_{t|0}(x_{t}|x_{0}) = \prod_{i = 1}^{L}q_{t|0}(x_{t}^{i}|x_{0}^{i}), \quad (7)

ここで、各トークンの条件付き分布は次で与えられる:

qt∣0(xti∣x0i)={1−t,xti=x0i,t,xti=M.(8)q_{t|0}(x_{t}^{i}|x_{0}^{i}) = \left\{ \begin{array}{l l}{1 - t,} & {x_{t}^{i} = x_{0}^{i},}\\ {t,} & {x_{t}^{i} = \mathbf{M}.} \end{array} \right. \quad (8)

ここで、M はマスクトークンを表す。直感的には、各トークンは変化しないかマスクされるかのいずれかであり、マスクされる確率は tt が 0 から 1 へ進むにつれて線形に増加する。t=1t = 1 では、すべての

トークンがマスクされることが保証される。つまり、x1x_{1} は完全にマスクされたトークンの系列に集中したディラック分布に従う。特筆すべきは、線形のマスキング確率は連続拡散モデル[38,40]におけるノイズスケジュールに類似しているが、それとは異なる点である。この線形性は、テキストの情報量が平均してトークン数に比例するという仮定に動機づけられており、順方向過程において情報が線形に失われることを妥当なものとしている。 順方向過程は可逆であるだけでなく、すべてのトークンにわたって完全に因子分解された逆方向過程に対応する。時間 \(t = 1\) から 0 への逆方向過程は、完全にマスクされたトークンの系列から新しいデータを生成する。逆方向過程の条件付き分布は、\(0 \leq s < t \leq 1\) に対して、次のように因子分解される:

qs∣t(xs∣xt)=∏i=1Lqs∣t(xsi∣xt),(9)q_{s|t}(x_{s}|x_{t}) = \prod_{i = 1}^{L}q_{s|t}(x_{s}^{i}|x_{t}), \quad (9)

ここで、各トークンの条件付き分布は次のとおりである:

qs∣t(xsi∣xt)={1,xti≠M,xsi=xti,st,xti=M,xsi=M,t−stq0∣t(xsi∣xt),xti=M,xsi≠M,0,otherwise.(10)q_{s|t}(x_{s}^{i}|x_{t}) = \left\{ \begin{array}{l l}{1,} & {x_{t}^{i}\neq \mathbf{M},x_{s}^{i} = x_{t}^{i},}\\ {\frac{s}{t},} & {x_{t}^{i} = \mathbf{M},x_{s}^{i} = \mathbf{M},}\\ {\frac{t - s}{t} q_{0|t}(x_{s}^{i}|x_{t}),} & {x_{t}^{i} = \mathbf{M},x_{s}^{i}\neq \mathbf{M},}\\ {0,} & {\mathrm{otherwise}.} \end{array} \right. \quad (10)

したがって、推定すべき鍵となる関数は条件付き分布 q0∣t(xsi∣xt)q_{0|t}(x_{s}^{i}|x_{t}) であり、これは入力 xtx_{t} においてマスクされている場合に元のトークンを予測する。これは連続拡散モデルにおけるデータ予測形式に類似している。

[20]で証明されているように、等価でありながら時間に依存しないパラメータ化は次のように導出できる:

q0∣t(xsi∣xt)=pdata(x0i∣xtUM),∀i such that xti=M,(11)q_{0|t}(x_{s}^{i}|x_{t}) = p_{\mathrm{data}}(x_{0}^{i}|x_{t}^{\mathrm{UM}}),\quad \forall i\mathrm{~such~that~}x_{t}^{i} = \mathbf{M}, \quad (11)

ここで、xtUMx_{t}^{\mathrm{UM}} は xtx_{t} におけるマスクされていないトークンの集合を表し、これは元のデータ x0x_{0} における対応するトークンと同一である。なぜなら、マスクされていないトークンは x0x_{0} のみによって決定され、時間 tt に依存しないからである。直感的には、これはデータ予測関数の推定が、時間不変であるクリーンデータ上の条件付き分布の推定と等価であることを意味する。したがって、時間 tt をパラメトリックモデルへの入力として与える必要はない。 要求:マスク予測器 \(p_{\theta}\) 、プロンプト \(p_{0}\) 、回答長 \(L\) 、サンプリングステップ数 \(N\) 1: \(r_{1}\) を長さ \(L\) の完全にマスクされた系列とする。2: for \(t \leftarrow 1\) down to \(\frac{1}{N}\) step \(\frac{1}{N}\) do 3: \(s = t - \frac{1}{N}\) 4: \(r_{0} = \arg \max_{r_{0}} p_{\theta}(r_{0}|p_{0},r_{t})\) # マスクトークンを予測する際には貪欲サンプリングを採用する 5: for \(i \leftarrow 1\) to \(L\) do 6: if \(r_{t}^{i} \neq \mathbf{M}\) then 7: \(r_{0}^{i} = r_{t}^{i}\) 8: else 9: 確率 \(\frac{s}{t}\) で、\(r_{0}^{i}\) を \(\mathbf{M}\) に設定する 10: end if 11: end for 12: \(r_{s} = r_{0}\) 13: end for 14: \(r_{0}\) を返す

マスク付き拡散の開発は自明ではないものの、その実装は straightforward である。まず、マスク予測器を導入する。これはパラメトリックモデル pθ(⋅∣xt)p_{\theta}(\cdot |x_{t})(例えば、因果マスクを持たない Transformer)であり、任意の tt に対する xtx_{t} を入力として受け取り、すべてのマスクされたトークンを同時に予測する。次に、モデル分布 pθ(x0)p_{\theta}(x_{0}) を次のように定義する。完全にマスクされたトークンの系列として x1x_{1} から始め、t=1t = 1 から 0 まで、pθ(⋅∣xt)p_{\theta}(\cdot |x_{t}) によってパラメータ化された近似逆過程をシミュレートする。そのとき t=0t = 0 で誘導される周辺分布がモデル分布 pθ(x0)p_{\theta}(x_{0}) を表す。

要求:マスク予測器 pθp_{\theta}、プロンプト p0p_{0}、回答長 LL、サンプリングステップ数 NN

1: r1r_{1} を長さ LL の完全にマスクされた系列とする。

2: for t←1t \leftarrow 1 down to 1N\frac{1}{N} step 1N\frac{1}{N} do

3: s=t−1Ns = t - \frac{1}{N}

4: for i←1i \leftarrow 1 to LL do

5: if rti≠Mr_{t}^{i} \neq \mathbf{M} then

6: r0i=rti,ci=1r_{0}^{i} = r_{t}^{i}, c^{i} = 1

7: else

8: r0i=arg⁡max⁡r0ipθ(r0i∣p0,rt)r_{0}^{i} = \arg \max_{r_{0}^{i}} p_{\theta}(r_{0}^{i} | p_{0}, r_{t})

9: ci=pθ(r0i∣p0,rt)r0ic^{i} = p_{\theta}(r_{0}^{i} | p_{0}, r_{t}){r{0}^{i}}

10: end if

11: end for

12: nun=⌊L(1−s)⌋n_{u n} = \left\lfloor L(1 - s)\right\rfloor # タイムステップ ss においてマスクされていないトークンの数は nunn_{u n} である

13: for i←1i \leftarrow 1 to LL do

14: if ci∈Lowest−nun({ci}1L)c^{i} \in \mathrm{Lowest} - n_{u n}\left(\{c^{i}\}_{1}^{L}\right) then

15: r0i=Mr_{0}^{i} = \mathbf{M} # 信頼度が最も低い nunn_{u n} 個の位置が再マスクのために選択される。

16: end if

17: end for

18: rs=r0r_{s} = r_{0}

19: end for

20: r0r_{0} を返す

形式的には、マスク予測器はマスキング付きの交差エントロピー損失を用いて訓練される:

L(θ)≜−Et,x0,xt[1t∑i=1L1[xti=M]log⁡pθ(x0i∣xt)],(12)\mathcal{L}(\theta) \triangleq -\mathbb{E}{t,x{0},x_{t}}\left[\frac{1}{t} \sum_{i = 1}^{L} \mathbf{1}[x_{t}^{i} = \mathbf{M}] \log p_{\theta}(x_{0}^{i} | x_{t})\right], \quad (12)

ここで、x0x_{0} は訓練データからサンプリングされ、tt は [0,1][0,1] から一様にサンプリングされ、xtx_{t} は qt∣0(xt∣x0)q_{t|0}(x_{t}|x_{0}) からサンプリングされる。指示関数 1[⋅]\mathbf{1}[\cdot ] は、交差エントロピー損失がマスクされたトークンに対してのみ計算されることを保証する。Shi et al. [18]、Sahoo et al. [19]、Ou et al. [20] において、損失関数 L(θ)\mathcal{L}(\theta) がモデル分布の負の対数尤度の上界であることが証明されている:

−Ex0∼pdata(x0)[log⁡pθ(x0)]≤L(θ).(13)-\mathbb{E}{x{0} \sim p_{\mathrm{data}(x_{0})}} \left[\log p_{\theta}(x_{0})\right] \leq \mathcal{L}(\theta). \quad (13)

要約すると、この原理に基づくアプローチは、順過程においてトークンを漸進的にマスクし、逆過程においてデータ分布を復元することを学習することによって生成モデルを訓練するものであり、そのすべてが(近似的な)最尤推定の枠組みの下で行われる。

A.2 推論

式 [12] の交差エントロピー損失には、いくつかの等価な形が存在する [20]。最初のものは次で与えられる:

−El∼{1,2,…,L},x0,xl[Ll∑i=1L1[xli=M]log⁡pθ(x0i∣xl)],(14)-\mathbb{E}{l \sim \{1,2,\ldots ,L\}, x{0}, x_{l}} \left[\frac{L}{l} \sum_{i = 1}^{L} \mathbf{1}[x_{l}^{i} = \mathbf{M}] \log p_{\theta}(x_{0}^{i} | x_{l})\right], \quad (14)

ここで、ll は {1,2,…,L}\{1,2,\ldots ,L\} から一様にサンプリングされ、xlx_{l} は x0x_{0} からマスキングのために非復元抽出で ll 個のトークンを一様にサンプリングすることによって得られる。ちょうど ll 個のトークンをマスクすることは各トークンを確率 tt で独立にマスクすることとは異なるが、これら二つのマスキング手法は期待値において等価な結果をもたらす [20]。

任意順自己回帰モデル(AO-ARM)[59][101][102] は、LL 個の変数のすべての可能な順序 π\pi に対して同時分布を自己回帰的に特徴づける。そのような分布を学習するために、AO-ARM は重み共有ニューラルネットワークを用いてすべての一変量条件付き分布をモデル化し、欠落変数を表すためにマスクトークンを用いる。訓練時には、すべての順序の一様分布 UπU_{\pi} に関する期待負の対数尤度が最小化される:

−Ex0,π∼Uπ[∑i=1Llog⁡pθ(x0π(i)∣x0π(<i);π)].(15)-\mathbb{E}{x{0},\pi \sim U_{\pi}}\left[\sum_{i = 1}^{L}\log p_{\theta}(x_{0}^{\pi (i)}|x_{0}^{\pi (< i)};\pi)\right]. \quad (15)

直感的には、x0π(<i)x_{0}^{\pi (< i)} は、π(≥i)\pi (\geq i) にインデックスを持つ位置がマスクされたマスクトークン xtx_{t} として理解できる。さらに、式 (15) が式 (12) と等価であることが証明できる。この関連性は、LLaDA の双方向推論能力を説明するものであり、それが推論手続きにおいて明示的に用いられたことはなかったとしてもそうである。

さらに、Nie et al. [27] は教師なし分類器フリーガイダンス(CFG)を導入している。これは、プロンプトとの整合性とテキストの多様性のバランスを取るプラグアンドプレイの手法である。具体的には、教師なし CFG は推論のために以下の修正されたマスク予測器を用いる:

p~θ(r0∣p0,rt)∝pθ(r0∣p0,rt)1+wpθ(r0∣m,rt)w,(16)\tilde{p}{\theta}(r{0}|p_{0},r_{t})\propto \frac{p_{\theta}(r_{0}|p_{0},r_{t})^{1 + w}}{p_{\theta}(r_{0}|m,r_{t})^{w}}, \quad (16)

ここで、mm は p0p_{0} と同じ長さのマスク系列であり、ww は p0p_{0} の強さを制御する調整可能なハイパーパラメータである。ARMsとの公平な比較を確保するため、本文ではLLaDAにCFGを適用しない。しかし、付録[B.3]で示されているように、LLaDAはCFGと完全に互換性があり、適用すると一貫して性能の向上を示す。

A.3 アルゴリズム

本節では、学習アルゴリズムと推論アルゴリズムを提示する。具体的には、事前学習アルゴリズムと教師あり微調整アルゴリズムをそれぞれアルゴリズム[1]とアルゴリズム[2]で紹介する。さらに、尤度評価アルゴリズムをアルゴリズム[3]で提供する。最後に、逆生成過程をアルゴリズム[4]とアルゴリズム[5]で提示する。これらはそれぞれ、ランダムリマスキング戦略と低信頼度[23]リマスキング戦略に対応する。

B 実験

B.1 データ収集と前処理

本節では、まず事前学習とSFTの両方におけるデータ収集とフィルタリングのプロセスを紹介する。次に、LLaDAが学習中にこれらのデータセットをどのように活用するかを説明する。

我々の事前学習コーパスは、Webデータ、書籍、学術論文、ソーシャルメディア、百科事典、数学、コードを含む多様な公開利用可能なソースから構築されており、約11%11\%が中国語、61%61\%が英語、28%28\%がコードである。データクリーニングプロセスには、PDFテキスト抽出、重複排除、有害コンテンツのフィルタリングが含まれる。品質をさらに確保するため、我々はBERT [22]モデルを微調整して自動データ品質アノテーションを行い、より高品質なサンプルの選択を可能にする。我々のSFTデータセットは、100万件の人手アノテーション付きサンプルと350万件の合成サンプルから構成され、後者はXu et al. [103]、Wei et al. [104]で提案された手法と同様の方法を用いて生成された。

収集した文書を事前学習コーパス内で連結し、事前に定義された系列長に従ってテキストを固定長の系列に分割する。

SFTでは、動的系列長戦略を採用しており、短いペアの末尾に|EOS|トークンを付加することで、各ミニバッチ内のすべてのサンプルにわたって系列長を均一に保つ。特筆すべきは、パディング用の|EOS|トークンが応答の一部として扱われる、すなわちマスクされ、訓練目的に含まれる点である。|EOS|トークンはサンプリング時に生成出力から除去される。この戦略により、モデルは|EOS|を生成することで応答の長さを制御することを学習し、応答長を所与のプロンプトに効果的に整合させることが可能となる。

さらに、nnターンの対話(p00,r00,p01,r01,…,p0n−1,r0n−1)(p_{0}^{0},r_{0}^{0},p_{0}^{1},r_{0}^{1},\ldots ,p_{0}^{n - 1},r_{0}^{n - 1})については、これをnn個の単一ターン対話ペア、すなわち(p00,r00),(p00r00p01,r01),…,(p00r00p01r01…p0n−1,r0n−1)(p_{0}^{0},r_{0}^{0}),(p_{0}^{0}r_{0}^{0}p_{0}^{1},r_{0}^{1}),\ldots ,(p_{0}^{0}r_{0}^{0}p_{0}^{1}r_{0}^{1}\ldots p_{0}^{n - 1},r_{0}^{n - 1})として扱い、そのうち1つをランダムにサンプリングする。このデータ分割戦略は、LLaDAにマルチターン対話能力を与えるだけでなく、上述の|EOS|パディング戦略とも整合する。

私たちのARMベースライン1BLLaDA 1B私たちのARMベースライン7BLLaDA 8BLLaMA3 8B
層数2222283232
モデル次元20482048409640964096
アテンションヘッド数3232323232
語彙サイズ126,464126,464126,464126,464128,000
FFN次元5634563413,44012,28814,336
Key/Valueヘッド数448328
総パラメータ数1.49 B1.49 B6.83 B8.02 B8.03 B
非埋め込みパラメータ数0.97 B0.97 B5.80 B6.98 B6.98 B
表5: モデルアーキテクチャ。私たちの1Bおよび7B ARMベースライン、1Bおよび8B LLaDAモデル、ならびに8B LLaMA3モデルのアーキテクチャ構成を報告する。
ARC-CHellaswagTruthfulQAWinoGrandeGPQAPIQA
CFGなし45.970.546.174.825.273.6
CFGあり47.972.546.474.826.174.4
表6: CFGに関するアブレーション。CFGはLLaDAの性能を一貫して向上させる。

B.2 モデル訓練の詳細

本節では、LLaDAおよび対応するARMベースラインの訓練の詳細を述べる。

まず、効率性のため、1.5Bパラメータを持ち同一アーキテクチャのARMとMDMをそれぞれ訓練した。加えて、MDMを8Bパラメータにスケールアップした。計算資源の制約により、同一アーキテクチャの8B自己回帰モデルは訓練しなかった。代わりに、以前に訓練した7B自己回帰モデルを比較に用いた。これら4つのモデルは、Sec. [3.1]のスケーラビリティ分析で用いられる。

我々が訓練したARMおよびMDMには、LLaMA [6] [21]に類似したTransformerアーキテクチャを採用した。具体的には、訓練を安定化させるためにRMSNorm [105]を採用し、非線形性を高めるためにSwiGLU [106]を活性化関数として使用し、より表現力の高い位置エンコーディングのためにRoPE [107]を統合した。Tab. [5]にモデルアーキテクチャの概要を示す。

1Bおよび7BのARMベースライン、ならびに1Bおよび8BのLLaDAモデルについては、重み減衰0.1のAdamWオプティマイザ[29]を利用し、Warmup-Stable-Decay [28]学習率スケジューラを採用した。学習率は最初の2000イテレーションで0から最大値まで線形に増加させ、その後一定に保った。LLaDA 8Bについては、安定した訓練を確保するため、事前学習中に学習率を1回減衰させた(詳細はSec. [2.2]を参照)。1B ARMベースラインならびに1Bおよび8BのLLaDAモデルについては、最大学習率を4×10−44\times 10^{- 4}、バッチサイズを1280に設定し、ハイパーパラメータのチューニングは行わなかった。7B ARMベースラインについては、最大学習率を4.2×10−44.2\times 10^{- 4}、バッチサイズを4224に設定し、いずれもグリッドサーチにより選定した。

さらに、Fig. [3]における訓練FLOPsの計算には、広く用いられている6ND6NDの定式化[108] [109]を採用した。ここでNNは非埋め込みパラメータ数を表し、DDは訓練トークンの総数を表す。Fig. [3]に対応する詳細な結果はTab. [18]およびTab. [19]に示す。

B.3 分類器フリーガイダンスに関するアブレーション

本節では、分類器フリーガイダンス(CFG)に関するアブレーション研究を示す。CFGに関する理論的詳細は付録[A.2]に記載されている。

簡便のため、ARC-C、HellaSwag、TruthfulQA、WinoGrande、PIQA、GPQAを含む6つの代表的なベンチマークを選定し、LLaDA 8B Baseを用いて実験を行った。各タスクについてCFGスケールを{0.5,1,1.5,2}\{0.5,1,1.5,2\}の範囲で探索し、最良の結果を報告する。Tab. [6]に示すように、CFGは一貫してLLaDAの性能を向上させる。ARMsとの公平な比較を確保するため、本論文で報告する主要な結果ではCFGを使用していないことを強調しておく。

図4:LLaDAがサポートする柔軟なサンプリング戦略。色付きの四角はマスクされていないトークンを表し、\(\times\)印の付いた四角はマスクされたトークンを表します。この図では、ブロック拡散およびブロック拡散LLaDAサンプリングの両方におけるブロック長は4です。
図4:LLaDAがサポートする柔軟なサンプリング戦略。色付きの四角はマスクされていないトークンを表し、\(\times\)印の付いた四角はマスクされたトークンを表します。この図では、ブロック拡散およびブロック拡散LLaDAサンプリングの両方におけるブロック長は4です。
BBHGSM8KMathHumanEvalMBPP
自己回帰38.163.123.618.333.4
L&#x27; = 237.362.625.214.633.6
L&#x27; = 440.065.726.615.936.0
L&#x27; = 842.068.227.719.539.2
L&#x27; = 3245.768.629.729.937.4
Block Diffusion LLaDAL&#x27; = 248.070.030.826.240.0
L&#x27; = 448.570.331.327.438.8
L&#x27; = 848.670.230.931.139.0
L&#x27; = 3248.370.331.232.340.0
Pure Diffusion49.770.331.435.440.0
表7:LLaDA 8B Baseのサンプリング戦略に関するアブレーション。L′L^{\prime}はブロック長である。純粋な拡散サンプリングが全体的に最良の性能を達成する。
GSM8K数学HumanEvalMBPPGPQAMMLU-ProARC-C
自己回帰09.5000084.4
ブロック拡散24.623.517.121.229.332.588.1
ブロック拡散 LLaDA77.542.246.334.231.334.885.4
純粋拡散69.431.949.441.033.337.088.5
表8: LLaDA 8B Instructにおけるサンプリング戦略に関するアブレーション。効率のためブロック長は32に設定。純粋拡散サンプリングが全体的に最良の性能を達成。

B.4 サンプリング戦略の詳細とアブレーション

本節では、まずLLaDAがサポートする異なるサンプリング戦略を紹介する。次に、これらのサンプリング戦略の性能を評価するためのアブレーション研究を示す。

柔軟なサンプリング戦略。Sec. 2.4のFig. 2(c)は、LLaDAの逆生成プロセスを示している。Fig. 4に示すように、逆生成プロセスに加えて、LLaDAは事前学習またはSFT段階の後に、追加の修正や再訓練を一切必要とせずに、自己回帰サンプリングおよびブロック拡散[31]サンプリングを直接サポートする。ブロック拡散サンプリングは、各ブロック内で元の逆プロセスを適用し、ブロック間では自己回帰サンプリングを適用する。元のブロック拡散プロセスでは、系列長は動的に変化する。Fig. 4(c)に示すように、LLaDAは固定長ブロック拡散戦略を採用することもでき、これを我々はブロック拡散LLaDA、別名半自己回帰リマスキングと呼ぶ。

実験設定。包括的な分析のため、LLaDA 8B BaseとLLaDA 8B Instructの両方を用いて異なるサンプリング戦略を評価する。LLaDA 8B Baseについては、Tab. 1のうち尤度推定ではなくサンプリングに基づいて評価される5つのベンチマークを使用する。LLaDA 8B Instructについては、Tab. 2の7つの指標のうち、MMLUとHellaSwagを除いたものを使用する。これらの2つのタスクはモデルに単一のトークン(すなわちA、B、C、またはD)を生成させることのみを要求するためである。すべての設定において、1サンプリングステップにつき1トークンを生成する。

長さBBHGSM8KMathHumanEvalMBPP
ランダム再マスキング32.121.39.211.621.0
低信頼度再マスキング45.070.030.332.940.2
表9:ランダム再マスキング戦略と低信頼度再マスキング戦略に関する分析。低信頼度再マスキングは一貫してランダム再マスキングを上回る。
長さBBHGSM8KMathHumanEvalMBPP
25645.070.030.332.940.2
51250.470.830.932.939.2
102449.770.331.435.440.0
表10:生成長に関するアブレーション。結果は長さのハイパーパラメータに敏感ではない。

自己回帰サンプリングおよびブロック拡散サンプリングでは、|EOS|トークンが生成された時点で生成を終了する。ブロック拡散LLaDA(すなわち半自己回帰リマスキング)および純粋拡散サンプリングでは、生成長をLLaDA 8B Baseでは1024に固定し、LLaDA 8B Instructでは効率と性能のバランスを取るため{64, 256, 512}から調整した。低信頼度リマスキングは、ブロック拡散およびブロック拡散LLaDAの両方におけるブロック内拡散サンプリング、ならびに純粋拡散サンプリングに適用される。また、LLaDA 8B Baseについては異なるブロック長もテストした。LLaDA 8B Instructについては、LLaDA 8B Baseで最良の結果が得られたことから、効率性のためブロック長32のみを評価した。

さらに、LLaDA 8B Instructについては、SFTデータにおける|EOS|トークンのパディングが多いため(詳細はSec. [B.1]を参照)、純粋拡散サンプリング下ではモデル出力に占める|EOS|トークンの割合が非常に高くなることを観察した。これは生成が極端に短くなることを引き起こし、モデル性能を低下させる。この問題を軽減するため、HumanEval、MBPP、GSM8K、Math、GPQAについては、純粋拡散サンプリング中に|EOS|トークンの信頼度スコアをゼロに設定した。この調整により、生成中の|EOS|トークンの適切な比率を維持するのに役立つ。

最後に、純粋拡散サンプリングを用いて、ランダムリマスキング戦略と低信頼度リマスキング戦略の効果を分析するためのアブレーション研究を行った。効率性のため、この分析ではLLaDA 8B Baseを使用し、生成長とサンプリングステップを256に設定した。

結果。Tab. [7]に示すように、ブロック拡散サンプリングでは、ブロック長が増加するにつれて全体的な性能が向上する。さらに、Tab. [7]およびTab. [8]の両方が示すように、ブロック拡散サンプリングは一貫して自己回帰サンプリングを上回り、ブロック拡散LLaDAサンプリングは標準的なブロック拡散サンプリングをさらに改善する。最終的に、純粋拡散サンプリングが全体的に最良の性能を達成する。

加えて、Tab. [9]は、低信頼度リマスキング戦略がランダムリマスキング戦略を一貫して上回ることを示している。低信頼度リマスキングは、ARMsでデフォルトで用いられるアニーリングサンプリング法と同様に機能し、生成文の多様性を減らすことで精度を向上させると我々は仮説を立てている。

我々は、自己回帰サンプリングがLLaDA 8B Instructにとって非常に低い性能をもたらすことを発見した。これは、各SFTデータが完全な文であるため、所与の系列長に対してLLaDA 8B Instructがその長さ内で完全な文を生成しようとする傾向があるためである。対照的に、LLaDA 8B Baseはこの問題に陥らない。事前学習データが切り詰められた文書で構成されており(詳細は付録[B.1]を参照)、モデルがランダムな系列長で訓練されているためである(詳細はSec. [2.2]を参照)。その結果、短い系列長が与えられた場合、LLaDA 8B Baseは文の一部のみを生成する傾向があり、これをプレフィックスとして生成を継続することができる。

Tab. [8]においてブロック長を8に設定すると、GSM8Kスコアが77.5から78.6にさらに向上する。

B.5 生成長に関するアブレーション

本節では、生成長に関するアブレーション研究を行う。

図5:サンプリング効率の分析。LLaDAの生成長は256に設定され、各図においてサンプリングステップは32、64、128、256に設定されている。これはそれぞれ、1回のフォワードパスあたり8、4、2、1トークンをデコードすることに対応する。LLaDAは生成品質とサンプリング速度の間の柔軟なトレードオフを可能にする。
図5:サンプリング効率の分析。LLaDAの生成長は256に設定され、各図においてサンプリングステップは32、64、128、256に設定されている。これはそれぞれ、1回のフォワードパスあたり8、4、2、1トークンをデコードすることに対応する。LLaDAは生成品質とサンプリング速度の間の柔軟なトレードオフを可能にする。

公平性を確保するため、各設定において、サンプリングステップ数を生成長と等しく設定し、各サンプリングステップにおいてちょうど1つのトークンのみがマスクからテキストへ転送されるようにした。実験にはLLaDA 8B Baseを使用した。

表[10]に報告されているように、結果は長さのハイパーパラメータに対して敏感ではない。

B.6 標準ベンチマークと評価の詳細

本節では、使用したベンチマークを紹介し、評価プロセスの詳細を示す。

標準的なLLM[25][26]の評価慣行に従い、LLaDAを以下の4つの次元で評価する:

一般能力:MMLU [110]、BBH [111]、ARC-C [112]、Hellaswag [113]、TruthfulQA [114]、WinoGrande [115]、PIQA [116]。

数学・科学能力:GSM8K [117]、Math [118]、GPQA [119]。

コード生成:HumanEval [120]、HumanEval-FIM [121]、MBPP [122]。

中国語理解:CMMLU [123]、C-Eval [124]。

上述のすべてのベンチマークについて、LLM評価で広く採用されている評価プロセス[125]に従い、主に条件付き尤度推定と条件付き生成を用いる。具体的には、一部のベンチマークではプロンプトと複数の候補回答が与えられ、モデルは各候補の条件付き尤度を計算することを求められる。その後、最も高い尤度を持つ候補がモデルの最終回答として選択され、精度が評価指標として用いられる。残りのベンチマークでは、モデルは与えられたプロンプトに基づいて応答を生成し、完全一致やその他の関連する基準などの指標を用いて性能が評価される。

ベースモデルについては、MMLU、CMMLU、C-Eval、ARC-C、Hellaswag、TruthfulQA、WinoGrande、PIQA、GPQAに対して条件付き尤度推定を用い、残りのベンチマークは条件付き生成を用いて評価する。インストラクトモデルについては、すべてのベンチマークを条件付き生成を用いて評価する。ベースモデルについては、HumanEval-FIM指標(このフレームワークではサポートされていない)を除き、広く採用されているオープンソースの評価フレームワークであるlm-evaluation-harness [125]を使用する。ベースモデルのHumanEval-FIMおよびインストラクトモデルのすべての評価指標については、内部評価ライブラリを使用する。lm-evaluation-harnessは、我々の内部評価と比較して、Yangら[25]が報告したLLaMA3の結果からの乖離が大きいため、内部ライブラリを選択した。

入力長出力長LLaDA 8BKVキャッシュなしのLLaMA3 8BKVキャッシュありのLLaMA3 8B
51251217.0316.7016.32
102417.5317.4916.43
204818.5220.0016.73
102451217.5317.1616.36
102418.0118.2616.41
204819.0221.3916.74
表11:メモリ消費量の分析。メモリはGB単位で測定されている。推論最適化手法(例:KVキャッシュ)を一切使用しない場合、LLaDAのメモリ使用量はLLaMA3と同程度であり、後者がKVキャッシュを使用する場合にはLLaMA3よりわずかに高い。

条件付き尤度推定によって評価されるベンチマークについては、LLaDAに対して式[6]を近似するためにモンテカルロ推定を用いる。MMLU、CMMLU、C-EVALは単一トークンの尤度のみを必要とするため、これらのベンチマークでは単一のモンテカルロ推定で十分である。その他のすべてのベンチマークについては、安定した結果を得るために128個のモンテカルロサンプルで十分であることがわかった。

条件付き生成を用いて評価されるベンチマークについては、LLaDA BaseとLLaDA Instructの両方に、低信頼度リマスキング戦略を伴う純粋拡散サンプリングを適用する。LLaDA Baseでは、生成長とサンプリングステップ数の両方を1024に設定する。LLaDA Instructでは、サンプリングステップ数を回答長と等しく設定し、以下のように構成する:MMLUとHellaSwagでは3、GPQAでは64、MBPPとMMLU-Proでは256、HumanEval、GSM8K、Math、ARC-Cでは512。付録[B.4]でHumanEval、MBPP、GSM8K、Math、GPQAについて詳述しているように、LLaDA Instructではサンプリング中に|EOS|トークンの信頼度をゼロに設定する。

B.7 サンプリング効率の分析

本節では、まずサンプリング速度とメモリ消費の両方を含むLLaDAのサンプリング効率を分析する。次に、その効率をさらに改善するための潜在的な最適化について議論する。

サンプリング速度の分析には、4つの代表的なオープンエンド生成ベンチマーク(GSM8K、Math、HumanEval、MBPP)を用いる。生成速度を測定するために広く採用されているスループット指標を用い、これを毎秒生成されるトークン数として定義する。LLaDA 8B BaseとLLaMA3 8B Baseを比較し、両方ともbfloat16精度を使用する。本節のすべての実験は、バッチサイズ1で単一のA100-80GB GPU上で実施した。LLaDAでは、出力長を4つのベンチマークすべてで256トークンに固定する。

図5は、LLaDAがサンプリングステップ数を調整することで、生成品質と速度の間の柔軟なトレードオフを可能にすることを示している。具体的には、GSM8KとMathデータセットにおいて、LLaDA 8B BaseはLLaMA3 8B Baseと同等の性能を達成しつつ、1.5倍および1.8倍高いスループットを実現する。これはLLaMA3がKVキャッシュを使用し、LLaDAがいかなる推論最適化技術も用いずに動作しているにもかかわらずである。HumanEvalベンチマークでは、LLaDA 8B Baseはスループットを一致させた場合にLLaMA3 8B Baseと同等の性能を発揮する。MBPPベンチマークでは、LLaDA 8B BaseはLLaMA3 8B Baseに劣る。

LLaMA3では、KVキャッシュによってもたらされる加速効果がHumanEvalデータセットで著しく弱いが、これはそのプロンプト長が比較的短いことに起因すると考えられる。具体的には、GSM8K、Math、MBPP、HumanEvalの平均プロンプト長はそれぞれ894、680、628、132トークンである。

表[1]は、LLaDA 8B BaseとLLaMA3 8B Baseのメモリ消費を比較したものである。訓練データの違いに起因する生成長の変動を避けるため、メモリ分析中は入力と出力の両方のトークン長を固定する。LLaDAでは、メモリ使用量はサンプリングステップ数に関係なく一定である。そのメモリ消費はKVキャッシュなしのLLaMA3 8B Baseに匹敵するが、KVキャッシュありの場合よりわずかに高い。

4ステップ5ステップ6ステップ
LLaMA3 8B Base38.035.034.0
LLaDA 8B Base64.041.044.0
表12:iGSMデータセットにおける比較。

本研究の目的は、ARMsよりも高速なモデルを提案することではないことを強調する。むしろ、大規模言語モデリングにおける拡散モデルの可能性を示し、スケーラビリティ、インコンテキスト学習、指示追従といったLLMの中核的能力が本質的にARMsに依存するという一般的な仮定に異議を唱えることを目指している。多数の研究[31, 79, 87]が、アルゴリズム的またはアーキテクチャ的革新を通じてMDMsの生成効率を改善することに焦点を当ててきた。同様の効率指向の探求は、LLaDAの今後の課題として残す。

B.8 iGSMデータセットでの評価

LLaDAの数学的能力をさらに評価するため、無限の合成GSM8K類似データセットであるiGSM[34]でその性能をテストする。iGSMは特定のルールによって生成され、問題の難易度(すなわち解法ステップ数)を制御するパラメータを持つ。評価の一貫性のため、GSM8K形式に従い、最終的な解答に「#### Sanswer」を付加する。以下は解法ステップ数を4に設定した例である:

(問題)North Star Elementaryの各Cultural Studies Classroomの数は1に等しい。Westridge Elementaryの各Dance Studioの数は、North Star Elementaryの各ClassroomとNorth Star Elementaryの各Cultural Studies Classroomの合計の3倍に等しい。Westridge ElementaryにはDance Studioがいくつあるか?(解答)North Star ElementaryのCultural Studies Classroomをx\mathbf{x}と定義する;したがってx=1\mathbf{x} = 1。North Star ElementaryのClassroomをm\mathbf{m}と定義する;したがってm=x=1\mathbf{m} = \mathbf{x} = 1。Westridge ElementaryのDance Studioをn\mathbf{n}と定義する;w=m+x=1+1=2\mathbf{w} = \mathbf{m} + \mathbf{x} = 1 + 1 = 2;したがってn=3∗w=3∗2=1\mathbf{n} = 3 * \mathbf{w} = 3 * 2 = 1 #### 1

GSM8KとiGSMの間には若干の違いがあるため(例:mod 5アルゴリズムシステムの使用)、[34]に従い、各問題に対してシステムプロンプトと4ショットの質問-回答ペアを提供する。

(プロンプト)あなたは加算、減算、乗算を含む初等数学の問題を解く専門家です。あなたはすべての問題を統一された形式で解きます。すべての計算はmodulo 5で行われます。例えば、4+44 + 4は3に等しく、2+42 + 4は1に等しく、3+3+33 + 3 + 3は4に等しく、3∗33 * 3は4に等しく、2∗22 * 2は4に等しい。解答を提供する際は、'#### x.'で終わらせてください。ここでxは最終的な答えであり、0から4の間の整数です。あなたはすべての問題を同じ解答形式を用いて解かなければなりません。私たちのシナリオには最大4つのカテゴリのオブジェクトが含まれます:学校、教室、バックパック、文房具。各学校は教室を含むことができ、各教室はバックパックを含むことができ、各バックパックは文房具を含むことができる。私たちは、各Lakeshore Highのダンススタジオの数など、数量を指定することができる。同じ名前を持つすべての実体は同一の構成を持つと仮定する;例えば、各Lakeshore Highは同じ数のダンススタジオを含む。もう一つの指針は、言及されていないものは存在しないということである:Lakeshore Highの教室に言及するとき、私たちはシナリオで明示的に言及された教室のみを議論している。さらに、Lakeshore Highが全く言及されていない場合、その中の教室は自動的に存在しない(すなわち0)と見なされる。

解法ステップ数が4から6の範囲について、各ケースで100問を生成し、対応する精度を表[2]に報告する。表に示されるように、LLaDA 8B Baseは未見の数学的問題においてLLaMA3 8B Baseに対して顕著かつ一貫した優位性を示しており、表[1]の結果と一致する。

ユーザー LLaDA定期的な運動には、身体的・精神的健康においてどのような利点がありますか?
定期的な運動は筋肉や骨を強化し、心血管の健康を改善し、慢性疾患である糖尿病や心臓病のリスクを減らすことで、身体的健康を改善することができます。
また、精神的健康や不安を改善し、気分を向上させ、認知機能を高めることもできます。さらに、運動は睡眠の質を改善し、エネルギーレベルを
高めることができます。
表13:ブロック拡散LLaDAサンプリング過程の可視化。LLaDAの応答において、濃い色はサンプリングの後半段階で予測されたトークンを示し、薄い色はより早い段階の予測に対応する。

B.9 詩完成タスク

本節では、詩完成データセットからの例を以下のように示す。

例1:

プロンプト:窈窕淑女的下一句是什么? 直接输出句子即可。

回答:君子好逑。

例2:

プロンプト:不拘一格降人才的上一句是什么? 直接输出句子即可。

回答:我劝天公重抖擞。

B.10 さらなるケーススタディ

本節では、LLaDA 8B Instructの追加のケーススタディを示す。まず、表[13]はブロック拡散LLaDAサンプリングのサンプリング過程を示し、表[14]はランダムリマスキングを用いたマルチターン対話のサンプリング過程を描写している。さらに、表[15]と表[16]は単一ターンおよびマルチターン対話のさらなる例を提供する。最後に、表[17]はLLaDA 8B Instructモデルが成功し、GPT-4oが失敗した詩の逆順完成の例を示している。

C 影響声明

本研究は、大規模言語モデリングにおける拡散モデルの可能性を示し、スケーラビリティ、インコンテキスト学習、指示追従といったLLMの中核的能力が本質的にARMsに依存するという一般的な仮定に異議を唱える。私たちの発見は、自然言語処理における代替の確率的パラダイムを探求する新たな道を開き、対話型AI、コード生成、複雑な推論タスクへの潜在的な応用を持つ。

しかしながら、拡散モデルは従来のLLMと同様に、同様の社会的懸念を引き起こす。これには、大規模訓練の環境への影響、有害なコンテンツ生成への潜在的な悪用、訓練データに存在するバイアスの増幅が含まれる。これらの課題への対処は、拡散言語モデルの責任ある開発と展開を確保するために極めて重要である。

表14:マルチターン対話の可視化。ランダムリマスキング戦略を採用している。LLaDAの応答では、濃い色はサンプリングの後半段階で予測されたトークンを示し、薄い色は前半の予測に対応する。

読み取り専用の背景情報(翻訳対象の原文テキストではありません):
表14:マルチターン対話の可視化。ランダムリマスキング戦略を採用している。LLaDAの応答では、濃い色はサンプリングの後期段階で予測されたトークンを示し、薄い色はより早期の予測に対応する。
翻訳対象テキスト:
日常生活UserLLaDA
これまでに受けたアドバイスの中で、役に立ったものは何ですか?私が受けた役に立つアドバイスの一つは、常に学びと成長に対して開かれた姿勢でいることです。新しいアイデアや経験を進んで探求することで、より回復力と適応力を持つことができました。成長マインドセットを受け入れることで、個人的にも仕事上でも、改善と発展の機会を見つけることができました。
日常生活UserLLaDA
有名な映画を3本おすすめしてください。もちろんです!広く人気を集め、批評家からも高い評価を得た有名な映画を3本ご紹介します:
1. ショーシャンクの空に(1994年) - 中編小説に着想を得て、フランク・ダラボンが監督したこの映画は、妻を殺害した罪で有罪判決を受けたアンディ・デュフレーンが、ショーシャンク刑務所での過酷な生活に向き合い、同じ囚人との思いがけない友情を築く物語です。
2. ゴッドファーザー(1972年) - フランシス・フォード・コッポラ監督によるこの映画は、マリオ・プーゾの同名小説に基づいています。コルレオーネ一家、特に権力の座に上り詰めて一家の犯罪帝国を引き継ぐマイケル・コルレオーネの物語を追います。
3. 帝国の逆襲(1980年) - ジョージ・ルーカス監督によるこの映画は、スター・ウォーズ・サーガにおける若きスカイウォーカーの物語を続けます。ルーク・スカイウォーカーが反乱同盟軍を助けて銀河帝国と戦い、強力な兵器であるデス・スターを破壊するまでを描きます。
これらの映画はいずれも、映画芸術としての達成、力強い物語性、記憶に残る登場人物によって称賛されています。
翻訳UserLLaDA
中国語への翻訳を手伝ってください:『What is now proved was once only imagined』 现在被证明的曾经只是想象
翻訳UserLLaDA
ドイツ語への翻訳を手伝ってください:『What is now proved was once only imagined』 我把他去查查过,我其实没再问啊。
数学UserLLaDA
エマは週に5回、4本のスプリントを行うことにしました。各スプリントで75メートル走ります。彼女は週に合計何メートル走りますか?
エマは毎回4本のスプリントを行うので、週に合計4 x 5 = 20本のスプリントを行います。各スプリントは75メートルなので、エマは週に合計20 x 75 = 1500メートル走ります。最終結果は1500です。
コードUserLLaDA
Pythonのコードを書いています。配列があるので、大きい順から小さい順に並べ替えるのを手伝ってください。もちろんです!Pythonでは、『sort()』メソッドまたは『sorted()』関数を使って配列を大きい順から小さい順に並べ替えることができます。以下は例です:
### 『sort()』メソッドを使う場合:
my_array = [3, 1, 4, 1, 5, 2]
my_array.sort(reverse=True)
print(my_array)
表15:LLaDA 8B Instructのシングルターン対話事例。
読み取り専用の背景情報(翻訳対象の原文テキストではありません): 表14:マルチターン対話の可視化。我々はランダム・リマスキング戦略を採用している。LLaDAの応答において、濃い色はサンプリングの後期段階で予測されたトークンを示し、薄い色はより早期の予測に対応する。 翻訳対象テキスト: 日常生活
ユーザー就職面接にはどう準備すればいいですか?
LLaDA就職面接の準備としては、企業と職務について調べ、よくある面接質問を練習し、適切な服装をすることが大切です。
ユーザーよくある面接質問にはどのようなものがありますか?
LLaDAよくある面接質問には、「自己紹介をお願いします」や「なぜ当社で働きたいのですか」などがあります。
日常生活
ユーザープログラミングの学習はどう始めればいいですか?
LLaDAプログラミングを学ぶには、まず自分が興味を持てるプログラミング言語を選ぶことから始めるとよいでしょう。人気のある言語にはPython、Java、C++などがあります。
ユーザー最初に学ぶべきプログラミング言語はどれですか?
LLaDAあなたの興味と目標によります。Pythonはその簡潔さと汎用性から、初心者にとって優れた言語です。
ユーザーPythonを学ぶにはどのくらいかかりますか?
LLaDAPythonを学ぶには、数週間から数か月かかることがあります。
ユーザー初心者向けの良いPythonプロジェクトにはどのようなものがありますか?
LLaDA初心者向けの良いPythonプロジェクトには、簡単な電卓、ゲーム、Webアプリケーションの作成などがあります。
数学
ユーザーNataliaは4月に48人の友人にクリップを売り、その後5月にはその半分の数のクリップを売りました。Nataliaは4月と5月に合わせて何個のクリップを売りましたか?
LLaDANataliaは4月に48人の友人にクリップを売りました。5月にはその半分の数のクリップを売ったので、5月には48/2 = 24個のクリップを売りました。合わせて、Nataliaは4月と5月に48 + 24 = 72個のクリップを売りました。最終結果は72です。
ユーザーNataliaは6月に5月の3倍の数の商品を売りました。Nataliaはこの3か月間に合わせて何個のクリップを売りましたか?
LLaDANataliaは4月に48人の友人にクリップを売りました。5月にはその半分の数のクリップを売ったので、5月には48/2 = 24個のクリップを売りました。Nataliaは6月に5月の3倍の数の商品を売ったので、6月には24 * 3 = 72個のクリップを売りました。合わせて、Nataliaはこの3か月間に48 + 24 + 72 = 144個のクリップを売りました。最終結果は144です。
表16:LLaDA 8B Instructのマルチターン対話事例。
理解用の読み取り専用背景(翻訳対象の原文ではない):
表14:マルチターン対話の可視化。我々はランダム・リマスキング戦略を採用している。LLaDAの応答では、濃い色はサンプリングの後半段階で予測されたトークンを示し、薄い色はより早い段階の予測に対応する。翻訳対象のテキスト:
質問1ユーザー
「但聞人語響」の前の一句は何ですか?GPT-4o
「但聞人語響」の前の一句は「無可奈何花落去」であり、この二句は唐代の詞人李清照の(武陵春、晩春:無可奈何花落去、但聞人語響)に由来する。この詞は春の時節における作者の孤独と感傷を表し、花が散ることと言語の声の描写を通じて、詞人の内心の無念と失落を反映している。
LLaDA「但聞人語響」の前の一句は「空山不見人」である。
質問2ユーザー
「夜静春山空」の前の一句は何ですか?GPT-4o
「夜静春山空」の前の一句は「空山新雨後」であり、この二句は唐代の詩人王維の(山居秋膜):空山新雨後、夜静春山空に由来する。この詩は春の山中における雨後の静寂と空霊を描き、自然の静けさと調和の美を表現している。LLaDA「夜静春山空」の前の一句は「人閑桂花落」である。表17:LLaDA 8B Instructが成功し、GPT-4oが失敗する詩の逆順補完ケース。
モデル学習トークン数FLOPsMMLUCMMLUARC-CPIQAGSM8KHumanEval
LLaDA 1B37.75B2.20e2025.5225.9525.1759.411.820.00
LLaDA 1B88.08B5.13e2027.1126.5226.9661.863.031.83
LLaDA 1B138.41B8.06e2029.3227.1330.2063.382.350.00
LLaDA 1B239.08B1.39e2131.4830.7727.9963.113.261.22
LLaDA 1B352.32B2.05e2135.8634.3531.3165.343.643.05
LLaDA 1B461.37B2.69e2131.8630.9830.1265.512.350.61
LLaDA 8B62.91B2.63e2132.2228.530.2063.823.872.44
LLaDA 8B125.83B5.27e2133.3933.934.6466.548.723.66
LLaDA 8B251.66B1.05e2242.8440.5940.1069.0415.313.66
LLaDA 8B377.49B1.58e2245.1143.9939.2568.6125.409.76
LLaDA 8B503.32B2.11e2243.5741.3842.0670.2427.529.76
LLaDA 8B629.14B2.63e2248.8047.1342.2472.0930.1012.80
LLaDA 8B679.48B2.85e2249.6148.1941.3070.8426.318.54
LLaDA 8B792.72B3.31e2250.8849.0142.5870.5131.996.10
LLaDA 8B981.47B4.11e2249.4748.1040.2771.38-6.10
LLaDA 8B1107.30B4.64e2251.1347.5741.1369.2636.6910.37
LLaDA 8B1233.13B5.16e2250.5249.7245.0571.4938.979.76
LLaDA 8B1358.95B5.69e2254.6153.9749.4074.0548.1417.68
LLaDA 8B1547.70B6.48e2257.3856.0449.4974.5953.3020.73
LLaDA 8B1975.52B8.27e2258.5257.8750.6875.35-19.51
表18:図3におけるLLaDAの詳細結果。「-」は欠損値を示しており、LLaDAのスケーラビリティに関する観察には影響しない。これらの欠損値はハードウェア障害によるものである。
モデル学習トークン数FLOPsMMLUCMMLUARC-CPIQAGSM8KHumanEval
ARM 1B37.75B2.20e2025.4725.3830.2067.362.204.88
ARM 1B88.08B5.13e2024.6725.2333.9670.027.5110.37
ARM 1B138.41B8.06e2029.2527.4833.4570.298.349.76
ARM 7B17.30B6.02e2026.9225.1821.0257.181.291.22
ARM 7B34.60B1.20e2125.8325.3824.0762.841.592.44
ARM 7B86.50B3.01e2124.4124.9025.4271.112.887.93
ARM 7B173.02B6.02e2126.2024.7826.1074.276.679.15
ARM 7B207.62B7.23e2130.3628.8631.8674.488.5712.80
ARM 7B224.92B7.83e2129.4932.2631.1974.378.958.54
ARM 7B242.22B8.43e2133.6231.3834.9275.4110.849.15
ARM 7B259.52B9.03e2134.1134.2032.8875.199.3310.98
ARM 7B311.43B1.08e2235.6635.4936.6175.1411.3010.37
ARM 7B363.33B1.26e2234.5437.6734.5876.5512.2814.02
ARM 7B415.24B1.45e2235.3738.3735.2576.3914.4012.80
ARM 7B449.84B1.57e2239.5139.2434.9276.8214.9414.63
ARM 7B519.09B1.81e2240.3040.6937.2977.1514.0314.63
ARM 7B778.57B2.71e2243.3343.5038.3177.5317.5914.63
ARM 7B1038.09B3.61e2245.0646.1241.6977.8620.0215.85
ARM 7B1384.12B4.82e2247.6348.1847.8076.9322.8215.24
ARM 7B2076.18B7.23e2247.6850.8544.0777.3724.7914.63
ARM 7B2214.59B7.71e2249.2652.0853.5677.6927.3717.07
表19:図3における自己回帰ベースラインの詳細結果