Aller au contenu principal
Jingyang Yuan et al.

NSA rend l'attention elle-même creuse et entraînable de bout en bout, réduisant le coût en contexte 64k sans perte de précision. ACL 2025, gratuit.

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

Attention parcimonieuse native : attention parcimonieuse alignée sur le matériel et nativement entraînable

Jingyang Yuan 1,2^{1,2} , Huazuo Gao 1^{1} , Damai Dai 1^{1} , Junyu Luo 2^{2} , Liang Zhao 1^{1} , Zhengyan Zhang 1^{1} , Zhenda Xie 1^{1} , Y. X. Wei 1^{1} , Lean Wang 1^{1} , Zhiping Xiao 3^{3} , Yuqing Wang 1^{1} , Chong Ruan 1^{1} , Ming Zhang 2^{2} , Wenfeng Liang 1^{1} , Wangding Zeng 1^{1}

1^{1} DeepSeek- AI 2^{2} Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University, PKU- Anker LLM Lab 3^{3} University of Washington {yuanjy, mzhang_cs}@pku.edu.cn, {zengwangding, wenfeng.liang}@deepseek.com

Résumé

La modélisation de contextes longs est cruciale pour les modèles de langue de nouvelle génération, mais le coût computationnel élevé des mécanismes d’attention standard pose d’importants défis computationnels. L’attention parcimonieuse offre une direction prometteuse pour améliorer l’efficacité tout en préservant les capacités du modèle. Nous présentons NSA, un mécanisme d’Attention Parcimonieuse Nativement entraînable qui intègre des innovations algorithmiques à des optimisations alignées sur le matériel afin de parvenir à une modélisation efficace des contextes longs. NSA emploie une stratégie parcimonieuse hiérarchique dynamique, combinant compression grossière de tokens et sélection fine de tokens pour préserver à la fois la conscience du contexte global et la précision locale. Notre approche fait progresser la conception de l’attention parcimonieuse grâce à deux innovations clés : (1) Nous obtenons des accélérations substantielles grâce à une conception algorithmique équilibrant l’intensité arithmétique, avec des optimisations d’implémentation pour le matériel moderne. (2) Nous permettons un entraînement de bout en bout, réduisant le calcul de pré-entraînement sans sacrifier les performances du modèle. Comme le montre la Figure [1], les expériences montrent que le modèle pré-entraîné avec NSA maintient ou dépasse les modèles à Attention Complète sur les benchmarks généraux, les tâches à contexte long et le raisonnement basé sur des instructions. Par ailleurs, NSA obtient des accélérations substantielles par rapport à l’Attention Complète sur des séquences de longueur 64k pour le décodage, la propagation avant et la propagation arrière, validant son efficacité tout au long du cycle de vie du modèle.

1. Introduction

La communauté de recherche reconnaît de plus en plus la modélisation de contextes longs comme une capacité cruciale pour les grands modèles de langue de nouvelle génération, portée par diverses applications du monde réel allant du raisonnement approfondi (DeepSeek- AI, 2025 ; Zelikman et al., 2022), à la génération de code au niveau du dépôt (Zhang et al., 2023a ; Zhang et al.) et aux systèmes d’agents autonomes multi-tours (Park et al., 2023). Des percées récentes, notamment les modèles de la série o d’OpenAI, DeepSeek- R1 (DeepSeek- AI, 2025) et Gemini 1.5 Pro (Google et al., 2024), permettent aux modèles de traiter des bases de code entières, des documents longs, de maintenir des conversations multi-tours cohérentes sur des milliers de tokens et d’effectuer des raisonnements complexes sur des dépendances à longue portée. Cependant, la complexité élevée (Zaheer et al., 2020) des mécanismes d’Attention classiques (Vaswani et al., 2017) apparaît comme un

Figure 1 | Comparaison des performances et de l’efficacité entre le modèle à Attention Complète et notre NSA. À gauche : Bien qu’étant parcimonieuse, NSA surpasse en moyenne la référence à Attention Complète sur les benchmarks généraux, les tâches à contexte long et l’évaluation du raisonnement. À droite : Pour le traitement de séquences de longueur 64k, NSA obtient une accélération computationnelle substantielle par rapport à l’Attention Complète à toutes les étapes : décodage, propagation avant et propagation arrière. goulot d’étranglement critique de latence à mesure que la longueur des séquences augmente. Des estimations théoriques indiquent que le calcul d’attention avec des architectures softmax représente 70−80%70 - 80\% de la latence totale lors du décodage de contextes de longueur 64k, ce qui souligne le besoin urgent de mécanismes d’attention plus efficaces.

Une approche naturelle pour une modélisation efficace des contextes longs consiste à tirer parti de la parcimonie inhérente à l’attention softmax (Ge et al., 2023 ; Jiang et al., 2023), où le calcul sélectif des paires requête-clé critiques peut réduire significativement la surcharge computationnelle tout en préservant les performances. Des avancées récentes démontrent ce potentiel à travers diverses stratégies : méthodes d’éviction du cache KV (Li et al., 2024 ; Zhang et al., 2023b ; Zhou et al., 2024), méthodes de sélection du cache KV par blocs (Gao et al., 2024 ; Tang et al., 2024 ; Xiao et al., 2024a), et méthodes de sélection par échantillonnage, regroupement ou hachage (Chen et al., 2024b ; Desai et al., 2024 ; Liu et al., 2024). Malgré ces stratégies prometteuses, les méthodes d’attention parcimonieuse existantes sont souvent insuffisantes en déploiement pratique. De nombreuses approches n’atteignent pas les accélérations comparables à leurs gains théoriques ; de plus, la plupart des méthodes manquent de support efficace au moment de l’entraînement pour exploiter pleinement les motifs de parcimonie de l’attention.

Pour remédier à ces limitations, le déploiement d’une attention parcimonieuse efficace doit relever deux défis clés : (1) Accélération de l’inférence alignée sur le matériel : convertir les réductions de calcul théoriques en améliorations réelles de vitesse exige une conception algorithmique adaptée au matériel, tant au stade du profilage que du décodage, afin d’atténuer les goulots d’étranglement liés aux accès mémoire et à l’ordonnancement matériel ; (2) Conception algorithmique consciente de l’entraînement : permettre un calcul de bout en bout avec des opérateurs entraînables afin de réduire les coûts d’entraînement tout en maintenant les performances du modèle. Ces exigences sont cruciales pour les applications réelles visant une inférence ou un entraînement rapides sur contextes longs. En considérant ces deux aspects, les méthodes existantes présentent encore un écart notable.

Pour parvenir à une attention parcimonieuse plus efficace et efficiente, nous présentons NSA, une architecture d’Attention Parcimonieuse Nativement entraînable qui intègre une modélisation hiérarchique des tokens. Comme le montre la Figure 2, NSA réduit le calcul par requête en organisant les clés et les valeurs en blocs temporels et en les traitant via trois chemins d’attention : tokens grossiers compressés, tokens fins sélectivement conservés, et fenêtres glissantes pour l’information contextuelle locale. Nous implémentons ensuite

Figure 2 | Vue d'ensemble de l'architecture de NSA. À gauche : le cadre traite les séquences d'entrée à travers trois branches d'attention parallèles : pour une requête donnée, les clés et valeurs précédentes sont traitées en attention compressée pour les motifs à grain grossier, en attention sélectionnée pour les blocs de tokens importants, et en attention glissante pour le contexte local. À droite : visualisation des différents motifs d'attention produits par chaque branche. Les zones vertes indiquent les régions où les scores d'attention doivent être calculés, tandis que les zones blanches représentent les régions qui peuvent être ignorées.
Figure 2 | Vue d'ensemble de l'architecture de NSA. À gauche : le cadre traite les séquences d'entrée à travers trois branches d'attention parallèles : pour une requête donnée, les clés et valeurs précédentes sont traitées en attention compressée pour les motifs à grain grossier, en attention sélectionnée pour les blocs de tokens importants, et en attention glissante pour le contexte local. À droite : visualisation des différents motifs d'attention produits par chaque branche. Les zones vertes indiquent les régions où les scores d'attention doivent être calculés, tandis que les zones blanches représentent les régions qui peuvent être ignorées.

des noyaux spécialisés pour maximiser son efficacité pratique. NSA introduit deux innovations centrales correspondant aux exigences clés ci-dessus : (1) Système aligné sur le matériel : optimiser l’attention parcimonieuse par blocs pour l’utilisation des Tensor Cores et des accès mémoire, en garantissant une intensité arithmétique équilibrée. (2) Conception consciente de l’entraînement : permettre un entraînement stable de bout en bout grâce à des algorithmes et des opérateurs de rétropropagation efficaces. Cette optimisation permet à NSA de prendre en charge à la fois un déploiement efficace et un entraînement de bout en bout.

Nous évaluons NSA à travers des expériences complètes sur des corpus linguistiques réels. Après pré-entraînement sur une colonne vertébrale transformer de 27B paramètres avec 260B tokens, nous évaluons les performances de NSA sur des évaluations générales de langue, des évaluations à contexte long et une évaluation du raisonnement en chaîne de pensée. Nous comparons en outre la vitesse des noyaux sur des GPU A100 avec des implémentations Triton optimisées (Tillet et al., 2019). Les résultats expérimentaux démontrent que NSA atteint des performances comparables ou supérieures à la référence à attention complète, tout en surpassant les approches d’attention parcimonieuse existantes. De plus, NSA procure des accélérations substantielles aux étapes de décodage, de propagation avant et de rétropropagation par rapport à l’Attention Complète, le ratio d’accélération augmentant pour des séquences plus longues. Ces résultats valident que notre conception hiérarchique d’attention parcimonieuse équilibre efficacement la capacité du modèle et l’efficacité computationnelle.

2. Repenser les méthodes d’attention parcimonieuse

Les méthodes modernes d’attention parcimonieuse ont fait des progrès significatifs pour réduire la complexité computationnelle théorique des modèles transformer. Cependant, la plupart des approches appliquent principalement la parcimonie durant l’inférence tout en conservant une colonne vertébrale à Attention Complète pré-entraînée, ce qui peut introduire un biais architectural limitant leur capacité à exploiter pleinement les avantages de l’attention parcimonieuse. Avant d’introduire notre architecture parcimonieuse native, nous analysons systématiquement ces limitations à travers deux prismes critiques.

2.1. L’illusion d’une inférence efficace

Malgré l’obtention d’une parcimonie dans le calcul d’attention, de nombreuses méthodes n’atteignent pas les réductions correspondantes de latence d’inférence, principalement en raison de deux défis :

Parcimonie restreinte à une phase. Des méthodes telles que H2O (Zhang et al., 2023b) appliquent la parcimonie durant le décodage autoregressif tout en nécessitant un prétraitement coûteux en calcul (par exemple, calcul de la carte d’attention, construction d’index) durant le profilage. En revanche, des approches comme MInference (Jiang et al., 2024) se concentrent uniquement sur la parcimonie au profilage. Ces méthodes n’atteignent pas l’accélération à toutes les étapes de l’inférence, car au moins une phase conserve des coûts computationnels comparables à l’Attention Complète. La spécialisation par phase réduit la capacité d’accélération de ces méthodes dans les charges de travail dominées par le profilage, comme le résumé de livres et la complétion de code, ou dans celles dominées par le décodage, comme le raisonnement long en chaîne de pensée (Wei et al., 2022).

Incompatibilité avec les architectures d’attention avancées. Certaines méthodes d’attention parcimonieuse ne s’adaptent pas aux architectures modernes efficaces en décodage telles que l’Attention à Requêtes Multiples (MQA) (Shazeer, 2019) et l’Attention à Requêtes Groupées (GQA) (Ainslie et al., 2023), qui réduisent significativement le goulot d’étranglement des accès mémoire durant le décodage en partageant KV entre plusieurs têtes de requête. Par exemple, dans des approches comme Quest (Tang et al., 2024), chaque tête d’attention sélectionne indépendamment son sous-ensemble de cache KV. Bien que cela démontre une parcimonie computationnelle et une parcimonie d’accès mémoire cohérentes dans les modèles à Attention Multi-Têtes (MHA), un scénario différent apparaît dans les modèles fondés sur des architectures comme GQA, où le volume d’accès mémoire du cache KV correspond à l’union des sélections de toutes les têtes de requête au sein du même groupe GQA. Cette caractéristique architecturale signifie que, bien que ces méthodes puissent réduire les opérations de calcul, l’accès mémoire au cache KV requis reste relativement élevé. Cette limitation impose un choix critique : tandis que certaines méthodes d’attention parcimonieuse réduisent le calcul, leur motif d’accès mémoire dispersé entre en conflit avec la conception efficace des accès mémoire des architectures avancées.

Ces limitations surviennent parce que de nombreuses méthodes d’attention parcimonieuse existantes se concentrent sur la réduction du cache KV ou la réduction du calcul théorique, mais peinent à obtenir une réduction significative de la latence dans les frameworks ou backends avancés. Cela nous motive à développer des algorithmes combinant à la fois une architecture avancée et une implémentation efficace sur le matériel pour exploiter pleinement la parcimonie afin d’améliorer l’efficacité du modèle.

2.2. Le mythe de la parcimonie entraînable

Notre quête d’une attention parcimonieuse native et entraînable est motivée par deux observations clés issues de l’analyse des approches d’inférence seule : (1) Dégradation des performances : appliquer la parcimonie a posteriori force les modèles à s’écarter de leur trajectoire d’optimisation préentraînée. Comme l’ont montré Chen et al. (2024b), l’attention top 20%20\% ne peut couvrir que 70%70\% du total des scores d’attention, rendant des structures telles que les têtes de récupération dans les modèles préentraînés vulnérables à l’élagage pendant l’inférence. (2) Exigences d’efficacité d’entraînement : une gestion efficace de l’entraînement sur de longues séquences est cruciale pour le développement des LLM modernes. Cela inclut à la fois le préentraînement sur des documents plus longs afin d’améliorer la capacité du modèle, et les phases d’adaptation ultérieures telles que l’ajustement fin en contexte long et l’apprentissage par renforcement. Cependant, les méthodes d’attention parcimonieuse existantes ciblent principalement l’inférence, laissant largement non résolus les défis computationnels de l’entraînement. Cette limitation entrave le développement de modèles à contexte long plus performants grâce à un entraînement efficace. En outre, les efforts visant à adapter l’attention parcimonieuse existante à l’entraînement révèlent également des défis :

Composants non entraînables. Les opérations discrètes dans des méthodes telles que ClusterKV (Liu et al., 2024) (qui inclut le clustering k-means) et MagicPIG (Chen et al., 2024b) (qui inclut une sélection fondée sur SimHash) créent des discontinuités dans le graphe computationnel. Ces composants non entraînables empêchent le flux de gradients à travers le processus de sélection des tokens, limitant la capacité du modèle à apprendre des motifs parcimonieux optimaux.

Rétropropagation inefficace. Certaines méthodes d’attention parcimonieuse théoriquement entraînables souffrentd’inefficacités pratiques d’entraînement. La stratégie de sélection à granularité de token utilisée dans des approches comme HashAttention (Desai et al., 2024) conduit à la nécessité de charger un grand nombre de tokens individuels depuis le cache KV pendant le calcul de l’attention. Cet accès mémoire non contigu empêche l’adaptation efficace de techniques d’attention rapides comme FlashAttention, qui reposent sur un accès mémoire contigu et un calcul par blocs pour atteindre un haut débit. En conséquence, les implémentations sont contraintes de revenir à une faible utilisation du matériel, ce qui dégrade significativement l’efficacité de l’entraînement.

2.3. La parcimonie native comme impératif

Ces limitations en matière d’efficacité d’inférence et de viabilité d’entraînement motivent notre refonte fondamentale des mécanismes d’attention parcimonieuse. Nous proposons NSA, un cadre d’attention nativement parcimonieux qui répond à la fois aux exigences d’efficacité computationnelle et d’entraînement. Dans les sections suivantes, nous détaillons la conception algorithmique et l’implémentation opérateur de NSA.

3. Méthodologie

Notre approche technique couvre la conception d'algorithmes et l'optimisation des noyaux. Dans les sous-sections suivantes, nous présentons d'abord le contexte de notre méthodologie. Ensuite, nous exposons le cadre global de NSA, suivi de ses composants algorithmiques clés. Enfin, nous détaillons la conception de notre noyau optimisé pour le matériel, qui maximise l'efficacité pratique.

3.1. Contexte

Le mécanisme d'attention est largement utilisé en modélisation du langage, où chaque token de requête qt\mathbf{q}_t calcule des scores de pertinence par rapport à toutes les clés précédentes kt\mathbf{k}t afin de générer une somme pondérée des valeurs v:t\mathbf{v}{:t} . Formellement, pour une séquence d'entrée de longueur tt , l'opération d'attention est définie comme suit :

ot=Attn(qt,k:t,v:t)(1)\mathbf{o}t = \mathrm{Attn}\left(\mathbf{q}t,\mathbf{k}{:t},\mathbf{v}{:t}\right) \quad (1)

où Attn désigne la fonction d'attention :

Attn(qt,k:t,v:t)=∑i=1tαt,ivi∑j=1tαt,j,αt,i=eqi⊤kidk(2)\mathrm{Attn}\left(\mathbf{q}t,\mathbf{k}{:t},\mathbf{v}{:t}\right) = \sum{i = 1}^{t}\frac{\alpha_{t,i}\mathbf{v}i}{\sum{j = 1}^{t}\alpha_{t,j}},\quad \alpha_{t,i} = e^{\frac{\mathbf{q}_i^{\top}\mathbf{k}_i}{\sqrt{d_k}}} \quad (2)

Ici, αt,i\alpha_{t,i} représente le poids d'attention entre qt\mathbf{q}_t et ki\mathbf{k}_i , et dkd_k est la dimension des caractéristiques des clés. À mesure que la longueur de la séquence augmente, le calcul d'attention devient de plus en plus dominant dans le coût computationnel global, ce qui présente des défis significatifs pour le traitement de contextes longs.

L'intensité arithmétique est le rapport entre les opérations de calcul et les accès mémoire. Elle façonne intrinsèquement l'optimisation des algorithmes sur le matériel. Chaque GPU possède une intensité arithmétique critique déterminée par sa capacité de calcul de pointe et sa bande passante mémoire, calculée comme le rapport entre ces deux limites matérielles. Pour les tâches de calcul, une intensité arithmétique supérieure à ce seuil critique devient limitée par le calcul (bornée par les FLOPS du GPU), tandis qu'en dessous, elle devient limitée par la mémoire (bornée par la bande passante mémoire).

Spécifiquement pour le mécanisme d'auto-attention causal, durant les phases d'entraînement et de profilage, les multiplications matricielles par lots et les calculs d'attention présentent une forte intensité arithmétique, rendant ces étapes limitées par le calcul sur les accélérateurs modernes. En revanche, le décodage autorégressif devient contraint par la bande passante mémoire, car il génère un token par passe avant tout en nécessitant le chargement de l'intégralité du cache clé-valeur, ce qui entraîne une faible intensité arithmétique. Cela conduit à différents objectifs d'optimisation — réduire le coût de calcul durant l'entraînement et le préremplissage, tandis que réduire les accès mémoire durant le décodage.

3.2. Cadre global

Pour exploiter le potentiel de l'attention avec un motif de parcimonie naturel, nous proposons de remplacer les paires clé-valeur originales kt,v:t\mathbf{k}{t}, \mathbf{v}{:t} de l'équation (1) par un ensemble plus compact et plus dense en information de paires clé-valeur de représentation K~t,V~t\tilde{K}{t}, \tilde{V}{t} étant donné chaque requête qt\mathbf{q}_{t} . Plus précisément, nous définissons formellement la sortie d'attention optimisée comme suit :

K~t=fK(qt,kt,v:t),V~t=fV(qt,kt,v:t)(3)\tilde{K}{t} = f{K}(\mathbf{q}{t}, \mathbf{k}{t}, \mathbf{v}{:t}), \quad \tilde{V}{t} = f_{V}(\mathbf{q}{t}, \mathbf{k}{t}, \mathbf{v}_{:t}) \quad (3)
ot∗=Attn⁡(qt,K~t,V~t)(4)\mathbf{o}{t}^{*} = \operatorname {Attn}\left(\mathbf{q}{t}, \tilde{K}{t}, \tilde{V}{t}\right) \quad (4)

où K~t,V~t\tilde{K}{t}, \tilde{V}{t} sont construits dynamiquement en fonction de la requête courante qt\mathbf{q}{t} et de la mémoire contextuelle kt,v:t\mathbf{k}{t}, \mathbf{v}{:t} . Nous pouvons concevoir diverses stratégies de mise en correspondance pour obtenir différentes catégories de K~tc,V~tc\tilde{K}{t}^{c}, \tilde{V}_{t}^{c} , et les combiner comme suit :

ot∗=∑c∈Cgtc⋅Attn⁡(qt,K~tc,V~tc).(5)\mathbf{o}{t}^{*} = \sum{c\in C}\mathbf{g}{t}^{c}\cdot \operatorname {Attn}(\mathbf{q}{t},\tilde{K}{t}^{c},\tilde{V}{t}^{c}). \quad (5)

Comme illustré à la Figure 2, NSA dispose de trois stratégies de mise en correspondance C={cmp,slc,win}C = \{\mathrm{cmp},\mathrm{slc},\mathrm{win}\} , représentant la compression, la sélection et la fenêtre glissante pour les clés et les valeurs. gtc∈[0,1]g_{t}^{c}\in [0,1] est le score de portail pour la stratégie correspondante cc , dérivé des caractéristiques d'entrée via un MLP et une activation sigmoïde. Soit NtN_{t} le nombre total de clés/valeurs remappées :

Nt=∑c∈Csize[K~tc].(6)N_{t} = \sum_{c\in C}\mathrm{size}[\tilde{K}_{t}^{c}]. \quad (6)

Nous maintenons un ratio de parcimonie élevé en garantissant Nt≪tN_{t} \ll t .

3.3. Conception de l'algorithme

Dans cette sous-section, nous présentons la conception de nos stratégies de remappage fKf_{K} et fVf_{V} : la compression de tokens, la sélection de tokens et la fenêtre glissante.

3.3.1. Compression de tokens

En agrégeant des blocs séquentiels de clés ou de valeurs en représentations au niveau des blocs, nous obtenons des clés et des valeurs compressées qui capturent l'information de l'ensemble du bloc. Formellement, la représentation de clé compressée est définie comme suit :

K~tcmp=fKcmp(k:t)={ϕ(kid+1:id+l)|0⩽i⩽⌊t−ld⌋}(7)\tilde{K}{t}^{\mathrm{cmp}} = f{K}^{\mathrm{cmp}}(\mathbf{k}{:t}) = \left\{\phi (\mathbf{k}{id + 1:id + l})\middle |0\leqslant i\leqslant \left\lfloor \frac{t - l}{d}\right\rfloor \right\} \quad (7)

où ll est la longueur du bloc, dd est le pas glissant entre blocs adjacents, et ϕ\phi est un MLP apprenable avec encodage de position intra-bloc pour mapper les clés d'un bloc vers une clé compressée unique. K~tcmp∈Rdk×⌊t−ld⌋\tilde{K}{t}^{\mathrm{cmp}} \in \mathbb{R}^{d{k} \times \left\lfloor \frac{t - l}{d}\right\rfloor} est un tenseur composé de clés de compression. Habituellement, nous adoptons d<ld < l pour atténuer la fragmentation de l'information. Une formulation analogue vaut pour la représentation de valeur compressée V~tcmp\tilde{V}_{t}^{\mathrm{cmp}} . Les représentations compressées capturent une information sémantique de plus haut niveau et à grain plus grossier et réduisent la charge computationnelle de l'attention.

3.3.2. Sélection de tokens

L'utilisation des seules clés et valeurs compressées pourrait entraîner une perte d'informations fines importantes, ce qui nous motive à préserver sélectivement des clés et des valeurs individuelles. Ci-dessous, nous décrivons notre mécanisme efficace de sélection de tokens qui identifie et préserve les tokens les plus pertinents avec une faible surcharge computationnelle.

Sélection par blocs. Notre stratégie de sélection traite les séquences de clés et de valeurs en blocs continus dans l'espace, motivée par deux facteurs clés : des considérations d'efficacité matérielle et les motifs de distribution inhérents des scores d'attention. La sélection par blocs est cruciale pour réaliser un calcul efficace sur les GPU modernes. En effet, les architectures GPU modernes présentent un débit significativement plus élevé pour les accès à des blocs continus par rapport aux lectures aléatoires basées sur des index. De plus, le calcul par blocs permet une utilisation optimale des Tensor Cores. Cette caractéristique architecturale a établi l'accès mémoire et le calcul par blocs comme un principe fondamental dans les implémentations d'attention hautes performances, comme l'illustre la conception par blocs de FlashAttention. La sélection par blocs suit les motifs de distribution inhérents des scores d'attention. Des travaux antérieurs (Jiang et al., 2024) ont montré que les scores d'attention présentent souvent une continuité spatiale, suggérant que les clés voisines tendent à partager des niveaux d'importance similaires. Notre visualisation à la Section 6.2 montre également ce motif de continuité spatiale.

Pour mettre en œuvre la sélection par blocs, nous divisons d'abord les séquences de clés et de valeurs en blocs de sélection. Pour identifier les blocs les plus importants pour le calcul d'attention, nous devons attribuer des scores d'importance à chaque bloc. Ci-dessous, nous présentons notre méthode de calcul de ces scores d'importance au niveau des blocs.

Calcul du score d'importance. Le calcul des scores d'importance des blocs pourrait introduire une surcharge significative. Heureusement, le calcul d'attention des tokens de compression produit des scores d'attention intermédiaires que nous pouvons exploiter pour induire les scores d'importance des blocs de sélection, formulés comme suit :

ptcmp=Softmax(qtTκ~tcmp),(8)\mathbf{p}_t^{\mathrm{cmp}} = \mathrm{Softmax}\left(\mathbf{q}_t^T\tilde{\kappa}_t^{\mathrm{cmp}}\right), \quad (8)

où ptcmp∈R⌊l−ld⌋+1\mathbf{p}_t^{\mathrm{cmp}} \in \mathbb{R}^{\lfloor \frac{l - l}{d}\rfloor +1} représente les scores d'attention entre qtq_t et les clés de compression κ~tcmp\tilde{\kappa}_t^{\mathrm{cmp}}. Soit l′l' la taille du bloc de sélection. Lorsque les blocs de compression et les blocs de sélection partagent le même schéma de blocage, c'est-à-dire l′=l=dl' = l = d, nous pouvons obtenir directement les scores d'importance des blocs de sélection ptslc\mathbf{p}_t^{\mathrm{slc}} par ptslc=ptcmp\mathbf{p}_t^{\mathrm{slc}} = \mathbf{p}_t^{\mathrm{cmp}} de manière directe. Dans les cas où les schémas de blocage diffèrent, nous dérivons les scores d'importance des blocs de sélection en fonction de leur relation spatiale. Étant donné l⩽l′l \leqslant l', d∣ld \mid l et d∣l′d \mid l', nous avons :

ptslc[j]=∑m=0l′−1∑n=0⌊ld−1⌋ptcmp[l′dj−m−n],(9)\mathbf{p}t^{\mathrm{slc}}[j] = \sum{m = 0}^{l' - 1}\sum_{n = 0}^{\lfloor \frac{l}{d} -1\rfloor}\mathbf{p}_t^{\mathrm{cmp}}\left[\frac{l'}{d} j - m - n\right], \quad (9)

où [⋅][\cdot ] désigne l'opérateur d'indexation permettant d'accéder à un élément du vecteur. Pour les modèles employant GQA ou MQA, où les caches clé-valeur sont partagés entre les têtes de requête, une sélection de blocs cohérente entre ces têtes doit être garantie afin de minimiser le chargement du cache KV pendant le décodage. Les scores d'importance partagés entre les têtes d'un même groupe sont formellement définis comme :

ptslc′=∑h=1Hptslc,(h),(10),\mathbf{p}t^{\mathrm{slc}'} = \sum{h = 1}^{H}\mathbf{p}_t^{\mathrm{slc},(h)}, \quad (10),

où (h)(h) en exposant désigne l'indice de la tête, et HH est le nombre de têtes de requête dans chaque groupe. Cette agrégation garantit une sélection de blocs cohérente entre les têtes d'un même groupe.

Sélection des top-n blocs. Après avoir obtenu les scores d'importance des blocs de sélection, nous conservons les tokens au sein des top-n blocs épars classés par scores d'importance de bloc, formulé comme :

It={i∣rank(ptslc′[i])⩽n}(11)\mathcal{I}{t} = \{i\mid \mathrm{rank}(\mathbf{p}{t}^{\mathrm{slc}^{\prime}}[i]) \leqslant n\} \quad (11)
K~tslc=Cat[{kit′+1:(i+1)′∣i∈It}],(12)\tilde{K}{t}^{\mathrm{slc}} = \mathrm{Cat}\left[\{\mathbf{k}{i t^{\prime} + 1:(i + 1)\prime}|i\in \mathcal{I}_{t}\} \right], \quad (12)

où rank (⋅)(\cdot) désigne la position dans le classement par ordre décroissant, avec rank =1= 1 correspondant au score le plus élevé, It\mathcal{I}{t} est l'ensemble des indices des blocs sélectionnés, Cat désigne l'opération de concaténation. K~tslc∈Rdk×nl′\tilde{K}{t}^{\mathrm{slc}} \in \mathbb{R}^{d_{k} \times n l^{\prime}} est un tenseur composé par les clés de compression. Une formulation analogue s'applique à la valeur à grain fin V~tslc\tilde{V}{t}^{\mathrm{slc}}. Les clés et valeurs sélectionnées participent ensuite au calcul de l'attention avec qt\mathbf{q}{t} tel que défini dans l'équation (5).

3.3.3. Fenêtre glissante

Dans les mécanismes d'attention, les motifs locaux s'adaptent généralement plus rapidement et peuvent dominer le processus d'apprentissage, empêchant potentiellement le modèle d'apprendre efficacement à partir des jetons de compression et de sélection. Pour remédier à ce problème, nous introduisons une branche dédiée à la fenêtre glissante qui traite explicitement le contexte local, permettant aux autres branches (compression et sélection) de se concentrer sur l'apprentissage de leurs caractéristiques respectives sans être court-circuitées par les motifs locaux. Plus précisément, nous conservons les jetons récents K~twin=kt−w:t,V~twin=vt−w:t\tilde{K}{t}^{\mathrm{win}} = \mathbf{k}{t - w:t}, \tilde{V}{t}^{\mathrm{win}} = \mathbf{v}{t - w:t} dans une fenêtre ww, et isolons les calculs d'attention des différentes sources d'information (jetons de compression et jetons sélectionnés, fenêtre glissante) dans des branches séparées. Les sorties de ces branches sont ensuite agrégées via un mécanisme de portillon appris. Pour empêcher davantage l'apprentissage par raccourci entre les branches d'attention avec un surcoût computationnel marginal, nous fournissons des clés et des valeurs indépendantes pour les trois branches. Cette conception architecturale permet un apprentissage stable en empêchant l'interférence des gradients entre la reconnaissance de motifs locaux et à longue portée, tout en introduisant un surcoût minimal.

Après avoir obtenu les trois catégories de clés et de valeurs (K~tcmp,V~tcmp;K~tslc,V~tslc;etK~twin,V~twin)(\tilde{K}{t}^{\mathrm{cmp}}, \tilde{V}{t}^{\mathrm{cmp}}; \tilde{K}{t}^{\mathrm{slc}}, \tilde{V}{t}^{\mathrm{slc}}; \text{et} \tilde{K}{t}^{\mathrm{win}}, \tilde{V}{t}^{\mathrm{win}}), nous calculons la sortie d'attention finale selon l'équation (5). Avec les mécanismes de compression, de sélection et de fenêtre glissante décrits ci-dessus, cela forme le cadre algorithmique complet de NSA.

3.4. Conception des noyaux

Pour obtenir une accélération de niveau FlashAttention lors de l'entraînement et du profilage, nous implémentons des noyaux d'attention parcimonieuse alignés sur le matériel au-dessus de Triton. Étant donné que MHA est gourmand en mémoire et inefficace pour le décodage, nous nous concentrons sur les architectures à caches KV partagés comme GQA et MQA, à l'instar des LLM de pointe actuels. Alors que les calculs d'attention par compression et par fenêtre glissante sont aisément compatibles avec les noyaux FlashAttention-2 existants, nous introduisons une conception de noyau spécialisée pour l'attention par sélection parcimonieuse. Si nous suivions la stratégie de FlashAttention consistant à charger des blocs de requêtes temporellement continus dans la SRAM, cela entraînerait des accès mémoire inefficaces, car les requêtes d'un bloc peuvent nécessiter des blocs KV disjoints. Pour y remédier, notre optimisation clé réside dans une stratégie de regroupement des requêtes différente : pour chaque position de la séquence de requêtes, nous chargeons toutes les têtes de requêtes d'un groupe GQA (qui partagent les mêmes blocs KV parcimonieux) dans la SRAM. La figure 3 illustre notre implémentation de la passe avant. L'architecture de noyau proposée se caractérise par les fonctionnalités clés suivantes :

1. Chargement de données centré sur les groupes. Pour chaque boucle interne, charger les requêtes de toutes les têtes Q∈R[h,dk]Q \in \mathbb{R}^{[h, d_{k}]} du groupe à la position tt et leurs indices de blocs clé/valeur parcimonieux partagés It\mathcal{I}_{t}.

2. Récupération KV partagée. Dans la boucle interne, charger séquentiellement les blocs clé/valeur continus indexés par ItI_{t} dans la SRAM en tant que K∈R[Bk,dk]K \in \mathbb{R}^{[B_{k},d_{k}]}, V∈R[Bk,dv]V \in \mathbb{R}^{[B_{k},d_{v}]} afin de minimiser le chargement mémoire, où BkB_{k} est la taille de bloc du noyau satisfaisant Bk∣I′B_{k}|I'.

3. Boucle externe sur la grille. Puisque la longueur de la boucle interne (proportionnelle au nombre de blocs sélectionnés nn) reste presque identique pour différents blocs de requêtes, nous plaçons les boucles de requêtes/sorties dans le planificateur de grille de Triton pour simplifier et optimiser le noyau.

Cette conception atteint une intensité arithmétique quasi optimale en (1) éliminant les transferts KV redondants grâce au partage par groupe, et (2) équilibrant les charges de calcul entre les multiprocesseurs de streaming du GPU.

Contexte en lecture seule pour comprendre la source (texte à ne pas traduire) :
Cette conception atteint une intensité arithmétique quasi optimale en (1) éliminant les transferts KV redondants grâce à un partage par groupes, et (2) équilibrant les charges de calcul entre les multiprocesseurs de flux des GPU.

Texte à traduire :
Figure 3 | Conception du noyau pour NSA. Le noyau charge les requêtes par groupes GQA (Grid Loop), récupère les blocs KV épars correspondants (Inner Loop) et effectue le calcul d'attention sur la SRAM. Les blocs verts indiquent des données sur la SRAM, tandis que les bleus indiquent des données sur la HBM.
Contexte en lecture seule pour comprendre la source (texte à ne pas traduire) : Cette conception atteint une intensité arithmétique quasi optimale en (1) éliminant les transferts KV redondants grâce à un partage par groupes, et (2) équilibrant les charges de calcul entre les multiprocesseurs de flux des GPU. Texte à traduire : Figure 3 | Conception du noyau pour NSA. Le noyau charge les requêtes par groupes GQA (Grid Loop), récupère les blocs KV épars correspondants (Inner Loop) et effectue le calcul d'attention sur la SRAM. Les blocs verts indiquent des données sur la SRAM, tandis que les bleus indiquent des données sur la HBM.

4. Expériences

Nous évaluons NSA sous trois angles : (1) les performances sur les benchmarks généraux, (2) les performances sur les benchmarks à long contexte, et (3) les performances en raisonnement chaîne de pensée, en comparant avec la référence Full Attention et les méthodes d'attention parcimonieuse de pointe. Nous reportons l'analyse d'efficacité de notre paradigme de calcul parcimonieux à la section 5, où nous fournissons des discussions détaillées sur la vitesse d'entraînement et d'inférence.

4.1. Configuration du pré-entraînement

Suivant la pratique courante des LLM de pointe, nos expériences adoptent une architecture combinant l'attention par requêtes groupées (GQA) et le mélange d'experts (MoE), avec 27B de paramètres totaux et 3B de paramètres actifs. Le modèle comprend 30 couches avec une dimension cachée de 2560. Pour GQA, nous fixons le nombre de groupes à 4, avec un total de 64 têtes d'attention. Pour chaque tête, les dimensions cachées de la requête, de la clé et de la valeur sont configurées respectivement à dq=dk=192d_{q} = d_{k} = 192 et dv=128d_{v} = 128. Pour le MoE, nous utilisons la structure DeepSeekMoE (Dai et al., 2024 ; DeepSeek-AI, 2024), avec 72 experts routés et 2 experts partagés, et fixons le nombre d'experts top-k à 6. Pour garantir la stabilité de l'entraînement, le MoE de la première couche est remplacé par un MLP sous la forme SwiGLU.

Figure 4 | Comparaison de la perte de pré-entraînement entre l'attention complète et notre NSA sur un modèle de 27 milliards de paramètres. Les deux modèles présentent une convergence stable, la NSA atteignant des valeurs de perte plus faibles.
Figure 4 | Comparaison de la perte de pré-entraînement entre l'attention complète et notre NSA sur un modèle de 27 milliards de paramètres. Les deux modèles présentent une convergence stable, la NSA atteignant des valeurs de perte plus faibles.
ModèleMMLU Préc. 5-shotMMLU-PRO Préc. 5-shotCMMLU Préc. 5-shotBBH Préc. 3-shotGSM8K Préc. 8-shotMATH Préc. 4-shotDROP F1 1-shotMBPP Pass@1 3-shotHumanEval Pass@1 0-shotMoy.
Full Attn0,5670,2790,5760,4970,4860,2630,5030,4820,3350,443
NSA0,5650,2860,5870,5210,5200,2640,5450,4660,3480,456

Tableau 1 | Comparaison des performances de pré-entraînement entre la référence Full Attention et NSA sur les benchmarks généraux, couvrant les tâches de connaissances (MMLU, MMLU-PRO, CMMLU), de raisonnement (BBH, GSM8K, MATH, DROP) et de codage (MBPP, HumanEval). NSA obtient une performance moyenne supérieure sur la plupart des benchmarks malgré une forte parcimonie.

L'architecture proposée réalise un compromis efficace entre coût de calcul et performance du modèle. Pour NSA, nous fixons la taille de bloc de compression l=32l = 32, le pas de glissement d=16d = 16, la taille de bloc sélectionné l′=64l' = 64, le nombre de blocs sélectionnés n=16n = 16 (incluant l'activation fixe du bloc initial 1 et des 2 blocs locaux), et la taille de fenêtre glissante w=512w = 512. Les modèles Full Attention et d'attention parcimonieuse sont tous deux pré-entraînés sur 270B de jetons de textes de longueur 8k, suivis d'un entraînement continu et d'un affinage supervisé sur des textes de longueur 32k avec YaRN (Peng et al., 2024) pour atteindre l'adaptation au long contexte. Les deux modèles sont entraînés jusqu'à convergence complète afin de garantir une comparaison équitable. Comme le montre la figure 4, la courbe de perte de pré-entraînement de notre NSA et de la référence Full Attention démontre une décroissance stable et régulière, NSA surpassant systématiquement le modèle Full Attention.

4.2. Méthodes de référence

Outre la comparaison avec Full Attention, nous évaluons plusieurs méthodes d'attention parcimonieuse de pointe à l'étape d'inférence : H2O (Zhang et al., 2023b), infLLM (Xiao et al., 2024a), Quest (Tang et al., 2024) et Exact-Top, qui calcule d'abord le score d'attention complet et sélectionne les clés de score top-nn correspondant à chaque requête, puis calcule l'attention sur ces positions. Ces

Modèle
SQAMQASynthétiqueCodeLCC
Moy.
MFQA-enMFQA-zhQasperHPQ2WikiGovRptDurPassR-enPassR-zh
H2O0,4280,4290,3080,1120,1010,2310,2080,7040,4210,0920,303
InfLLM0,4740,5170,3560,3060,2500,2770,2570,7660,4860,1430,383
Quest0,4950,5610,3650,2950,2450,2930,2570,7920,4780,1350,392
Exact-Top0,5020,6050,3970,3210,2880,3160,2910,8100,5480,1560,423
Full Attn0,5120,6230,4090,3500,3050,3240,2940,8300,5600,1630,437
NSA0,5030,6240,4320,4370,3560,3070,3410,9050,5500,2320,469

Tableau 2 | Comparaison des performances entre notre NSA et les références sur LongBench, incluant les sous-ensembles des catégories QA sur document unique, QA sur documents multiples, synthétique et tâche de code. NSA surpasse la plupart des références, y compris Full Attention. méthodes couvrent divers paradigmes d'attention parcimonieuse, notamment l'éviction de cache KV, la sélection sensible aux requêtes, et la sélection parcimonieuse exacte top-nn.

Pour l'évaluation générale, où la plupart des échantillons ont des longueurs inférieures à la fenêtre de contexte local des références d'attention parcimonieuse, ces méthodes sont effectivement équivalentes à Full Attention. Par conséquent, nous présentons uniquement les résultats de comparaison entre NSA et la référence Full Attention dans ce cadre. Dans l'évaluation à long contexte, nous effectuons des comparaisons sur toutes les méthodes de référence, avec la parcimonie de toutes les méthodes d'attention parcimonieuse fixée à la même valeur pour garantir une comparaison équitable. Pour l'évaluation du raisonnement chaîne de pensée, qui nécessite un affinage supervisé sur textes longs, nous limitons notre comparaison à Full Attention, car les références d'attention parcimonieuse ne prennent pas en charge l'entraînement.

4.3. Comparaison des performances

Évaluation générale. Nous avons évalué le NSA pré-entraîné et la référence Full Attention sur une suite complète de benchmarks couvrant les capacités de connaissances, de raisonnement et de codage, notamment MMLU (Hendrycks et al., 2020), MMLU-PRO (Wang et al., 2024), CMMLU (Li et al., 2023), BBH (Suzgun et al., 2022), GSM8K (Cobbe et al., 2021), MATH (Hendrycks et al., 2020), DROP (Dua et al., 2019), MBPP (Austin et al., 2021) et HumanEval (Chen et al., 2021). Les résultats sont présentés dans le tableau 1. Malgré sa parcimonie, NSA obtient une performance globale supérieure, surpassant toutes les références, y compris Full Attention, sur 7 métriques sur 9. Cela indique que, bien que NSA puisse ne pas exploiter pleinement ses avantages d'efficacité sur des séquences plus courtes, il affiche de fortes performances. Notamment, NSA démontre des gains significatifs sur les benchmarks liés au raisonnement (DROP : +0.042+0.042, GSM8K : +0.034+0.034), suggérant que notre pré-entraînement aide les modèles à développer des mécanismes d'attention spécialisés. Ce mécanisme de pré-entraînement par attention parcimonieuse force le modèle à se concentrer sur les informations les plus importantes, améliorant potentiellement les performances en filtrant le bruit des voies d'attention non pertinentes. La performance cohérente à travers diverses évaluations valide également la robustesse de NSA en tant qu'architecture à usage général.

Évaluation sur contexte long. Comme illustré à la figure 5, NSA atteint une précision de récupération parfaite à toutes les positions dans le test « needle-in-a-haystack » (Kamradt, 2023) en contexte de 64k. Cette performance découle de notre conception d’attention parcimonieuse hiérarchique, qui combine des jetons de compression pour un balayage efficace du contexte global et des jetons de sélection pour une récupération précise de l’information locale. La compression grossière identifie les blocs de contexte pertinents à faible coût computationnel, tandis que l’attention au niveau des jetons sur les jetons sélectionnés garantit la préservation des informations fines critiques. Cette conception permet à NSA de maintenir à la fois une conscience globale et une précision locale.

Nous évaluons également NSA sur LongBench (Bai et al., 2023) par rapport aux méthodes d’attention parcimonieuse de pointe

Figure 5 | Précision de récupération Needle-in-a-Haystack selon les positions dans le contexte avec une longueur de contexte de 64k. NSA atteint une précision parfaite grâce à sa conception d'attention éparse hiérarchique.
Figure 5 | Précision de récupération Needle-in-a-Haystack selon les positions dans le contexte avec une longueur de contexte de 64k. NSA atteint une précision parfaite grâce à sa conception d'attention éparse hiérarchique.

et à une baseline d’attention complète. Afin de garantir une parcimonie cohérente, nous fixons à 2560 le nombre de jetons activés par chaque requête dans toutes les baselines d’attention parcimonieuse, ce qui correspond au nombre moyen de jetons activés dans NSA lors du traitement de longueurs de séquence de 32k. À la suite de Stream-LLM (Xiao et al., 2023), ce budget de jetons inclut les 128 premiers jetons et 512 jetons locaux. Nous excluons certains sous-ensembles de LongBench en raison de leurs faibles scores sur tous les modèles, ce qui pourrait ne pas fournir de comparaisons significatives. Comme indiqué dans le tableau 2, NSA obtient le score moyen le plus élevé, 0,469, surpassant toutes les baselines (+0,032 par rapport à l’attention complète et +0,046 par rapport à Exact-Top). Cette amélioration découle de deux innovations clés : (1) notre conception native d’attention parcimonieuse, qui permet une optimisation de bout en bout des motifs parcimonieux pendant le pré-entraînement, facilite une adaptation synchronisée entre le module d’attention parcimonieuse et les autres composants du modèle ; et (2) le mécanisme d’attention parcimonieuse hiérarchique atteint un équilibre entre le traitement des informations locales et globales.

Notamment, NSA démontre des performances exceptionnelles sur les tâches nécessitant un raisonnement complexe sur de longs contextes, obtenant des améliorations de +0,087 et +0,051 par rapport à l’attention complète sur les tâches de QA multi-sauts (HPQ et 2Wiki), dépassant les performances des baselines sur la compréhension de code (LCC : +0,069) et surpassant les autres méthodes sur la récupération de passages (PassR-en : +0,075). Ces résultats valident la capacité de NSA à gérer divers défis de contexte long, son attention parcimonieuse pré-entraînée nativement offrant des bénéfices supplémentaires dans l’apprentissage de motifs optimaux pour les tâches.

Évaluation du raisonnement en chaîne de pensée. Pour évaluer la compatibilité de NSA avec les paradigmes avancés d’entraînement en aval, nous examinons sa capacité à acquérir des aptitudes de raisonnement mathématique en chaîne de pensée via le post-entraînement. Étant donné l’efficacité limitée de l’apprentissage par renforcement sur des modèles de plus petite échelle, nous employons la distillation de connaissances à partir de DeepSeek-R1, en réalisant un affinage supervisé (SFT) avec 10B jetons de traces de raisonnement mathématique de longueur 32k. Cela produit deux modèles comparables : Full Attention-R (baseline d’attention complète) et NSA-R (notre variante parcimonieuse). Nous évaluons les deux modèles sur le benchmark difficile de l’American Invitational Mathematics Examination (AIME 24). Nous utilisons une température d’échantillonnage de 0,7 et une valeur top-pp de 0,95 pour générer 16 réponses par question et obtenir le score moyen. Pour valider l’impact de la profondeur de raisonnement, nous menons des expériences avec deux limites de contexte de génération : 8k et 16k jetons, en mesurant si des chaînes de raisonnement étendues améliorent la précision. Des exemples de comparaisons des prédictions des modèles sont fournis en annexe A.

Limite de jetons de génération819216384
Full Attention-R0,0460,092
NSA-R0,1210,146
Tableau 3 | Évaluation basée sur les instructions AIME après ajustement supervisé. Notre NSA-R démontre de meilleures performances que Full Attention-R aux longueurs de séquence de 8k et 16k

Figure 6 | Comparaison du noyau NSA basé sur Triton avec le noyau FlashAttention-2 basé sur Triton. Notre implémentation réduit considérablement la latence pour toutes les longueurs de contexte, l'amélioration devenant plus prononcée à mesure que la longueur d'entrée augmente.

Comme le montre le tableau 3, NSA-R atteint une précision nettement supérieure à celle de Full Attention-R dans le cadre d'un contexte de 8k (+0,075), cet avantage persistant pour des contextes de 16k (+0,054). Ces résultats valident deux avantages clés de l'attention creuse native : (1) Les motifs d'attention creuse pré-entraînés permettent de capturer efficacement les dépendances logiques à longue portée, essentielles aux dérivations mathématiques complexes ; (2) La conception de notre architecture, alignée sur le matériel, maintient une densité de contexte suffisante pour soutenir une profondeur de raisonnement croissante sans oubli catastrophique. La surperformance constante sur toutes les longueurs de contexte confirme la viabilité de l'attention creuse pour les tâches de raisonnement avancé lorsqu'elle est nativement intégrée au pipeline d'entraînement.

5. Analyse de l'efficacité

Nous évaluons l'efficacité computationnelle de NSA par rapport à Full Attention sur un système de 8 GPU A100. Dans l'analyse d'efficacité, nous configurons également le modèle avec le groupe GQA g=4g = 4, les têtes par groupe h=16h = 16, la dimension requête/clé dk=192d_{k} = 192 et la dimension valeur dv=128d_{v} = 128. Suivant les mêmes paramètres que dans la section 4, nous fixons la taille de bloc de compression NSA l=32l = 32, le pas glissant d=16d = 16, la taille de bloc sélectionné l′=64l' = 64, le nombre de blocs sélectionnés n=16n = 16 et la taille de fenêtre glissante w=512w = 512.

5.1. Vitesse d'entraînement

Nous comparons les implémentations basées sur Triton de notre attention NSA et de Full Attention avec FlashAttention-2 basé sur Triton afin de garantir une comparaison de vitesse équitable sur le même backend. Comme le montre la figure 6, notre NSA obtient des accélérations progressivement plus importantes à mesure que la longueur de contexte augmente, jusqu'à 9,0×9,0 \times en passe avant et 6,0×6,0 \times en passe arrière pour une longueur de contexte de 64k. Notamment, l'avantage de vitesse devient plus prononcé avec des séquences plus longues. Cette accélération découle de notre

Longueur du contexte8192163843276865536
Attention complète8192163843276865536
NSA2048256035845632
Accélération attendue4×6,4×9,1×11,6×
Tableau 4 | Volume d'accès mémoire (en nombre équivalent de tokens) par opération d'attention lors du décodage. En raison de la faible intensité arithmétique et de la nature limitée par la mémoire du décodage, l'accélération attendue est approximativement linéaire avec le volume d'accès mémoire.

conception algorithmique alignée sur le matériel, visant à maximiser l'efficacité de l'architecture d'attention creuse : (1) Le motif d'accès mémoire par blocs maximise l'utilisation des Tensor Cores grâce à des chargements coalescents, (2) L'ordonnancement minutieux des boucles dans le noyau élimine les transferts KV redondants.

5.2. Vitesse de décodage

La vitesse de décodage de l'attention est principalement déterminée par le goulot d'étranglement des accès mémoire, étroitement lié à la quantité de chargement du cache KV. À chaque étape de décodage, notre NSA n'a besoin de charger qu'au plus ⌊s−ld⌋\left\lfloor \frac{s - l}{d}\right\rfloor tokens de compression, nl′nl' tokens sélectionnés et ww tokens voisins, où ss est la longueur de séquence mise en cache. Comme le montre le tableau 4, notre méthode présente une réduction significative de la latence à mesure que la longueur de décodage augmente, atteignant jusqu'à 11,6×11,6\times d'accélération pour une longueur de contexte de 64k. Cet avantage en matière d'efficacité des accès mémoire s'amplifie également avec des séquences plus longues.

6. Discussion

Dans cette section, nous revenons sur le processus de développement de NSA et discutons des principaux enseignements tirés de notre exploration de différentes stratégies d'attention creuse. Bien que notre approche démontre des résultats prometteurs, la compréhension des défis rencontrés avec des stratégies alternatives et l'analyse des motifs d'attention fournissent un contexte précieux pour les orientations de recherche futures. Nous examinons d'abord les défis liés aux stratégies alternatives de sélection de tokens qui ont motivé nos choix de conception, puis les visualisations qui offrent des perspectives sur les motifs de distribution de l'attention.

6.1. Défis liés aux stratégies alternatives de sélection de tokens

Avant de concevoir NSA, nous avons exploré l'adaptation de méthodes d'attention creuse existantes à la phase d'entraînement. Cependant, ces tentatives ont rencontré divers défis, nous incitant à concevoir une architecture d'attention creuse différente :

Stratégies basées sur le clustering de clés. Nous avons examiné des stratégies basées sur le clustering telles que ClusterKV (Liu et al., 2024). Ces méthodes stockent les Keys et Values d'un même cluster dans des régions mémoire contiguës. Bien que théoriquement réalisables pour l'entraînement et l'inférence, elles font face à trois défis significatifs : (1) Un surcoût computationnel non négligeable introduit par les mécanismes de clustering dynamique ; (2) Des difficultés d'optimisation des opérateurs exacerbées par les déséquilibres inter-clusters, en particulier dans les systèmes Mixture-of-Experts (MoE), où des temps d'exécution biaisés des groupes Expert Parallelism (EP) entraînent des déséquilibres de charge persistants ; (3) Des contraintes de mise en œuvre découlant de la nécessité d'un reclustering périodique obligatoire et de protocoles d'entraînement séquentiels par chunks. Ces facteurs combinés créent des goulots d'étranglement substantiels, limitant considérablement leur efficacité pour un déploiement réel.

Figure 7 | Comparaison de la perte d'entraînement sur un modèle de 3 milliards de paramètres avec Full Attention et différentes stratégies de sélection de tokens. Notre NSA obtient de meilleures performances.
Figure 7 | Comparaison de la perte d'entraînement sur un modèle de 3 milliards de paramètres avec Full Attention et différentes stratégies de sélection de tokens. Notre NSA obtient de meilleures performances.
Figure 8 | Visualisation de la carte d'attention sur un transformeur à attention complète. Les régions de couleur claire indiquent des valeurs d'attention plus élevées. Comme le montre la figure, les scores d'attention présentent une distribution de regroupement par blocs.
Figure 8 | Visualisation de la carte d'attention sur un transformeur à attention complète. Les régions de couleur claire indiquent des valeurs d'attention plus élevées. Comme le montre la figure, les scores d'attention présentent une distribution de regroupement par blocs.

Autres stratégies de sélection par blocs. Nous avons également considéré des stratégies de sélection de clés et valeurs par blocs différentes de NSA, telles que Quest (Tang et al. [2024]) et InfLLM (Xiao et al. [2024a]). Ces méthodes reposent sur le calcul d'un score d'importance pour chaque bloc KV et sur la sélection des top-nn blocs en fonction de leur similarité avec qtq_t. Cependant, les méthodes existantes font face à deux problèmes critiques : (1) Étant donné que l'opération de sélection n'est pas différentiable, le calcul du score d'importance basé sur des réseaux de neurones repose sur une perte auxiliaire, ce qui augmente le surcoût des opérateurs et dégrade souvent les performances du modèle ; (2) La stratégie heuristique de calcul du score d'importance sans paramètres souffre de faibles taux de rappel, conduisant à des performances sous-optimales. Nous évaluons les deux approches sur un modèle de 3 milliards de paramètres avec une architecture similaire et comparons leur courbe de perte avec celles de NSA et de Full Attention. Pour la méthode de sélection basée sur une perte auxiliaire, nous introduisons des requêtes supplémentaires pour chaque token et des clés représentatives pour chaque bloc afin d'estimer les scores d'importance des blocs. Nous calculons les signaux de supervision au niveau des blocs en appliquant un mean-pooling sur les scores d'attention au sein de chaque bloc de clés, et utilisons la divergence KL pour superviser la prédiction d'importance des blocs. Nous conservons une granularité individuelle des requêtes plutôt que des requêtes moyennées par bloc afin de permettre un décodage efficace. Cette estimation d'importance basée sur une perte auxiliaire présente une similarité conceptuelle avec SeerAttention (Gao et al. [2024]). Pour la méthode de sélection heuristique sans paramètres, suivant la stratégie de Quest, nous mettons en œuvre une sélection directe à l'aide du produit entre les requêtes et le min-max par coordonnée des chunks de clés, sans introduire de paramètres supplémentaires. Nous explorons également une approche d'entraînement à démarrage à froid où Full Attention est appliquée pendant les 1000 premières étapes avant de passer à la sélection heuristique par blocs. Comme le montre la figure 7, les deux méthodes ont présenté une perte inférieure.

6.2. Visualisation

Afin d'explorer les motifs potentiels dans les distributions d'attention des transformeurs et de chercher l'inspiration pour notre conception, nous visualisons la carte d'attention de notre modèle Full Attention pré-entraîné de 27B dans la figure 8. La visualisation révèle des motifs intéressants où les scores d'attention tendent à présenter des caractéristiques de regroupement par blocs, les clés voisines affichant souvent des scores d'attention similaires. Cette observation a inspiré notre conception de NSA, suggérant que la sélection de blocs de clés basée sur la continuité spatiale pourrait être une approche prometteuse. Le phénomène de regroupement par blocs indique que les tokens adjacents dans la séquence peuvent partager certaines relations sémantiques avec les tokens de requête, bien que la nature exacte de ces relations nécessite des investigations supplémentaires. Cetteobservation nous a motivés à explorer un mécanisme d'attention creuse qui opère sur des blocs de tokens continus plutôt que sur des tokens individuels, visant à améliorer l'efficacité computationnelle et à préserver les motifs de forte attention.

7. Travaux connexes

Nous passons en revue les approches existantes qui améliorent l'efficacité du calcul de l'attention grâce à l'attention creuse. Ces méthodes peuvent être globalement classées en trois groupes selon leur stratégie centrale : (1) motif creux fixe, (2) élagage dynamique de tokens et (3) sélection sensible à la requête. Nous présentons plusieurs travaux représentatifs de chaque catégorie.

7.1. Motif creux fixe

SlidingWindow est une approche couramment utilisée qui permet à la requête de calculer l'attention uniquement dans une fenêtre fixe. StreamingLLM (Xiao et al., 2023) combine des puits d'attention avec des fenêtres locales pour traiter des flux de texte continus. MoA (Fu et al., 2024a) et DuoAttention (Xiao et al., 2024b) adoptent également des informations locales et de puits similaires pour la modélisation de longues séquences. Longformer (Beltagy et al., 2020) entrelace l'attention locale par fenêtre avec des tokens globaux pour traiter de longues séquences. Comparé à ces méthodes, notre NSA ne repose pas sur des motifs creux prédéfinis, mais apprend les motifs automatiquement, libérant le potentiel d'exploitation du contexte complet.

7.2. Élagage dynamique de tokens

Certaines méthodes sont conçues pour réduire les coûts de mémoire et de calcul lors de l'inférence grâce à l'élagage dynamique du cache KV. H2O (Zhang et al., 2023b), BUZZ (Zhao et al., 2024) et SepLLM (Chen et al., 2024a) mettent en œuvre des approches adaptatives pour réduire l'utilisation mémoire du cache KV pendant le décodage. Ces méthodes évincents dynamiquement les tokens jugés moins importants pour les prédictions futures. FastGen (Ge et al., 2023) et HeadKV (Fu et al., 2024b) optimisent le calcul en attribuant différentes stratégies à chaque tête d'attention individuelle. SnapKV (Li et al., 2024) introduit une stratégie d'élagage de tokens qui réduit le cache KV en ne conservant sélectivement que les caractéristiques les plus cruciales, permettant une utilisation efficace de la mémoire. Contrairement à ces approches centrées sur l'inférence, notre NSA intègre la parcimonie nativement lors de la phase d'entraînement.

7.3. Sélection sensible à la requête

D'autres travaux se concentrent sur des méthodes de sélection de tokens dépendantes de la requête afin de réduire le calcul de l'attention tout en préservant sa qualité. Quest (Tang et al., 2024) emploie une stratégie de sélection par blocs où l'importance de chaque segment est estimée par le produit entre la requête et le minimum-maximum par coordonnée des segments de clés. InfLLM (Xiao et al., 2024a) combine des motifs fixes avec la récupération en maintenant des puits d'attention, un contexte local et des segments récupérables. Cette méthode sélectionne des clés représentatives dans chaque segment pour estimer l'importance du segment. HashAttention (Desai et al., 2024) formule l'identification des tokens pivots comme un problème de recommandation en projetant les requêtes et les clés dans l'espace de Hamming à l'aide de fonctions apprises. ClusterKV (Liu et al., 2024) obtient la parcimonie en regroupant d'abord les clés, puis en sélectionnant les groupes les plus pertinents pour le calcul de l'attention sur la base de la similarité requête-groupe. MInference (Jiang et al., 2024) et TokenSelect (Wu et al., 2024) sélectionnent les paires KV pour le calcul sur la base d'une notation d'importance au niveau des tokens. SeerAttention (Gao et al., 2024) sépare les requêtes et les clés en blocs spatiaux et effectue une sélection par blocs pour un calcul efficace. Comparée à ces méthodes, notre NSA réalise un calcul d'attention parcimonieux aligné sur le matériel tout au long du cycle de vie complet du modèle, incluant l'entraînement, le pré-remplissage et le décodage.

8. Conclusion

Nous présentons NSA, une architecture d'attention parcimonieuse alignée sur le matériel pour une modélisation efficace de contextes longs. En intégrant une compression hiérarchique des tokens à une sélection de tokens par blocs au sein d'une architecture entraînable, notre architecture réalise un entraînement et une inférence accélérés tout en conservant les performances de l'attention complète. NSA fait progresser l'état de l'art en démontrant que les performances sur les benchmarks généraux correspondent à celles des références à attention complète, en dépassant la capacité de modélisation dans les évaluations sur contextes longs, et en améliorant la capacité de raisonnement, le tout accompagné de réductions mesurables de la latence de calcul et d'une accélération significative.

Références

J. Ainslie, J. Lee-Thorp, M. de Jong, Y. Zemlyanskiy, F. Lebrón, and S. Sanghai. Gqa: Training generalized multi-query transformer models from multi-head checkpoints. arXiv preprint arXiv:2305.13245, 2023. J. Austin, A. Odena, M. Nye, M. Bosma, H. Michalewski, D. Dohan, E. Jiang, C. Cai, M. Terry, Q. Le, et al. Program synthesis with large language models. arXiv preprint arXiv:2108.07732, 2021. Y. Bai, X. Lv, J. Zhang, H. Lyu, J. Tang, Z. Huang, Z. Du, X. Liu, A. Zeng, L. Hou, et al. Longbench: A bilingual, multitask benchmark for long context understanding. arXiv preprint arXiv:2308.14508, 2023. I. Beltagy, M. E. Peters, and A. Cohan. Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150, 2020. G. Chen, H. Shi, J. Li, Y. Gao, X. Ren, Y. Chen, X. Jiang, Z. Li, W. Liu, and C. Huang. Sepllm: Accelerate large language models by compressing one segment into one separator. arXiv preprint arXiv:2412.12094, 2024a. M. Chen, J. Tworek, H. Jun, Q. Yuan, H. P. D. O. Pinto, J. Kaplan, H. Edwards, Y. Burda, N. Joseph, G. Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021. Z. Chen, R. Sadhukhan, Z. Ye, Y. Zhou, J. Zhang, N. Nolte, Y. Tian, M. Douze, L. Bottou, Z. Jia, et al. Magicpig: Lsh sampling for efficient llm generation. arXiv preprint arXiv:2410.16179, 2024b. K. Cobbe, V. Kosaraju, M. Bavarian, M. Chen, H. Jun, L. Kaiser, M. Plappert, J. Tworek, J. Hilton, R. Nakano, et al. Training verifiers to solve math word problems, 2021. URL https://arxiv.org/abs/2110.14168, 2021. D. Dai, C. Deng, C. Zhao, R. Xu, H. Gao, D. Chen, J. Li, W. Zeng, X. Yu, Y. Wu, et al. Deepseekmoe: Towards ultimate expert specialization in mixture-of-experts language models. arXiv preprint arXiv:2401.06066, 2024. DeepSeek- AI. Deepseek- v2: A strong, economical, and efficient mixture- of- experts language model. 2024. URL https://arxiv.org/abs/2405.04434 DeepSeek- AI. Deepseek- r1: Incentivizing reasoning capability in llms via reinforcement learning, 2025. URL https://arxiv.org/abs/2501.12948

A. Desai, S. Yang, A. Cuadron, A. Klimovic, M. Zaharia, J. E. Gonzalez et I. Stoica. Hashattention : parcimonie sémantique pour une inférence plus rapide. Prépublication arXiv arXiv:2412.14468, 2024.

D. Dua, Y. Wang, P. Dasigi, G. Stanovsky, S. Singh et M. Gardner. Drop : un benchmark de compréhension écrite nécessitant un raisonnement discret sur des paragraphes. Prépublication arXiv arXiv:1903.00161, 2019.

T. Fu, H. Huang, X. Ning, G. Zhang, B. Chen, T. Wu, H. Wang, Z. Huang, S. Li, S. Yan, et al. Moa : mélange d'attention parcimonieuse pour la compression automatique de grands modèles de langage. Prépublication arXiv arXiv:2406.14909, 2024a.

Y. Fu, Z. Cai, A. Asi, W. Xiong, Y. Dong et W. Xiao. Toutes les têtes ne comptent pas : une méthode de compression du cache kv au niveau des têtes avec récupération et raisonnement intégrés. Prépublication arXiv arXiv:2410.19258, 2024b.

Y. Gao, Z. Zeng, D. Du, S. Cao, H. K.-H. So, T. Cao, F. Yang et M. Yang. Seerattention : apprendre l'attention parcimonieuse intrinsèque dans vos llms. Prépublication arXiv arXiv:2410.13276, 2024.

S. Ge, Y. Zhang, L. Liu, M. Zhang, J. Han et J. Gao. Le modèle vous dit quoi écarter : compression adaptative du cache kv pour les llms. Prépublication arXiv arXiv:2310.01801, 2023.

G. T. Google, P. Georgiev, V. I. Lei, R. Burnell, L. Bai, A. Gulati, G. Tanzer, D. Vincent, Z. Pan, S. Wang, et al. Gemini 1.5 : débloquer la compréhension multimodale sur des millions de jetons de contexte. Prépublication arXiv arXiv:2403.05530, 2024.

D. Hendrycks, C. Burns, S. Basart, A. Zou, M. Mazeika, D. Song et J. Steinhardt. Mesurer la compréhension massive du langage multitâche. Prépublication arXiv arXiv:2009.03300, 2020.

H. Jiang, Q. Wu, C.-Y. Lin, Y. Yang et L. Qiu. Llmlingua : compresser les invites pour une inférence accélérée des grands modèles de langage. Prépublication arXiv arXiv:2310.05736, 2023.

H. Jiang, Y. Li, C. Zhang, Q. Wu, X. Luo, S. Ahn, Z. Han, A. H. Abdi, D. Li, C.-Y. Lin, et al. Minference 1.0 : accélérer le pré-remplissage des llms à contexte long via une attention parcimonieuse dynamique. Prépublication arXiv arXiv:2407.02490, 2024.

G. Kamradt. LLMTest NeedleInAHaystack. Dépôt GitHub, 2023. URL https://github.com/gkamradt/LLMTest_NeedleInAHaystack Consulté le : [Insérer la date de consultation ici].

.

.

H. Li, Y. Zhang, F. Koto, Y. Yang, H. Zhao, Y. Gong, N. Duan et T. Baldwin. Cmmlu : mesurer la compréhension massive du langage multitâche en chinois. Prépublication arXiv arXiv:2306.09212, 2023.

Y. Li, Y. Huang, B. Yang, B. Venkitesh, A. Locatelli, H. Ye, T. Cai, P. Lewis et D. Chen. Snapkv : le llm sait ce que vous cherchez avant la génération. Prépublication arXiv arXiv:2404.14469, 2024.

.

G. Liu, C. Li, J. Zhao, C. Zhang et M. Guo. Clusterkv : manipuler le cache kv des llms dans l'espace sémantique pour une compression rappelable. Prépublication arXiv arXiv:2412.03213, 2024.

J. S. Park, J. C. O'Brien, C. J. Cai, M. R. Morris, P. Liang et M. S. Bernstein. Agents génératifs : simulacres interactifs du comportement humain. In S. Follmer, J. Han, J. Steimle et N. H. Riche, éditeurs, Actes du 36e symposium annuel ACM sur les logiciels et technologies d'interface utilisateur, UIST 2023, San Francisco, CA, États-Unis, 29 octobre 2023–1er novembre 2023, pages 2:1–2:22. ACM, 2023.

.

.

B. Peng, J. Quesnelle, H. Fan et E. Shippole. Yarn : extension efficace de la fenêtre de contexte des grands modèles de langage. In ICLR. OpenReview.net, 2024.

N. Shazeer. Décodage rapide de transformateur : une seule tête d'écriture suffit. CoRR, abs/1911.02150, 2019.

M. Suzgun, N. Scales, N. Schärli, S. Gehrmann, Y. Tay, H. W. Chung, A. Chowdhery, Q. V. Le, E. H. Chi, D. Zhou, et al. Défier les tâches big-bench et déterminer si la chaîne de pensée peut les résoudre. Prépublication arXiv arXiv:2210.09261, 2022.

J. Tang, Y. Zhao, K. Zhu, G. Xiao, B. Kasikci et S. Han. Quest : parcimonie sensible aux requêtes pour une inférence efficace des llms à contexte long. Prépublication arXiv arXiv:2406.10774, 2024.

P. Tillet, H.-T. Kung et D. Cox. Triton : un langage intermédiaire et un compilateur pour les calculs de réseaux neuronaux par tuiles. In Actes du 3e atelier international ACM SIGPLAN sur l'apprentissage automatique et les langages de programmation, pages 10-19, 2019.

A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. u. Kaiser et I. Polosukhin. L'attention est tout ce dont vous avez besoin. Advances in Neural Information Processing Systems, 2017.

Y. Wang, X. Ma, G. Zhang, Y. Ni, A. Chandra, S. Guo, W. Ren, A. Arulraj, X. He, Z. Jiang, et al. Mmlu-pro : un benchmark de compréhension du langage multitâche plus robuste et plus exigeant. Prépublication arXiv arXiv:2406.01574, 2024.

J. Wei, X. Wang, D. Schuurmans, M. Bosma, F. Xia, E. Chi, Q. V. Le, D. Zhou, et al. L'invite par chaîne de pensée suscite le raisonnement dans les grands modèles de langage. Advances in neural information processing systems, 35:24824-24837, 2022.

W. Wu, Z. Pan, C. Wang, L. Chen, Y. Bai, K. Fu, Z. Wang et H. Xiong. Tokenselect : inférence efficace à contexte long et extrapolation de longueur pour les llms via une sélection dynamique du cache kv au niveau des jetons. Prépublication arXiv arXiv:2411.02886, 2024.

C. Xiao, P. Zhang, X. Han, G. Xiao, Y. Lin, Z. Zhang, Z. Liu et M. Sun. Infllm : extrapolation à contexte long sans entraînement pour les llms avec une mémoire de contexte efficace. In La trente-huitième conférence annuelle sur les systèmes de traitement de l'information neuronale, 2024a.

G. Xiao, Y. Tian, B. Chen, S. Han et M. Lewis. Modèles de langage en flux efficaces avec puits d'attention. Prépublication arXiv arXiv:2309.17453, 2023.

G. Xiao, J. Tang, J. Zuo, J. Guo, S. Yang, H. Tang, Y. Fu et S. Han. Duoattention : inférence efficace des llms à contexte long avec têtes de récupération et de flux. Prépublication arXiv arXiv:2410.10819, 2024b.

M. Zaheer, G. Guruganesh, K. A. Dubey, J. Ainslie, C. Alberti, S. Ontanon, P. Pham, A. Ravula, Q. Wang, L. Yang, et al. Big bird : des transformateurs pour des séquences plus longues. Advances in neural information processing systems, 33:17283-17297, 2020.

E. Zelikman, Y. Wu, J. Mu et N. D. Goodman. Star: Bootstrapping reasoning with reasoning. Dans S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho et A. Oh, éditeurs, Advances in Neural Information Processing Systems 35 : Annual Conference on Neural Information Processing Systems 2022, NeurIPS 2022, La Nouvelle-Orléans, LA, États-Unis, 28 novembre - 9 décembre 2022, 2022.

F. Zhang, B. Chen, Y. Zhang, J. Keung, J. Liu, D. Zan, Y. Mao, J. Lou et W. Chen. Repocoder: Repository-level code completion through iterative retrieval and generation. Dans H. Bouamor, J. Pino et K. Bali, éditeurs, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, EMNLP 2023, Singapour, 6-10 décembre 2023, pages 2471-2484. Association for Computational Linguistics, 2023a.K. Zhang, J. Li, G. Li, X. Shi et Z. Jin. Codeagent: Enhancing code generation with tool-integrated agent systems for real-world repo-level coding challenges. Dans L. Ku, A. Martins et V. Srikumar, éditeurs, Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2024, Bangkok, Thaïlande, 11-16 août 2024, pages 13643-13658.Z. Zhang, Y. Sheng, T. Zhou, T. Chen, L. Zheng, R. Cai, Z. Song, Y. Tian, C. Ré, C. Barrett, et al. H2o: Heavy-hitter oracle for efficient generative inference of large language models. Advances in Neural Information Processing Systems, 36:34661-34710, 2023b.J. Zhao, Z. Fang, S. Li, S. Yang et S. He. Buzz: Beehive-structured sparse kv cache with segmented heavy hitters for efficient llm inference. arXiv preprint arXiv:2410.23079, 2024.Z. Zhou, C. Li, X. Chen, S. Wang, Y. Chao, Z. Li, H. Wang, R. An, Q. Shi, Z. Tan, et al. Llm × mapreduce: Simplified long-sequence processing using large language models. arXiv preprint arXiv:2410.09342, 2024.

A. Exemple de résultats AIME

Invite :

« | Utilisateur | Soit x,yx, y et zz des nombres réels positifs qui satisfont le système d’équations suivant :

\[\log_{2}\left(\frac{x}{yz}\right) = \frac{1}{2\] \[\log_{2}\left(\frac{y}{xz}\right) = \frac{1}{3\] \[\log_{2}\left(\frac{z}{xy}\right) = \frac{1}{4\]

Alors la valeur de ∣log⁡2(x4y3z2)∣\left|\log_{2}(x^{4}y^{3}z^{2})\right| est mn\frac{m}{n} où mm et nn sont des entiers positifs premiers entre eux. Trouver m+nm + n . Veuillez raisonner étape par étape et placer la réponse finale dans □\square . | Assistant | »

Notre résultat :

⟨think⟩…⟨/think⟩\langle \mathrm{think}\rangle \ldots \langle /\mathrm{think}\rangle (2275 tokens)

Étant donné le système d’équations :

1.log⁡2(xyz)=12.log⁡2(yxz)=13.log⁡2(zxy)=141.\log_{2}\left(\frac{x}{yz}\right) = \frac{1}{2}. \log_{2}\left(\frac{y}{xz}\right) = \frac{1}{3}. \log_{2}\left(\frac{z}{xy}\right) = \frac{1}{4}

Nous convertissons ces équations logarithmiques sous leur forme exponentielle :

1.xyz=22.yxz=21/33.zxy=21/41.\frac{x}{yz} = \sqrt{2} 2.\frac{y}{xz} = 2^{1 / 3}3.\frac{z}{xy} = 2^{1 / 4}

En exprimant chaque variable en fonction de x,yx, y et zz :

\[1.
x=2⋅yz2.y=21/3⋅xz3.z=21/4⋅xyx = \sqrt{2} \cdot yz 2. y = 2^{1 / 3} \cdot xz 3. z = 2^{1 / 4} \cdot xy
\]

En substituant ces expressions les unes dans les autres, nous trouvons :- À partir de x=2⋅yzx = \sqrt{2} \cdot yz et y=21/3⋅xzy = 2^{1 / 3} \cdot xz , nous obtenons x=2⋅(21/3⋅xz)⋅zx = \sqrt{2} \cdot (2^{1 / 3} \cdot xz) \cdot z , ce qui conduit à z=2−5/12z = 2^{-5 / 12} . - En substituant zz dans l’équation pour yy , nous obtenons y=2−3/8y = 2^{-3 / 8} . - En substituant zz et yy dans l’équation pour xx , nous obtenons x=2−7/24x = 2^{-7 / 24} .

Ensuite, nous calculons x4y3z2x^{4}y^{3}z^{2} :

−x4=(2−7/24)4=2−7/6⋅y3=(2−3/8)3=2−9/8⋅z2=(2−5/12)2=2−5/6-x^{4} = (2^{-7 / 24})^{4} = 2^{-7 / 6} \cdot y^{3} = (2^{-3 / 8})^{3} = 2^{-9 / 8} \cdot z^{2} = (2^{-5 / 12})^{2} = 2^{-5 / 6}

En multipliant ces quantités ensemble :

x4y3z2=2−7/6⋅2−9/8⋅2−5/6=2−75/24=2−25/8x^{4}y^{3}z^{2} = 2^{-7 / 6} \cdot 2^{-9 / 8} \cdot 2^{-5 / 6} = 2^{-75 / 24} = 2^{-25 / 8}

En prenant le logarithme de base 2 :

log⁡2(x4y3z2)=−25/8\log_{2}(x^{4}y^{3}z^{2}) = -25 / 8

La valeur absolue est :

∣log⁡2(x4y3z2)∣=25/8|\log_{2}(x^{4}y^{3}z^{2})| = 25 / 8

Ainsi, m=25m = 25 et n=8n = 8 , ce qui donne m+n=33m + n = 33 .

33

Résultat de référence :

(think)...(/think) (9392 tokens)

Étant donné le système d’équations logarithmiques :

\[\log_2\left(\frac{x}{yz}\right) = \frac{1}{2\] \[\log_2\left(\frac{y}{xz}\right) = \frac{1}{3\] \[\log_2\left(\frac{z}{xy}\right) = \frac{1}{4\]

Nous convertissons ces équations sous forme exponentielle :

2=xyz⟹x=2⋅yz213=yxz⟹y=213⋅xz214=zxy⟹z=214⋅xy\begin{array}{c} \sqrt{2} = \frac{x}{yz}\Longrightarrow x = \sqrt{2}\cdot yz \\ 2^{\frac{1}{3}} = \frac{y}{xz}\Longrightarrow y = 2^{\frac{1}{3}}\cdot xz \\ 2^{\frac{1}{4}} = \frac{z}{xy}\Longrightarrow z = 2^{\frac{1}{4}}\cdot xy \end{array}

En les substituant les unes dans les autres, nous trouvons :

\[1.
x=2⋅yz2.y=213⋅xz3.z=214⋅xyx = \sqrt{2} \cdot yz 2. y = 2^{\frac{1}{3}} \cdot xz 3. z = 2^{\frac{1}{4}} \cdot xy
\]

En résolvant ces équations étape par étape, nous trouvons :

−z=2−5/12−xy=2−2/3−y=2−1/24−x=21/24-z = 2^{-5 / 12} - xy = 2^{-2 / 3} - y = 2^{-1 / 24} - x = 2^{1 / 24}

Cependant, en vérifiant la troisième équation, nous réalisons que le système pourrait ne pas avoir de solution. Par conséquent, nous utilisons l’inversion matricielle pour résoudre le système :

\[\left\{ \begin{array}{l l}{\log_{2}(x) - \log_{2}(y) - \log_{2}(z) = \frac{1}{2\] \[\log_{2}(y) - \log_{2}(x) - \log_{2}(z) = \frac{1}{3\]
\log_{2}(z) - \log_{2}(x) - \log_{2}(y) = \frac{1}{4} \end{array} \right.

Soit A=log⁡2(x)A = \log_2(x) , B=log⁡2(y)B = \log_2(y) , C=log⁡2(z)C = \log_2(z) . Le système devient :

\[\left\{ \begin{array}{l l}{A - B - C = \frac{1}{2\]
B - A - C = \frac{1}{3\] \[C - A - B = \frac{1}{4} \end{array} }\right.

Nous résolvons ce système à l’aide de la règle de Cramer et de l’inversion matricielle. Le déterminant de la matrice est - 2, et les solutions sont :

A=6148,B=1316,C=−16A = \frac{61}{48}, \quad B = \frac{13}{16}, \quad C = -\frac{1}{6}

Ainsi, nous avons :

x=261/48,y=213/16,z=2−1/6x = 2^{61 / 48}, \quad y = 2^{13 / 16}, \quad z = 2^{-1 / 6}

Nous devons trouver ∣log⁡2(x4y3z2)∣\left|\log_2(x^4 y^3 z^2)\right| :

4log⁡2x+3log⁡2y+2log⁡2z=4⋅6148+3⋅1316+2⋅(−16)4\log_2x + 3\log_2y + 2\log_2z = 4\cdot \frac{61}{48} +3\cdot \frac{13}{16} +2\cdot \left(-\frac{1}{6}\right)

En convertissant au dénominateur commun (48) :

4⋅6148=24448,3⋅1316=11748,2⋅(−16)=−16484\cdot \frac{61}{48} = \frac{244}{48}, \quad 3\cdot \frac{13}{16} = \frac{117}{48}, \quad 2\cdot \left(-\frac{1}{6}\right) = -\frac{16}{48}

En additionnant ces termes :

24448+11748−1648=34548=11516\frac{244}{48} +\frac{117}{48} -\frac{16}{48} = \frac{345}{48} = \frac{115}{16}

La fraction 11516\frac{115}{16} est sous forme irréductible, donc m=115m = 115 et n=16n = 16 . Par conséquent, m+n=115+16=131m + n = 115 + 16 = 131 .

Invite :

"| Utilisateur | Des nombres réels xx et yy avec x,y>1x, y > 1 satisfont log⁡x(yx)=log⁡y(x4y)=10\log_x(y^x) = \log_y(x^{4y}) = 10 . Quelle est la valeur de xyxy ? Veuillez raisonner étape par étape et placer votre réponse finale dans □\square . | Assistant | "

Notre résultat :

⟨think⟩…⟨/think⟩\langle \mathrm{think}\rangle \ldots \langle /\mathrm{think}\rangle (15147 tokens)

Étant donné les équations :

1. log⁡x(yx)=10\log_{x}(y^{x}) = 10 2. log⁡y(x4y)=10\log_{y}(x^{4y}) = 10

Nous commençons par appliquer la règle de puissance des logarithmes aux deux équations.

Pour la première équation :

log⁡x(yx)=x⋅log⁡x(y)=10\log_{x}(y^{x}) = x\cdot \log_{x}(y) = 10

Soit z=log⁡y(x)z = \log_{y}(x) . Alors, log⁡x(y)=1z\log_{x}(y) = \frac{1}{z} . En substituant ceci dans l’équation, nous obtenons :

x⋅1z=10⇒x=10zx\cdot {\frac{1}{z}} = 10\Rightarrow x = 10z

Pour la deuxième équation :

log⁡y(x4y)=y⋅log⁡y(x4)=10\log_{y}(x^{4y}) = y\cdot \log_{y}(x^{4}) = 10

En utilisant la règle de puissance, nous obtenons :

y⋅4log⁡y(x)=10⇒4ylog⁡y(x)=10y\cdot 4\log_{y}(x) = 10\Rightarrow 4y\log_{y}(x) = 10

Puisque log⁡y(x)=z\log_{y}(x) = z , ceci se simplifie en :

4yz=10⇒yz=524yz = 10\Rightarrow yz = \frac{5}{2}

Nous avons maintenant deux expressions :

1. x=10zx = 10z 2. y=5/2zy = \frac{5 / 2}{z}

En substituant x=10zx = 10z et y=5/2zy = \frac{5 / 2}{z} dans le produit xyxy , nous obtenons :

xy=(10z)⋅(5/2z)=10z⋅52z=10⋅52=25xy = (10z)\cdot \left(\frac{5 / 2}{z}\right) = 10z\cdot \frac{5}{2z} = 10\cdot \frac{5}{2} = 25

Ainsi, la valeur de xyxy est 25\boxed{25} .

Résultat de référence :

⟨think⟩…⟨/think⟩\langle \mathrm{think}\rangle \ldots \langle /\mathrm{think}\rangle (16223 tokens)

Étant donné le problème où des nombres réels xx et yy avec x,y>1x,y > 1 satisfont les équations log⁡x(yx)=10\log_{x}(y^{x}) = 10 et log⁡y(x4y)=10\log_{y}(x^{4}y) = 10 , nous devons trouver la valeur de xyxy .

D’abord, nous convertissons les équations logarithmiques sous leurs formes exponentielles en utilisant la formule de changement de base.

1. log⁡x(yx)=10\log_{x}(y^{x}) = 10

xlog⁡x(y)=10x\log_{x}(y) = 10

En utilisant la formule de changement de base, log⁡x(y)=ln⁡yln⁡x\log_{x}(y) = \frac{\ln y}{\ln x} . Puisque log⁡yx=94\log_{y}x = \frac{9}{4} , nous avons log⁡xy=49\log_{x}y = \frac{4}{9} . Ainsi,

x⋅49=10⟹x=10⋅94=904=452x\cdot {\frac{4}{9}} = 10\Longrightarrow x = \frac{10\cdot9}{4} = \frac{90}{4} = \frac{45}{2}

2. log⁡y(x4y)=10\log_{y}(x^{4}y) = 10

4log⁡yx+1=10⟹4log⁡yx=9⟹log⁡yx=944\log_{y}x + 1 = 10\Longrightarrow 4\log_{y}x = 9\Longrightarrow \log_{y}x = \frac{9}{4}

De nouveau, en utilisant la formule de changement de base, log⁡xy=49\log_{x}y = \frac{4}{9} .

Ensuite, nous exprimons xx et yy l'un en fonction de l'autre :

x=452ety=(452)4/9x = \frac{45}{2}\quad \mathrm{et}\quad y = \left(\frac{45}{2}\right)^{4 / 9}

Nous calculons ensuite le produit xyxy :

xy=(452)⋅(452)4/9=(452)1+4/9=(452)13/9xy = \left(\frac{45}{2}\right)\cdot \left(\frac{45}{2}\right)^{4 / 9} = \left(\frac{45}{2}\right)^{1 + 4 / 9} = \left(\frac{45}{2}\right)^{13 / 9}

Cependant, après réévaluation et en utilisant une autre approche en posant x=2ax = 2^{a} et y=2by = 2^{b} , nous trouvons :

log⁡x(yx)=10⟹xlog⁡xylog⁡xy=10⟹x⋅49=10⟹x=452\log_{x}(y^{x}) = 10\Longrightarrow \frac{x\log_{x}y}{\log_{x}y} = 10\Longrightarrow x\cdot \frac{4}{9} = 10\Longrightarrow x = \frac{45}{2}
log⁡y(x4y)=10⟹4log⁡yx+1log⁡yx=10⟹4⋅94+1=10⟹9+1=10coheˊrent\log_{y}(x^{4}y) = 10\Longrightarrow \frac{4\log_{y}x + 1}{\log_{y}x} = 10\Longrightarrow 4\cdot \frac{9}{4} +1 = 10\Longrightarrow 9 + 1 = 10\quad \mathrm{cohérent}

Enfin, nous trouvons que le produit xyxy se simplifie en :

xy=(452)xy = \left(\frac{45}{2}\right)