Ir al contenido principal
Vaswani et al.

La autoatención sustituye recurrencia y convolución: el Transformer. El artículo de NIPS 2017 que abrió los modelos de lenguaje actuales, gratis online.

Siempre que se proporcione la debida atribución, Google otorga por la presente permiso para reproducir las tablas y figuras de este artículo únicamente para su uso en trabajos periodísticos o académicos.

Attention Is All You Need

Ashish Vaswani* Google Brain avaswani@google.com

Noam Shazeer* Google Brain noam@google.com

Niki Parmar* Google Research nikip@google.com

Jakob Uszkoreit* Google Research usz@google.com

Llion Jones* Google Research llion@google.com

Aidan N. Gomez*† University of Toronto aidan@cs.toronto.edu

Lukasz Kaiser* Google Brain lukaszkaiser@google.com

Illia Polosukhin*† illia.polosukhin@gmail.com

Resumen

Los modelos dominantes de transducción de secuencias se basan en complejas redes neuronales recurrentes o convolucionales que incluyen un codificador y un decodificador. Los modelos con mejor rendimiento también conectan el codificador y el decodificador mediante un mecanismo de atención. Proponemos una nueva arquitectura de red simple, el Transformer, basada únicamente en mecanismos de atención, prescindiendo por completo de la recurrencia y las convoluciones. Los experimentos en dos tareas de traducción automática muestran que estos modelos son superiores en calidad, a la vez que son más paralelizables y requieren significativamente menos tiempo de entrenamiento. Nuestro modelo alcanza 28.4 BLEU en la tarea de traducción de inglés a alemán de WMT 2014, mejorando los mejores resultados existentes, incluidos los conjuntos, en más de 2 BLEU. En la tarea de traducción de inglés a francés de WMT 2014, nuestro modelo establece un nuevo puntaje BLEU de vanguardia para un solo modelo de 41.8 después de entrenar durante 3.5 días en ocho GPU, una pequeña fracción de los costos de entrenamiento de los mejores modelos de la literatura. Mostramos que el Transformer generaliza bien a otras tareas aplicándolo con éxito al análisis de constituyentes del inglés tanto con datos de entrenamiento abundantes como limitados.

1 Introducción

Las redes neuronales recurrentes, en particular la memoria a largo y corto plazo [13] y las redes neuronales recurrentes con compuertas [7], se han establecido firmemente como enfoques de vanguardia en el modelado de secuencias y los problemas de transducción, como el modelado de lenguaje y la traducción automática [35] [2] [5]. Numerosos esfuerzos han continuado desde entonces empujando los límites de los modelos de lenguaje recurrentes y las arquitecturas codificador-decodificador [38] [24] [15].

Los modelos recurrentes típicamente factorizan la computación a lo largo de las posiciones de símbolo de las secuencias de entrada y salida. Alineando las posiciones con los pasos en el tiempo de computación, generan una secuencia de estados ocultos hth_{t}, como función del estado oculto anterior ht−1h_{t - 1} y la entrada para la posición tt. Esta naturaleza inherentemente secuencial impide la paralelización dentro de los ejemplos de entrenamiento, lo que se vuelve crítico en longitudes de secuencia más largas, ya que las restricciones de memoria limitan el agrupamiento en lotes entre ejemplos. Trabajos recientes han logrado mejoras significativas en eficiencia computacional mediante trucos de factorización [21] y computación condicional [32], mientras que también mejoran el rendimiento del modelo en el caso de esta última. La restricción fundamental de la computación secuencial, sin embargo, permanece.

Los mecanismos de atención se han convertido en una parte integral de modelos convincentes de modelado de secuencias y transducción en diversas tareas, permitiendo modelar dependencias sin importar su distancia en las secuencias de entrada o salida [2] [19]. En todos los casos salvo unos pocos [27], sin embargo, dichos mecanismos de atención se utilizan junto con una red recurrente.

En este trabajo proponemos el Transformer, una arquitectura de modelo que evita la recurrencia y en su lugar se basa enteramente en un mecanismo de atención para extraer dependencias globales entre entrada y salida. El Transformer permite una paralelización significativamente mayor y puede alcanzar un nuevo estado del arte en calidad de traducción después de ser entrenado durante tan solo doce horas en ocho GPU P100.

2 Antecedentes

El objetivo de reducir la computación secuencial también constituye la base de la Extended Neural GPU [16], ByteNet [18] y ConvS2S [9], todas las cuales utilizan redes neuronales convolucionales como bloque de construcción básico, calculando representaciones ocultas en paralelo para todas las posiciones de entrada y salida. En estos modelos, el número de operaciones requeridas para relacionar señales de dos posiciones arbitrarias de entrada o salida crece con la distancia entre posiciones, linealmente para ConvS2S y logarítmicamente para ByteNet. Esto hace más difícil aprender dependencias entre posiciones distantes [12]. En el Transformer esto se reduce a un número constante de operaciones, aunque a costa de una reducción de la resolución efectiva debido al promedio de posiciones ponderadas por atención, un efecto que contrarrestamos con la Atención Multicabeza como se describe en la sección [3.2].

La autoatención, a veces llamada atención interna, es un mecanismo de atención que relaciona diferentes posiciones de una única secuencia para calcular una representación de la secuencia. La autoatención se ha utilizado con éxito en una variedad de tareas, incluida la comprensión lectora, la sumarización abstractiva, la implicación textual y el aprendizaje de representaciones de oraciones independientes de la tarea [4] [27] [28] [22].

Las redes de memoria de extremo a extremo se basan en un mecanismo de atención recurrente en lugar de recurrencia alineada con la secuencia y se ha demostrado que funcionan bien en tareas de respuesta a preguntas en lenguaje simple y modelado de lenguaje [34].

Hasta donde sabemos, sin embargo, el Transformer es el primer modelo de transducción que se basa enteramente en la autoatención para calcular representaciones de su entrada y salida sin usar RNN alineadas con la secuencia ni convolución. En las siguientes secciones, describiremos el Transformer, motivaremos la autoatención y discutiremos sus ventajas sobre modelos como [17] [18] y [9].

3 Arquitectura del modelo

La mayoría de los modelos neuronales competitivos de transducción de secuencias tienen una estructura codificador-decodificador [5] [2] [35]. Aquí, el codificador mapea una secuencia de entrada de representaciones de símbolos (x1,…,xn)(x_{1},\ldots ,x_{n}) a una secuencia de representaciones continuas z=(z1,…,zn)\mathbf{z} = (z_{1},\ldots ,z_{n}). Dado z\mathbf{z}, el decodificador luego genera una secuencia de salida (y1,…,ym)(y_{1},\ldots ,y_{m}) de símbolos un elemento a la vez. En cada paso el modelo es autorregresivo [10], consumiendo los símbolos generados previamente como entrada adicional al generar el siguiente.

Figura 1: El Transformer: arquitectura del modelo.
Figura 1: El Transformer: arquitectura del modelo.

El Transformer sigue esta arquitectura general usando capas apiladas de autoatención y capas completamente conectadas puntuales tanto para el codificador como para el decodificador, mostradas en las mitades izquierda y derecha de la Figura [1] respectivamente.

3.1 Pilas del codificador y del decodificador

Codificador: El codificador está compuesto por una pila de N=6N = 6 capas idénticas. Cada capa tiene dos subcapas. La primera es un mecanismo de autoatención multicabeza, y la segunda es una red feed-forward simple, completamente conectada y puntual. Empleamos una conexión residual [11] alrededor de cada una de las dos subcapas, seguida de normalización de capa [1]. Es decir, la salida de cada subcapa es LayerNorm(x+Sublayer(x))\mathrm{LayerNorm}(x + \mathrm{Sublayer}(x)), donde Sublayer(x)\mathrm{Sublayer}(x) es la función implementada por la propia subcapa. Para facilitar estas conexiones residuales, todas las subcapas del modelo, así como las capas de embedding, producen salidas de dimensión dmodel=512d_{\mathrm{model}} = 512.

Decodificador: El decodificador también está compuesto por una pila de N=6N = 6 capas idénticas. Además de las dos subcapas en cada capa del codificador, el decodificador inserta una tercera subcapa, que realiza atención multicabeza sobre la salida de la pila del codificador. De manera similar al codificador, empleamos conexiones residuales alrededor de cada una de las subcapas, seguidas de normalización de capa. También modificamos la subcapa de autoatención en la pila del decodificador para evitar que las posiciones atiendan a posiciones posteriores. Este enmascaramiento, combinado con el hecho de que los embeddings de salida están desplazados en una posición, asegura que las predicciones para la posición ii puedan depender solo de las salidas conocidas en posiciones menores que ii.

3.2 Atención

Una función de atención puede describirse como el mapeo de una consulta y un conjunto de pares clave-valor a una salida, donde la consulta, las claves, los valores y la salida son todos vectores. La salida se calcula como una suma ponderada

Figura 2: (izquierda) Atención de producto escalar escalada. (derecha) La atención multicabeza consiste en varias capas de atención que se ejecutan en paralelo.
Figura 2: (izquierda) Atención de producto escalar escalada. (derecha) La atención multicabeza consiste en varias capas de atención que se ejecutan en paralelo.

de los valores, donde el peso asignado a cada valor se calcula mediante una función de compatibilidad de la consulta con la clave correspondiente.

3.2.1 Atención de producto punto escalada

Llamamos a nuestra atención particular "atención de producto escalar escalado" (Figura 2). La entrada consiste en consultas y claves de dimensión dkd_{k}, y valores de dimensión dvd_{v}. Calculamos los productos escalares de la consulta con todas las claves, dividimos cada uno por dk\sqrt{d_{k}}, y aplicamos una función softmax para obtener los pesos sobre los valores.

En la práctica, calculamos la función de atención sobre un conjunto de consultas simultáneamente, empaquetadas juntas en una matriz QQ. Las claves y los valores también se empaquetan juntos en matrices KK y VV. Calculamos la matriz de salidas como:

Attention(Q,K,V)=softmax(QKTdk)V(1)\mathrm{Attention}(Q,K,V) = \mathrm{softmax}\big(\frac{QK^{T}}{\sqrt{d_{k}}}\big)V \quad (1)

Las dos funciones de atención más comúnmente usadas son la atención aditiva 2, y la atención de producto escalar (multiplicativa). La atención de producto escalar es idéntica a nuestro algoritmo, excepto por el factor de escala de 1dk\frac{1}{\sqrt{d_{k}}}. La atención aditiva calcula la función de compatibilidad usando una red feed-forward con una sola capa oculta. Aunque las dos son similares en complejidad teórica, la atención de producto escalar es mucho más rápida y más eficiente en espacio en la práctica, ya que puede implementarse usando código de multiplicación de matrices altamente optimizado.

Mientras que para valores pequeños de dkd_{k} los dos mecanismos se comportan de manera similar, la atención aditiva supera a la atención de producto escalar sin escalado para valores más grandes de dkd_{k} [3]. Sospechamos que para valores grandes de dkd_{k}, los productos escalares crecen en magnitud, empujando a la función softmax hacia regiones donde tiene gradientes extremadamente pequeños. Para contrarrestar este efecto, escalamos los productos escalares por 1dk\frac{1}{\sqrt{d_{k}}}.

3.2.2 Atención multi-cabeza

En lugar de realizar una única función de atención con claves, valores y consultas de dimensión dmodeld_{\mathrm{model}}, encontramos beneficioso proyectar linealmente las consultas, claves y valores hh veces con diferentes proyecciones lineales aprendidas, a dimensiones dkd_{k}, dkd_{k} y dvd_{v}, respectivamente. Sobre cada una de estas versiones proyectadas de consultas, claves y valores realizamos entonces la función de atención en paralelo, produciendo valores de salida de dimensión dvd_{v}.Estos se concatenan y se proyectan una vez más, resultando en los valores finales, como se representa en la Figura 2

La atención multi-cabeza permite al modelo atender conjuntamente a información de diferentes subespacios de representación en diferentes posiciones. Con una sola cabeza de atención, el promedio inhibe esto.

MultiHead(Q,K,V)=Concat(head1,…,headh)WO\mathrm{MultiHead}(Q,K,V) = \mathrm{Concat}(\mathrm{head}{1},\dots,\mathrm{head}{\mathrm{h}})W^{O}
where head1=Attention(QWiQ,KWiK,VWiV)\mathrm{where~head}{1} = \mathrm{Attention}(QW{i}^{Q},KW_{i}^{K},VW_{i}^{V})

Donde las proyecciones son matrices de parámetros WiQ∈Rdmodel×dkW_{i}^{Q}\in \mathbb{R}^{d_{\mathrm{model}}\times d_{k}}, WiK∈Rdmodel×dkW_{i}^{K}\in \mathbb{R}^{d_{\mathrm{model}}\times d_{k}}, WiV∈Rdmodel×dvW_{i}^{V}\in \mathbb{R}^{d_{\mathrm{model}}\times d_{v}} y WO∈Rhdv×dmodelW^{O}\in \mathbb{R}^{h d_{v}\times d_{\mathrm{model}}}

En este trabajo empleamos h=8h = 8 capas de atención paralelas, o cabezas. Para cada una de ellas usamos dk=dv=dmodel/h=64d_{k} = d_{v} = d_{\mathrm{model}} / h = 64. Debido a la dimensión reducida de cada cabeza, el coste computacional total es similar al de la atención de una sola cabeza con dimensionalidad completa.

3.2.3 Aplicaciones de la atención en nuestro modelo

El Transformer utiliza atención multi-cabeza de tres formas diferentes:

- En las capas de "atención encoder-decoder", las consultas provienen de la capa anterior del decoder, y las claves y valores de memoria provienen de la salida del encoder. Esto permite que cada posición del decoder atienda sobre todas las posiciones de la secuencia de entrada. Esto imita los mecanismos típicos de atención encoder-decoder en modelos secuencia-a-secuencia como [38] [2] [9].

- El encoder contiene capas de autoatención. En una capa de autoatención, todas las claves, valores y consultas provienen del mismo lugar, en este caso, la salida de la capa anterior del encoder. Cada posición del encoder puede atender a todas las posiciones de la capa anterior del encoder.

- De forma similar, las capas de autoatención del decoder permiten que cada posición del decoder atienda a todas las posiciones del decoder hasta esa posición inclusive. Necesitamos impedir el flujo de información hacia la izquierda en el decoder para preservar la propiedad autorregresiva. Implementamos esto dentro de la atención de producto escalar escalada enmascarando (estableciendo a −∞-\infty) todos los valores en la entrada del softmax que corresponden a conexiones ilegales. Véase la Figura [2]

3.3 Redes feed-forward por posición

Además de las subcapas de atención, cada una de las capas de nuestro encoder y decoder contiene una red feed-forward totalmente conectada, que se aplica a cada posición de forma separada e idéntica. Esta consta de dos transformaciones lineales con una activación ReLU entre ellas.

FFN(x)=max⁡(0,xW1+b1)W2+b2(2)\mathrm{FFN}(x) = \max (0,xW_{1} + b_{1})W_{2} + b_{2} \quad (2)

Mientras que las transformaciones lineales son las mismas en las distintas posiciones, utilizan parámetros diferentes de una capa a otra. Otra forma de describir esto es como dos convoluciones con tamaño de núcleo 1. La dimensionalidad de la entrada y la salida es dmodel=512d_{\mathrm{model}} = 512, y la capa interna tiene dimensionalidad dff=2048d_{ff} = 2048.

3.4 Embeddings y Softmax

De forma similar a otros modelos de transducción de secuencias, utilizamos embeddings aprendidos para convertir los tokens de entrada y los tokens de salida en vectores de dimensión dmodeld_{\mathrm{model}}. También utilizamos la habitual transformación lineal aprendida y la función softmax para convertir la salida del decoder en probabilidades predichas del siguiente token. En nuestro modelo, compartimos la misma matriz de pesos entre las dos capas de embedding y la transformación lineal previa al softmax, de forma similar a [30]. En las capas de embedding, multiplicamos esos pesos por dmodel\sqrt{d_{\mathrm{model}}}.

Tipo de capaComplejidad por capaOperaciones secuencialesLongitud máxima de la ruta
AutoatenciónO(n²·d)O(1)O(1)
RecurrenteO(n·d²)O(n)O(n)
ConvolucionalO(k·n·d²)O(1)O(logk(n))
Autoatención (restringida)O(r·n·d)O(1)O(n/r)
Tabla 1: Longitudes máximas de ruta, complejidad por capa y número mínimo de operaciones secuenciales para diferentes tipos de capa. nn es la longitud de la secuencia, dd es la dimensión de representación, kk es el tamaño del núcleo de las convoluciones y rr el tamaño del vecindario en la autoatención restringida.
3.5 Codificación posicional

Dado que nuestro modelo no contiene recurrencia ni convolución, para que el modelo pueda hacer uso del orden de la secuencia, debemos inyectar cierta información sobre la posición relativa o absoluta de los tokens en la secuencia. Con este fin, añadimos "codificaciones posicionales" a los embeddings de entrada en las bases de las pilas del encoder y del decoder. Las codificaciones posicionales tienen la misma dimensión dmodeld_{\mathrm{model}} que los embeddings, de modo que ambas pueden sumarse. Existen muchas elecciones de codificaciones posicionales, aprendidas y fijas [9].

En este trabajo, utilizamos funciones seno y coseno de diferentes frecuencias:

PE(pos,2i)=sin(pos/10002i/dmodel)P E_{(p o s,2i)} = s i n(p o s / 1000^{2i / d_{\mathrm{model}}})
PE(pos,2i+1)=cos(pos/10002i/dmodel)P E_{(p o s,2i + 1)} = c o s(p o s / 1000^{2i / d_{\mathrm{model}}})

donde posp o s es la posición e ii es la dimensión. Es decir, cada dimensión de la codificación posicional corresponde a una sinusoide. Las longitudes de onda forman una progresión geométrica desde 2π2\pi hasta 10000⋅2π10000\cdot 2\pi. Elegimos esta función porque planteamos la hipótesis de que permitiría al modelo aprender fácilmente a atender por posiciones relativas, ya que para cualquier desplazamiento fijo kk, PEpos+kP E_{p o s + k} puede representarse como una función lineal de PEposP E_{p o s}.

También experimentamos con el uso de embeddings posicionales aprendidos [9] en su lugar, y encontramos que las dos versiones producían resultados casi idénticos (véase la Tabla 3, fila (E)). Elegimos la versión sinusoidal porque puede permitir al modelo extrapolar a longitudes de secuencia mayores que las encontradas durante el entrenamiento.

4 Por qué la autoatención

En esta sección comparamos varios aspectos de las capas de autoatención con las capas recurrentes y convolucionales comúnmente utilizadas para mapear una secuencia de longitud variable de representaciones de símbolos (x1,…,xn)(x_{1},\ldots ,x_{n}) a otra secuencia de igual longitud (z1,…,zn)(z_{1},\ldots ,z_{n}), con xi,zi∈Rdx_{i},z_{i}\in \mathbb{R}^{d}, como una capa oculta en un encoder o decoder típico de transducción de secuencias. Motivando nuestro uso de la autoatención, consideramos tres desiderata.

Una es la complejidad computacional total por capa. Otra es la cantidad de computación que puede paralelizarse, medida por el número mínimo de operaciones secuenciales requeridas.

La tercera es la longitud del camino entre dependencias de largo alcance en la red. Aprender dependencias de largo alcance es un desafío clave en muchas tareas de transducción de secuencias. Un factor clave que afecta la capacidad de aprender tales dependencias es la longitud de los caminos que las señales hacia adelante y hacia atrás tienen que recorrer en la red. Cuanto más cortos sean estos caminos entre cualquier combinación de posiciones en las secuencias de entrada y salida, más fácil será aprender dependencias de largo alcance [12]. Por lo tanto, también comparamos la longitud máxima del camino entre dos posiciones cualesquiera de entrada y salida en redes compuestas por los diferentes tipos de capas.

Como se señala en la Tabla 1, una capa de autoatención conecta todas las posiciones con un número constante de operaciones ejecutadas secuencialmente, mientras que una capa recurrente requiere O(n)O(n) operaciones secuenciales. En términos de complejidad computacional, las capas de autoatención son más rápidas que las capas recurrentes cuando la longitud de la secuencia nn es menor que la dimensionalidad de la representación dd, que es el caso más frecuente con las representaciones de oraciones utilizadas por los modelos de vanguardia en traducción automática, como las representaciones word-piece [38] y byte-pair [31]. Para mejorar el rendimiento computacional en tareas que involucran secuencias muy largas, la autoatención podría restringirse a considerar solo un vecindario de tamaño rr en la secuencia de entrada centrado alrededor de la posición de salida respectiva. Esto aumentaría la longitud máxima del camino a O(n/r)O(n / r). Planeamos investigar este enfoque más a fondo en trabajos futuros.

Una sola capa convolucional con ancho de kernel k<nk< n no conecta todos los pares de posiciones de entrada y salida. Hacerlo requiere una pila de O(n/k)O(n / k) capas convolucionales en el caso de kernels contiguos, o O(log⁡k(n))O(\log_{k}(n)) en el caso de convoluciones dilatadas [18], lo que aumenta la longitud de los caminos más largos entre dos posiciones cualesquiera en la red. Las capas convolucionales son generalmente más costosas que las capas recurrentes, por un factor de kk . Las convoluciones separables [6], sin embargo, disminuyen la complejidad considerablemente, a O(k⋅n⋅d+n⋅d2)O(k\cdot n\cdot d + n\cdot d^{2}) . Incluso con k=nk = n , sin embargo, la complejidad de una convolución separable es igual a la combinación de una capa de self-attention y una capa feed-forward puntual, el enfoque que adoptamos en nuestro modelo.

Como beneficio secundario, la self-attention podría producir modelos más interpretables. Inspeccionamos las distribuciones de atención de nuestros modelos y presentamos y discutimos ejemplos en el apéndice. No solo las cabezas de atención individuales aprenden claramente a realizar tareas diferentes, sino que muchas parecen exhibir un comportamiento relacionado con la estructura sintáctica y semántica de las oraciones.

5 Entrenamiento

Esta sección describe el régimen de entrenamiento para nuestros modelos.

5.1 Datos de entrenamiento y batching

Entrenamos con el conjunto de datos estándar WMT 2014 inglés-alemán que consta de aproximadamente 4,5 millones de pares de oraciones. Las oraciones se codificaron usando codificación de pares de bytes [3], que tiene un vocabulario compartido de origen-destino de aproximadamente 37000 tokens. Para inglés-francés, utilizamos el conjunto de datos WMT 2014 inglés-francés significativamente más grande, que consta de 36M de oraciones, y dividimos los tokens en un vocabulario de 32000 word-pieces [38]. Los pares de oraciones se agruparon en lotes según la longitud aproximada de la secuencia. Cada lote de entrenamiento contenía un conjunto de pares de oraciones que contenían aproximadamente 25000 tokens de origen y 25000 tokens de destino.

5.2 Hardware y cronograma

Entrenamos nuestros modelos en una máquina con 8 GPU NVIDIA P100. Para nuestros modelos base usando los hiperparámetros descritos a lo largo del artículo, cada paso de entrenamiento tomó aproximadamente 0,4 segundos. Entrenamos los modelos base durante un total de 100.000 pasos o 12 horas. Para nuestros modelos grandes, (descritos en la línea inferior de la tabla [3], el tiempo por paso fue de 1,0 segundos. Los modelos grandes se entrenaron durante 300.000 pasos (3,5 días).

5.3 Optimizador

Usamos el optimizador Adam [20] con β1=0.9\beta_{1} = 0.9 , β2=0.98\beta_{2} = 0.98 y ϵ=10−9\epsilon = 10^{- 9} . Variamos la tasa de aprendizaje a lo largo del entrenamiento, de acuerdo con la fórmula:

lrate=dmodel−0.5⋅min⁡(step_num−0.5,step_num⋅warmup_steps−1.5)(3)lrate = d_{\mathrm{model}}^{-0.5}\cdot \min (step\_ num^{-0.5},step\_ num\cdot warmup\_ steps^{-1.5}) \quad (3)

Esto corresponde a aumentar la tasa de aprendizaje linealmente durante los primeros pasos de warmup del entrenamiento, y disminuirla thereafter proporcionalmente a la raíz cuadrada inversa del número de paso. Usamos warmup steps = 4000.

5.4 Regularización

Empleamos tres tipos de regularización durante el entrenamiento:

ModeloBLEUCosto de entrenamiento (FLOPs)
EN-DEEN-FREN-DEEN-FR
ByteNet [18]23,75
Deep-Att + PosUnk [39]39,21,0·1020
GNMT + RL [38]24,639,922,3·10191,4·1020
ConvS2S [9]25,1640,469,6·10181,5·1020
MoE [32]26,0340,562,0·10191,2·1020
Deep-Att + PosUnk Ensemble [39]40,48,0·1020
GNMT + RL Ensemble [38]26,3041,161,8·10201,1·1021
ConvS2S Ensemble [9]26,3641,297,7·10191,2·1021
Transformer (modelo base)27,338,13,3·1018
Transformer (grande)28,441,82,3·1019
Tabla 2: El Transformer logra mejores puntuaciones BLEU que los modelos de vanguardia anteriores en las pruebas newstest2014 de inglés a alemán e inglés a francés, con una fracción del costo de entrenamiento.

Dropout residual Aplicamos dropout [33] a la salida de cada subcapa, antes de que se agregue a la entrada de la subcapa y se normalice. Además, aplicamos dropout a las sumas de los embeddings y las codificaciones posicionales tanto en las pilas del encoder como del decoder. Para el modelo base, usamos una tasa de Pdrop=0.1P_{drop} = 0.1 .

Suavizado de etiquetas Durante el entrenamiento, empleamos suavizado de etiquetas con valor ϵls=0.1\epsilon_{ls} = 0.1 [36]. Esto perjudica la perplejidad, ya que el modelo aprende a ser más inseguro, pero mejora la precisión y la puntuación BLEU.

6 Resultados

6.1 Traducción automática

En la tarea de traducción de inglés a alemán de WMT 2014, el modelo transformer grande (Transformer (big) en la Tabla 2) supera a los mejores modelos reportados previamente (incluidos los ensembles) por más de 2,0 BLEU, estableciendo una nueva puntuación BLEU de última generación de 28,4. La configuración de este modelo se enumera en la línea inferior de la Tabla 3 El entrenamiento tomó 3,5 días en 8 GPU P100. Incluso nuestro modelo base supera a todos los modelos y ensembles publicados previamente, a una fracción del costo de entrenamiento de cualquiera de los modelos competitivos.

En la tarea de traducción de inglés a francés de WMT 2014, nuestro modelo grande alcanza una puntuación BLEU de 41,0, superando a todos los modelos individuales publicados previamente, con menos de 1/41 / 4 del coste de entrenamiento del modelo de vanguardia anterior. El modelo Transformer (grande) entrenado para inglés a francés utilizó una tasa de dropout Pdrop=0,1P_{drop} = 0,1, en lugar de 0,3.

Para los modelos base, utilizamos un único modelo obtenido promediando los últimos 5 checkpoints, que se escribieron a intervalos de 10 minutos. Para los modelos grandes, promediamos los últimos 20 checkpoints. Utilizamos búsqueda por haces con un tamaño de haz de 4 y una penalización de longitud α=0,6\alpha = 0,6 [38]. Estos hiperparámetros se eligieron tras experimentar con el conjunto de desarrollo. Fijamos la longitud máxima de salida durante la inferencia a la longitud de entrada +50+50, pero terminamos antes cuando es posible [38].

La Tabla 2 resume nuestros resultados y compara nuestra calidad de traducción y costes de entrenamiento con otras arquitecturas de modelos de la literatura. Estimamos el número de operaciones en coma flotante utilizadas para entrenar un modelo multiplicando el tiempo de entrenamiento, el número de GPUs utilizadas y una estimación de la capacidad sostenida de coma flotante de precisión simple de cada GPU.

6.2 Variaciones del modelo

Para evaluar la importancia de los diferentes componentes del Transformer, variamos nuestro modelo base de diferentes maneras, midiendo el cambio en el rendimiento en la traducción de inglés a alemán en el

NdmodeldffhdkdvPdropεlspasos de entrenamientoPPL (dev)BLEU (dev)parámetros ×106
base65122048864640.10.1100K4.9225.865
15125125.2924.9
41281285.0025.5
1632324.9125.8
(A)3216165.0125.4
165.1625.158
(B)325.0125.460
6.1123.736
(C)25.1925.350
44,8825,580
85,7524,528
25632324,6626,0168
10241281285,1225,453
10244,7526,290
(D)0,05,7724,6
0,24,9525,5
0,04,6725,3
0,25,4725,7
(E)4,9225,7
grande610244096160,3300K4,3326,4213
Tabla 3: Variaciones en la arquitectura del Transformer. Los valores no listados son idénticos a los del modelo base. Todas las métricas corresponden al conjunto de desarrollo de traducción de inglés a alemán, newstest2013. Las perplejidades indicadas son por unidad de subpalabra (wordpiece), según nuestra codificación por pares de bytes, y no deben compararse con perplejidades por palabra.

conjunto de desarrollo, newstest2013. Utilizamos búsqueda por haces como se describe en la sección anterior, pero sin promediado de checkpoints. Presentamos estos resultados en la Tabla 3.

En las filas (A) de la Tabla 3, variamos el número de cabezas de atención y las dimensiones de clave y valor de la atención, manteniendo constante la cantidad de cómputo, como se describe en la Sección 3.2.2. Aunque la atención de una sola cabeza es 0,9 BLEU peor que la mejor configuración, la calidad también disminuye con demasiadas cabezas.

En las filas (B) de la Tabla 3, observamos que reducir el tamaño de la clave de atención dkd_{k} perjudica la calidad del modelo. Esto sugiere que determinar la compatibilidad no es fácil y que una función de compatibilidad más sofisticada que el producto escalar podría ser beneficiosa. Observamos además en las filas (C) y (D) que, como era de esperar, los modelos más grandes son mejores, y que el dropout es muy útil para evitar el sobreajuste. En la fila (E) reemplazamos nuestra codificación posicional sinusoidal por embeddings posicionales aprendidos [2], y observamos resultados casi idénticos a los del modelo base.

6.3 Análisis sintáctico de constituyentes en inglés

Para evaluar si el Transformer puede generalizar a otras tareas, realizamos experimentos sobre el análisis sintáctico de constituyentes en inglés. Esta tarea presenta desafíos específicos: la salida está sujeta a fuertes restricciones estructurales y es significativamente más larga que la entrada. Además, los modelos de secuencia a secuencia basados en RNN no han podido alcanzar resultados de vanguardia en regímenes de pocos datos [37].

Entrenamos un transformer de 4 capas con dmodel=1024d_{model} = 1024 en la porción del Wall Street Journal (WSJ) del Penn Treebank [25], con aproximadamente 40K frases de entrenamiento. También lo entrenamos en un entorno semisupervisado, utilizando los corpus más grandes de alta confianza y BerkleyParker con aproximadamente 17M de frases [37]. Utilizamos un vocabulario de 16K tokens para la configuración solo con WSJ y un vocabulario de 32K tokens para la configuración semisupervisada.

Realizamos solo un pequeño número de experimentos para seleccionar el dropout, tanto de atención como residual (sección [5.4]), las tasas de aprendizaje y el tamaño de haz en el conjunto de desarrollo de la Sección 22; todos los demás parámetros permanecieron sin cambios respecto al modelo base de traducción de inglés a alemán. Durante la inferencia,

ParserEntrenamientoWSJ 23 F1
Vinyals &amp; Kaiser el al. (2014) [37]Solo WSJ, discriminativo88,3
Petrov et al. (2006) [29]Solo WSJ, discriminativo90,4
Zhu et al. (2013) [40]Solo WSJ, discriminativo90,4
Dyer et al. (2016) [8]Solo WSJ, discriminativo91,7
Transformer (4 capas)Solo WSJ, discriminativo91,3
Zhu et al. (2013) [40]semisupervisado91,3
Huang &amp; Harper (2009) [14]semisupervisado91,3
McClosky et al. (2006) [26]semisupervisado92,1
Vinyals &amp; Kaiser el al. (2014) [37]semisupervisado92,1
Transformer (4 capas)semisupervisado92,7
Luong et al. (2015) [23]multitarea93,0
Dyer et al. (2016) [8]generativo93,3
Tabla 4: El Transformer generaliza bien al análisis sintáctico de constituyentes en inglés (Los resultados corresponden a la Sección 23 del WSJ)

aumentamos la longitud máxima de salida a la longitud de entrada +300+300. Utilizamos un tamaño de haz de 21 y α=0,3\alpha = 0,3 tanto para la configuración solo con WSJ como para la semisupervisada.

Nuestros resultados en la Tabla 4 muestran que, a pesar de la falta de ajuste específico para la tarea, nuestro modelo rinde sorprendentemente bien, obteniendo mejores resultados que todos los modelos reportados previamente, con la excepción de la Recurrent Neural Network Grammar [8].

En contraste con los modelos de secuencia a secuencia basados en RNN [37], el Transformer supera al Berkeley-Parser [29] incluso cuando se entrena solo con el conjunto de entrenamiento WSJ de 40K frases.

7 Conclusión

En este trabajo, presentamos el Transformer, el primer modelo de transducción de secuencias basado enteramente en atención, reemplazando las capas recurrentes más comúnmente usadas en las arquitecturas codificador-decodificador por autoatención multicabeza.

Para tareas de traducción, el Transformer puede entrenarse significativamente más rápido que las arquitecturas basadas en capas recurrentes o convolucionales. Tanto en las tareas de traducción de inglés a alemán de WMT 2014 como de inglés a francés de WMT 2014, alcanzamos un nuevo estado de la cuestión. En la primera tarea, nuestro mejor modelo supera incluso a todos los conjuntos previamente reportados.

Estamos entusiasmados con el futuro de los modelos basados en atención y planeamos aplicarlos a otras tareas. Planeamos extender el Transformer a problemas que involucran modalidades de entrada y salida distintas del texto e investigar mecanismos de atención locales y restringidos para manejar eficientemente entradas y salidas grandes, como imágenes, audio y video. Hacer la generación menos secuencial es otro de nuestros objetivos de investigación.

El código que utilizamos para entrenar y evaluar nuestros modelos está disponible en https://github.com/tensorflow/tensor2tensor

Agradecimientos Agradecemos a Nal Kalchbrenner y Stephan Gouws por sus fructíferos comentarios, correcciones e inspiración.

Referencias

[1] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014.

[3] Denny Britz, Anna Goldie, Minh-Thang Luong, and Quoc V. Le. Massive exploration of neural machine translation architectures. CoRR, abs/1703.03906, 2017.

[4] Jianpeng Cheng, Li Dong, and Mirella Lapata. Long short-term memory-networks for machine reading. arXiv preprint arXiv:1601.06733, 2016.

[5] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. CoRR, abs/1406.1078, 2014.

[6] Francois Chollet. Xception: Deep learning with depthwise separable convolutions. arXiv preprint arXiv:1610.02357, 2016.

[7] Junyoung Chung, Caglar Gulcehre, Kyunghyun Cho, and Yoshua Bengio. Empirical evaluation of gated recurrent neural networks on sequence modeling. CoRR, abs/1412.3555, 2014.

[8] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proc. of NAACL, 2016.

[9] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional sequence to sequence learning. arXiv preprint arXiv:1705.03122, 2017.

[10] Alex Graves. Generating sequences with recurrent neural networks. arXiv preprint arXiv:1308.0850, 2013.

[11] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 770-778, 2016.

[12] Sepp Hochreiter, Yoshua Bengio, Paolo Frasconi, and Jürgen Schmidhuber. Gradient flow in recurrent nets: the difficulty of learning long-term dependencies, 2001.

[13] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735-1780, 1997.

[14] Zhongqiang Huang and Mary Harper. Self-training PCFG grammars with latent annotations across languages. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pages 832-841. ACL, August 2009.

[15] Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer y Yonghui Wu. Exploring the limits of language modeling. arXiv preprint arXiv:1602.02410, 2016.

[16] Łukasz Kaiser y Samy Bengio. Can active memory replace attention? En Advances in Neural Information Processing Systems, (NIPS), 2016.

[17] Łukasz Kaiser e Ilya Sutskever. Neural GPUs learn algorithms. En International Conference on Learning Representations (ICLR), 2016.

[18] Nal Kalchbrenner, Lasse Espeholt, Karen Simonyan, Aaron van den Oord, Alex Graves y Koray Kavukcuoglu. Neural machine translation in linear time. arXiv preprint arXiv:1610.10099, 2017.

[19] Yoon Kim, Carl Denton, Luong Hoang y Alexander M. Rush. Structured attention networks. En International Conference on Learning Representations, 2017.

[20] Diederik Kingma y Jimmy Ba. Adam: A method for stochastic optimization. En ICLR, 2015.

[21] Oleksii Kuchaiev y Boris Ginsburg. Factorization tricks for LSTM networks. arXiv preprint arXiv:1703.10722, 2017.

[22] Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou y Yoshua Bengio. A structured self- attentive sentence embedding. arXiv preprint arXiv:1703.03130, 2017.

[23] Minh- Thang Luong, Quoc V. Le, Ilya Sutskever, Oriol Vinyals y Lukasz Kaiser. Multi- task sequence to sequence learning. arXiv preprint arXiv:1511.06114, 2015.

[24] Minh- Thang Luong, Hieu Pham y Christopher D Manning. Effective approaches to attention- based neural machine translation. arXiv preprint arXiv:1508.04025, 2015.

[25] Mitchell P Marcus, Mary Ann Marcinkiewicz y Beatrice Santorini. Building a large annotated corpus of english: The penn treebank. Computational linguistics, 19(2):313- 330, 1993.

[26] David McClosky, Eugene Charniak y Mark Johnson. Effective self- training for parsing. En Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, páginas 152- 159. ACL, junio de 2006.

[27] Ankur Parikh, Oscar Tackström, Dipanjan Das y Jakob Uszkoreit. A decomposable attention model. En Empirical Methods in Natural Language Processing, 2016.

[28] Romain Paulus, Caiming Xiong y Richard Socher. A deep reinforced model for abstractive summarization. arXiv preprint arXiv:1705.04304, 2017.

[29] Slav Petrov, Leon Barrett, Romain Thibaux y Dan Klein. Learning accurate, compact, and interpretable tree annotation. En Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the ACL, páginas 433-440. ACL, julio de 2006.

[30] Ofir Press y Lior Wolf. Using the output embedding to improve language models. arXiv preprint arXiv:1608.05859, 2016.

[31] Rico Sennrich, Barry Haddow y Alexandra Birch. Neural machine translation of rare words with subword units. arXiv preprint arXiv:1508.07909, 2015.

[32] Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton y Jeff Dean. Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. arXiv preprint arXiv:1701.06538, 2017.

[33] Nitish Srivastava, Geoffrey E Hinton, Alex Krizhevsky, Ilya Sutskever y Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15(1):1929-1958, 2014.

[34] Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston y Rob Fergus. End-to-end memory networks. En C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama y R. Garnett, editores, Advances in Neural Information Processing Systems 28, páginas 2440-2448. Curran Associates, Inc., 2015.

[35] Ilya Sutskever, Oriol Vinyals y Quoc VV Le. Sequence to sequence learning with neural networks. En Advances in Neural Information Processing Systems, páginas 3104-3112, 2014.

[36] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens y Zbigniew Wojna. Rethinking the inception architecture for computer vision. CoRR, abs/1512.00567, 2015.

[37] Vinyals & Kaiser, Koo, Petrov, Sutskever y Hinton. Grammar as a foreign language. En Advances in Neural Information Processing Systems, 2015.

[38] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[39] Jie Zhou, Ying Cao, Xuguang Wang, Peng Li y Wei Xu. Deep recurrent models with fast-forward connections for neural machine translation. CoRR, abs/1606.04199, 2016.

[40] Muhua Zhu, Yue Zhang, Wenliang Chen, Min Zhang y Jingbo Zhu. Fast and accurate shift-reduce constituent parsing. En Proceedings of the 51st Annual Meeting of the ACL (Volume 1: Long Papers), páginas 434-443. ACL, agosto de 2013.

Figura 3: Un ejemplo del mecanismo de atención que sigue dependencias de larga distancia en la autoatención del codificador en la capa 5 de 6. Muchas de las cabezas de atención atienden a una dependencia distante del verbo «making», completando la frase «making...more difficult». Las atenciones aquí se muestran solo para la palabra «making». Diferentes colores representan diferentes cabezas. Se recomienda ver en color.
Figura 3: Un ejemplo del mecanismo de atención que sigue dependencias de larga distancia en la autoatención del codificador en la capa 5 de 6. Muchas de las cabezas de atención atienden a una dependencia distante del verbo «making», completando la frase «making...more difficult». Las atenciones aquí se muestran solo para la palabra «making». Diferentes colores representan diferentes cabezas. Se recomienda ver en color.
Figura 4: Dos cabezas de atención, también en la capa 5 de 6, aparentemente involucradas en la resolución de anáforas. Arriba: atenciones completas para la cabeza 5. Abajo: atenciones aisladas solo de la palabra 'its' para las cabezas de atención 5 y 6. Nótese que las atenciones son muy marcadas para esta palabra.
Figura 4: Dos cabezas de atención, también en la capa 5 de 6, aparentemente involucradas en la resolución de anáforas. Arriba: atenciones completas para la cabeza 5. Abajo: atenciones aisladas solo de la palabra 'its' para las cabezas de atención 5 y 6. Nótese que las atenciones son muy marcadas para esta palabra.
Figura 5: Muchas de las cabezas de atención exhiben un comportamiento que parece estar relacionado con la estructura de la oración. A continuación presentamos dos ejemplos de ello, provenientes de dos cabezas diferentes de la autoatención del codificador en la capa 5 de 6. Las cabezas aprendieron claramente a realizar tareas diferentes.
Figura 5: Muchas de las cabezas de atención exhiben un comportamiento que parece estar relacionado con la estructura de la oración. A continuación presentamos dos ejemplos de ello, provenientes de dos cabezas diferentes de la autoatención del codificador en la capa 5 de 6. Las cabezas aprendieron claramente a realizar tareas diferentes.