Transformer

El transformer es una forma de construir redes neuronales que presentó en 2017 un equipo de Google en un paper titulado 'Attention Is All You Need' (La atención es todo lo que necesitás). Es la arquitectura detrás de casi todos los grandes modelos de lenguaje de hoy: la T de GPT viene de ahí, y Claude, Gemini y Llama también son transformers. También se usa para imágenes, audio, video y hasta estructuras de proteínas.

Su idea central es la autoatención (self-attention). Primero el texto se divide en tokens, y cada token se convierte en una lista de números. Después, capa tras capa, cada token mira a todos los demás del contexto y decide cuánto le importa cada uno para entenderse a sí mismo. En 'el gato se sentó porque estaba cansado', la atención permite conectar 'cansado' con 'gato'. Muchas 'cabezas' de atención trabajan en paralelo, cada una captando relaciones distintas: gramática, quién hizo qué, a qué oración anterior se refiere una palabra. Un modelo de lenguaje apila decenas de estas capas y termina dando probabilidades para el próximo token.

Antes de los transformers, los modelos de lenguaje leían el texto mayormente palabra por palabra, en orden (redes recurrentes), lo que hacía lento el entrenamiento y les hacía olvidar cosas en pasajes largos. La atención mira toda la secuencia de una vez, así que el entrenamiento se puede repartir entre miles de GPUs trabajando en paralelo, y eso es lo que volvió posibles los modelos gigantes de hoy. El costo es que comparar cada token con todos los demás crece con el cuadrado del largo del texto, una de las razones por las que las ventanas de contexto tienen límite y los textos largos salen caros.