GPU
El chip que hace miles de cálculos simples al mismo tiempo.
Una GPU (Graphics Processing Unit) se inventó para dibujar cuadros de videojuegos: millones de píxeles que necesitan el mismo cálculo chiquito a la vez. En lugar de pocos núcleos potentes como una CPU, una GPU tiene miles de núcleos pequeños que trabajan en paralelo.
Resulta que entrenar y ejecutar modelos de IA es el mismo tipo de problema. Una red neuronal es, en el fondo, multiplicaciones enormes de grillas de números (matrices), y una GPU las hace mucho más rápido que una CPU.
Por eso NVIDIA se volvió una de las empresas más valiosas del mundo, por eso los data centers están llenos de GPUs, y por eso un modelo de IA moderno se mide en cuántas GPUs hicieron falta para entrenarlo.
Para quedarse
- CPU: pocos núcleos rápidos, buena para tareas variadas. GPU: muchos núcleos simples, buena para matemática repetida.
- El entrenamiento y la inferencia de IA corren casi siempre en GPUs o chips parecidos (TPUs).
- La memoria de la GPU (VRAM) decide qué tamaño de modelo entra en una placa.
