NPU
Un motor de IA chico en celulares y notebooks que corre modelos con poca batería.
Una NPU (neural processing unit, unidad de procesamiento neuronal) es una parte de un chip dedicada a correr modelos de IA. Los celulares modernos y muchas notebooks recientes tienen una dentro de su chip principal, al lado del CPU y la GPU. Es la que desenfoca el fondo en una videollamada, encuentra caras en tu galería de fotos, transcribe un audio o corre un modelo de lenguaje chico sin mandar nada por internet.
Igual que una TPU, está especializada en las multiplicaciones de las que están hechas las redes neuronales, con números de baja precisión. La diferencia es el objetivo. Una TPU vive en un centro de datos y entrena o sirve modelos gigantes; una NPU vive en tu aparato y corre modelos chicos para hacer inferencia gastando la menor energía posible. La misma tarea en el CPU sería más lenta y vaciaría la batería más rápido.
Las NPU importan por la IA en el dispositivo: procesar los datos en el propio aparato es rápido, funciona sin conexión y deja cosas privadas como fotos y voz fuera del servidor de otro. Los fabricantes suelen anunciar la velocidad de la NPU en TOPS (billones de operaciones por segundo), pero ese número solo dice poco; lo que cuenta es si las apps que usás la aprovechan de verdad. Los nombres comerciales también cambian: Apple, por ejemplo, a la suya le dice Neural Engine.
Para quedarse
- Una parte del chip de un celular o notebook hecha para correr modelos de IA.
- Corre modelos chicos en el aparato, rápido y gastando poca batería.
- Los datos quedan en el dispositivo: algunas funciones de IA andan sin conexión y con más privacidad.
- Los TOPS de las publicidades son una guía aproximada, no una medida de utilidad real.
