# NPU

> Un motor de IA chico en celulares y notebooks que corre modelos con poca batería.

- Nivel: Intermedio
- Temas: Hardware, IA
- URL: https://tidbit.legios.com.ar/es/npu/
- En inglés: [NPU](https://tidbit.legios.com.ar/npu/)

Una **NPU** (neural processing unit, unidad de procesamiento neuronal) es una parte de un chip dedicada a correr modelos de IA. Los celulares modernos y muchas notebooks recientes tienen una dentro de su chip principal, al lado del CPU y la GPU. Es la que desenfoca el fondo en una videollamada, encuentra caras en tu galería de fotos, transcribe un audio o corre un modelo de lenguaje chico sin mandar nada por internet.

Igual que una TPU, está especializada en las multiplicaciones de las que están hechas las redes neuronales, con números de baja precisión. La diferencia es el objetivo. Una TPU vive en un centro de datos y entrena o sirve modelos gigantes; una NPU vive en tu aparato y corre modelos chicos para hacer inferencia gastando la menor energía posible. La misma tarea en el CPU sería más lenta y vaciaría la batería más rápido.

Las NPU importan por la **IA en el dispositivo**: procesar los datos en el propio aparato es rápido, funciona sin conexión y deja cosas privadas como fotos y voz fuera del servidor de otro. Los fabricantes suelen anunciar la velocidad de la NPU en TOPS (billones de operaciones por segundo), pero ese número solo dice poco; lo que cuenta es si las apps que usás la aprovechan de verdad. Los nombres comerciales también cambian: Apple, por ejemplo, a la suya le dice Neural Engine.

## Una analogía

Un traductor de bolsillo en lugar de llamar a un intérprete. El intérprete lejano puede con todo, pero el aparatito que tenés en el bolsillo responde al instante, funciona sin señal y la conversación queda entre vos y él.

## Para quedarse

- Una parte del chip de un celular o notebook hecha para correr modelos de IA.
- Corre modelos chicos en el aparato, rápido y gastando poca batería.
- Los datos quedan en el dispositivo: algunas funciones de IA andan sin conexión y con más privacidad.
- Los TOPS de las publicidades son una guía aproximada, no una medida de utilidad real.

## Para seguir leyendo

- [Acelerador de IA en Wikipedia](https://es.wikipedia.org/wiki/Acelerador_de_IA)
- [¿Qué es una unidad de procesamiento neuronal? (IBM)](https://www.ibm.com/es-es/think/topics/neural-processing-unit)

## Términos relacionados

- [Chip](https://tidbit.legios.com.ar/es/semiconductor-chip/): Un pedacito de silicio con miles de millones de interruptores que calculan y recuerdan.
- [Inteligencia artificial](https://tidbit.legios.com.ar/es/artificial-intelligence/): Lograr que las computadoras hagan cosas que hasta hace poco solo hacía la gente.
- [CPU](https://tidbit.legios.com.ar/es/cpu/): El chip que ejecuta tus programas, una instrucción tras otra, muy rápido.
- [GPU](https://tidbit.legios.com.ar/es/gpu/): El chip que hace miles de cálculos simples al mismo tiempo.
- [LLM](https://tidbit.legios.com.ar/es/llm/): Una red neuronal entrenada con muchísimo texto para predecir la próxima palabra.
- [Internet](https://tidbit.legios.com.ar/es/internet/): Una red mundial de redes que conecta cualquier aparato con cualquier otro.
- [TPU](https://tidbit.legios.com.ar/es/tpu/): El chip de Google diseñado especialmente para las cuentas de las redes neuronales.
- [Red neuronal](https://tidbit.legios.com.ar/es/neural-network/): Una pila de unidades matemáticas chiquitas que aprende patrones a partir de ejemplos.