Caché de CPU

Una CPU puede hacer miles de millones de operaciones por segundo, pero traer un dato de la RAM tarda muchísimo más que una operación: el procesador se pasaría la mayor parte del tiempo esperando. La caché de CPU resuelve eso. Es una cantidad chica de memoria rapidísima metida en el mismo chip, con copias de los datos e instrucciones que el procesador usó hace poco o que probablemente use enseguida.

La caché viene en niveles. La caché L1 está pegada a cada núcleo: diminuta (decenas de kilobytes) y casi instantánea. La caché L2 es más grande y un poco más lenta. La caché L3 es todavía mayor, muchas veces de varios megabytes o más, y suele ser compartida por todos los núcleos. Cuando la CPU necesita algo, se fija en L1, después en L2, después en L3, y recién si no está en ninguna va a la RAM. Encontrarlo es un hit; tener que salir hasta afuera es un miss.

Funciona porque los programas son predecibles: tienden a reusar los mismos datos y a leer la memoria en orden. El chip trae de una vez bloques enteros de datos vecinos y se queda con lo que se usó último. Por eso dos programas que hacen la misma cuenta pueden correr a velocidades muy distintas según cómo ordenan sus datos, y por eso los fabricantes anuncian el tamaño de la caché al lado de los núcleos y la velocidad de reloj.