# Destilación de modelos

> Entrenar un modelo chico y barato para que imite a uno grande y caro.

- Nivel: Avanzado
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/model-distillation/
- En inglés: [Model distillation](https://tidbit.legios.com.ar/model-distillation/)

La **destilación de modelos**, o destilación de conocimiento, es una forma de meter buena parte de lo que sabe un modelo grande dentro de uno más chico. Tomás un **modelo maestro** grande y capaz, lo hacés correr sobre muchísimas entradas y entrenás un **modelo alumno** chico para que reproduzca las salidas del maestro, en vez de aprender solo de los datos etiquetados originales.

El truco, descripto en un paper de 2015 de Geoffrey Hinton, Oriol Vinyals y Jeff Dean, es que las probabilidades completas del maestro traen más información que una sola respuesta correcta. Un clasificador de fotos que dice "gato 90 %, zorro 8 %, auto 0,01 %" también le está contando al alumno qué errores son razonables. Con los LLMs actuales la misma idea suele tomar una forma más simple: el maestro genera muchísimas respuestas, o razonamientos paso a paso completos, y ese texto se vuelve datos de entrenamiento para el alumno. A principios de 2025, por ejemplo, DeepSeek publicó varios modelos abiertos chicos destilados de su modelo de razonamiento R1.

La ganancia aparece en la inferencia. Un modelo destilado tiene muchos menos parámetros, así que responde más rápido, cuesta menos por pedido y puede correr en una notebook o un celular. Los límites: el alumno rara vez supera al maestro, pierde más cuanto más se alejan las tareas de aquello con lo que lo destilaron, y muchos proveedores comerciales prohíben en sus términos usar las salidas de sus modelos para entrenar modelos competidores.

## Una analogía

Una chef reconocida que no puede abrir un restaurante en cada ciudad, entonces forma cocineros que prueban y copian sus platos. No van a inventar recetas nuevas como ella, pero pueden servir su menú casi igual de bien y mucho más barato.

## Para quedarse

- Un modelo alumno chico aprende a imitar a un modelo maestro grande.
- Las probabilidades o el texto que genera el maestro se vuelven datos de entrenamiento.
- Resultado: inferencia más rápida y barata, que entra en dispositivos chicos.
- El alumno rara vez supera al maestro, y algunos proveedores prohíben destilar sus salidas.

## Para seguir leyendo

- [Destilación de conocimiento en Wikipedia](https://es.wikipedia.org/wiki/Destilaci%C3%B3n_de_conocimiento)
- [Distilling the Knowledge in a Neural Network (Hinton y otros, 2015, en inglés)](https://arxiv.org/abs/1503.02531)

## Términos relacionados

- [Aprendizaje supervisado y no supervisado](https://tidbit.legios.com.ar/es/supervised-and-unsupervised-learning/): Dos formas de aprender de una máquina: con ejemplos resueltos o buscando patrones sola.
- [LLM](https://tidbit.legios.com.ar/es/llm/): Una red neuronal entrenada con muchísimo texto para predecir la próxima palabra.
- [Entrenamiento e inferencia](https://tidbit.legios.com.ar/es/training-and-inference/): Entrenar construye el modelo una vez; inferir es usarlo, millones de veces por día.
- [DeepSeek](https://tidbit.legios.com.ar/es/deepseek/): Un laboratorio chino de IA cuyos modelos abiertos mostraron que se podía gastar menos.
- [Modelos de pesos abiertos](https://tidbit.legios.com.ar/es/open-weights-models/): Modelos de IA cuyos números entrenados cualquiera puede descargar y correr en su equipo.
- [Modelo de razonamiento](https://tidbit.legios.com.ar/es/reasoning-model/): Un modelo de IA que resuelve el problema paso a paso antes de contestar.
- [Notebook](https://tidbit.legios.com.ar/es/laptop/): Una computadora entera plegada en un solo estuche portátil que anda a batería.