# Entrenamiento e inferencia

> Entrenar construye el modelo una vez; inferir es usarlo, millones de veces por día.

- Nivel: Intermedio
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/training-and-inference/
- En inglés: [Training and inference](https://tidbit.legios.com.ar/training-and-inference/)

Un modelo de IA tiene dos vidas muy distintas. El **entrenamiento** es cuando aprende: la red neuronal ve cantidades enormes de datos, hace predicciones, mide sus errores y ajusta sus pesos, una y otra vez, durante semanas o meses en miles de GPUs. Al final queda un archivo de números, el modelo entrenado. Pasa una vez por versión del modelo, y es la parte cara.

La **inferencia** es todo lo que viene después: usar el modelo entrenado para responder. Cada vez que le mandás un prompt a Claude o a ChatGPT, eso es una inferencia. Los pesos no cambian; el modelo pasa la entrada por la red y produce una salida, token por token. Cada una es barata comparada con el entrenamiento, pero hay miles de millones, así que la inferencia termina siendo la mayor parte de la cuenta de cómputo.

Esta división explica mucho de lo que leés en las noticias. La 'fecha de corte' de un modelo es donde terminan sus datos de entrenamiento. El **fine-tuning** es una ronda corta extra de entrenamiento con ejemplos específicos. 'Servir' un modelo es correr inferencia para los usuarios; por eso las empresas necesitan data centers llenos de GPUs incluso cuando el modelo ya está terminado.

Ejemplo: un modelo que lee radiografías de tórax se entrena con cientos de miles de placas etiquetadas durante varias semanas. Después, en un hospital, mira una placa nueva en menos de un segundo. Ese segundo es inferencia.

## Una analogía

Entrenar es la carrera de medicina: años, cara, se hace una vez. Inferir es cada paciente que la médica atiende después de recibirse: rápido, repetido, y para eso era la carrera.

## Para quedarse

- El entrenamiento ajusta los pesos; la inferencia los usa sin cambiarlos.
- Entrenar es un costo enorme por única vez; inferir es un costo chico repetido miles de millones de veces.
- El fine-tuning es una ronda corta y puntual de entrenamiento extra.
- Las dos corren casi siempre en GPUs, pero un modelo chico puede inferir en una laptop o un celular.

## Para seguir leyendo

- [3Blue1Brown: descenso de gradiente, cómo aprenden las redes neuronales (subtítulos en español)](https://www.3blue1brown.com/lessons/gradient-descent)
- [NVIDIA: la diferencia entre entrenamiento e inferencia (en inglés)](https://blogs.nvidia.com/blog/difference-deep-learning-training-inference-ai/)
- [Aprendizaje automático en Wikipedia](https://es.wikipedia.org/wiki/Aprendizaje_autom%C3%A1tico)

## Términos relacionados

- [Inteligencia artificial](https://tidbit.legios.com.ar/es/artificial-intelligence/): Lograr que las computadoras hagan cosas que hasta hace poco solo hacía la gente.
- [Red neuronal](https://tidbit.legios.com.ar/es/neural-network/): Una pila de unidades matemáticas chiquitas que aprende patrones a partir de ejemplos.
- [GPU](https://tidbit.legios.com.ar/es/gpu/): El chip que hace miles de cálculos simples al mismo tiempo.
- [Prompt](https://tidbit.legios.com.ar/es/prompt/): Todo lo que le mandás a un modelo de IA: la pregunta, las instrucciones, el contexto.
- [Claude](https://tidbit.legios.com.ar/es/claude/): La familia de modelos de IA de Anthropic, y el asistente construido sobre ellos.
- [ChatGPT](https://tidbit.legios.com.ar/es/chatgpt/): El asistente de chat de OpenAI, la app que llevó los chatbots de IA al público.
- [Token](https://tidbit.legios.com.ar/es/token/): El pedacito de texto que un modelo de lenguaje realmente lee.
- [Fine-tuning](https://tidbit.legios.com.ar/es/fine-tuning/): Entrenamiento extra que adapta un modelo de IA existente a una tarea o un estilo.