# Tasa de aprendizaje

> El largo del paso que da un modelo cada vez que el entrenamiento ajusta sus pesos.

- Nivel: Avanzado
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/learning-rate/
- En inglés: [Learning rate](https://tidbit.legios.com.ar/learning-rate/)

Cada paso del descenso de gradiente dice para qué lado tiene que moverse cada peso para bajar la función de pérdida. La **tasa de aprendizaje** dice cuánto. Es un solo número que eligen las personas antes de entrenar (un **hiperparámetro**, no algo que el modelo aprende) y multiplica cada actualización: `w = w - lr * grad`.

Acertarle importa más que casi cualquier otra configuración. Si es muy alta, cada paso se pasa de largo: la pérdida rebota o de golpe se dispara, y el entrenamiento **diverge**. Si es muy baja, el modelo aprende tan despacio que se te acaba el tiempo o la plata, o se queda en un lugar mediocre. Los valores útiles son chicos, más o menos entre 0,00001 y 0,01 según el modelo y el optimizador, y la forma confiable de encontrar uno bueno es probar varios en corridas cortas y mirar la pérdida.

En la práctica, la tasa de aprendizaje casi nunca es fija. Un **calendario** (schedule) la va cambiando: un **calentamiento** corto que la sube desde casi cero, para que los primeros pasos, caóticos, no arruinen los pesos, y después una bajada lenta, muchas veces con forma de coseno, para que los últimos pasos sean retoques finos. Optimizadores como Adam además ajustan solos el paso de cada peso, pero siempre arriba de una tasa base.

El fine-tuning suele usar una tasa más chica que entrenar desde cero. El modelo ya sabe mucho y los pasos grandes lo pueden borrar; los chicos ajustan su comportamiento sin perder casi nada de lo aprendido. Métodos como LoRA, que entrenan muchísimos menos pesos, suelen usar tasas algo más altas que el fine-tuning completo.

## Una analogía

Estacionar el auto. Te acercás a buena velocidad y vas frenando a medida que llegás. Si mantenés la velocidad hasta el final, te comés la pared; si vas a paso de hombre todo el camino, no llegás nunca.

## Para quedarse

- Fija el tamaño de cada actualización: peso menos tasa por gradiente.
- Muy alta y el entrenamiento diverge; muy baja y no avanza.
- Los calendarios la suben al principio y la bajan hacia el final.
- El fine-tuning normalmente usa tasas más chicas que entrenar desde cero.

## Para seguir leyendo

- [¿Qué es la tasa de aprendizaje en machine learning? (IBM)](https://www.ibm.com/es-es/think/topics/learning-rate)
- [Regresión lineal: Hiperparámetros (Curso intensivo de aprendizaje automático de Google)](https://developers.google.com/machine-learning/crash-course/linear-regression/hyperparameters?hl=es-419)
- [Learning rate en Wikipedia (en inglés)](https://en.wikipedia.org/wiki/Learning_rate)

## Términos relacionados

- [Descenso de gradiente](https://tidbit.legios.com.ar/es/gradient-descent/): El método que ajusta los pesos de un modelo dando pasitos cuesta abajo en su error.
- [Función de pérdida](https://tidbit.legios.com.ar/es/loss-function/): El número que dice cuánto se equivoca un modelo, para que entrenar sea bajarlo.
- [Entrenamiento e inferencia](https://tidbit.legios.com.ar/es/training-and-inference/): Entrenar construye el modelo una vez; inferir es usarlo, millones de veces por día.
- [Fine-tuning](https://tidbit.legios.com.ar/es/fine-tuning/): Entrenamiento extra que adapta un modelo de IA existente a una tarea o un estilo.
- [LoRA](https://tidbit.legios.com.ar/es/lora/): Una forma barata de hacer fine-tuning de un modelo grande entrenando un agregado chico.