Tasa de aprendizaje

Cada paso del descenso de gradiente dice para qué lado tiene que moverse cada peso para bajar la función de pérdida. La tasa de aprendizaje dice cuánto. Es un solo número que eligen las personas antes de entrenar (un hiperparámetro, no algo que el modelo aprende) y multiplica cada actualización: w = w - lr * grad.

Acertarle importa más que casi cualquier otra configuración. Si es muy alta, cada paso se pasa de largo: la pérdida rebota o de golpe se dispara, y el entrenamiento diverge. Si es muy baja, el modelo aprende tan despacio que se te acaba el tiempo o la plata, o se queda en un lugar mediocre. Los valores útiles son chicos, más o menos entre 0,00001 y 0,01 según el modelo y el optimizador, y la forma confiable de encontrar uno bueno es probar varios en corridas cortas y mirar la pérdida.

En la práctica, la tasa de aprendizaje casi nunca es fija. Un calendario (schedule) la va cambiando: un calentamiento corto que la sube desde casi cero, para que los primeros pasos, caóticos, no arruinen los pesos, y después una bajada lenta, muchas veces con forma de coseno, para que los últimos pasos sean retoques finos. Optimizadores como Adam además ajustan solos el paso de cada peso, pero siempre arriba de una tasa base.

El fine-tuning suele usar una tasa más chica que entrenar desde cero. El modelo ya sabe mucho y los pasos grandes lo pueden borrar; los chicos ajustan su comportamiento sin perder casi nada de lo aprendido. Métodos como LoRA, que entrenan muchísimos menos pesos, suelen usar tasas algo más altas que el fine-tuning completo.