# Aprendizaje por refuerzo

> Aprender por prueba y error, guiado por recompensas cuando algo sale bien.

- Nivel: Intermedio
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/reinforcement-learning/
- En inglés: [Reinforcement learning](https://tidbit.legios.com.ar/reinforcement-learning/)

El **aprendizaje por refuerzo** (reinforcement learning, RL) es una forma de entrenar IA en la que nadie le muestra al sistema las respuestas correctas. En cambio, un **agente** actúa en algún entorno (un juego, una simulación, una conversación), recibe una **recompensa** cuando las cosas salen bien y una penalización cuando salen mal, y de a poco aprende qué acciones le dan más recompensa. Es prueba y error, repetido millones de veces.

Su éxito más famoso llegó en 2016, cuando AlphaGo, de DeepMind, le ganó a Lee Sedol, uno de los mejores jugadores del mundo de Go, un juego de mesa que durante mucho tiempo se creyó demasiado sutil para una computadora. AlphaGo mejoró en parte jugando contra sí mismo una y otra vez. El RL también se usa para enseñarles a robots a caminar o agarrar cosas, para controlar la refrigeración de centros de datos y en muchos sistemas que juegan.

Para los chatbots de hoy, el RL importa de dos maneras. El **RLHF** (aprendizaje por refuerzo con retroalimentación humana) es una etapa en la que personas comparan pares de respuestas, un modelo aparte aprende sus preferencias y después se entrena al chatbot para que dé respuestas que ese modelo de preferencias puntúe bien. Es buena parte de por qué los asistentes suenan útiles y amables. Más recientemente, el RL sobre problemas con respuestas verificables, como matemática y código, se usó para entrenar modelos que razonan paso a paso. El riesgo clásico es el **reward hacking**: el agente encuentra un atajo que suma puntos sin hacer lo que de verdad querías, así que la recompensa hay que diseñarla con cuidado.

## Una analogía

Es como entrenar a un perro con premios. Nunca le explicás la regla; premiás la conducta que buscás y el perro descubre qué le da el premio. Si sin querer premiás otra cosa, va a aprender eso.

## Para quedarse

- Aprende de recompensas y penalizaciones, no de respuestas etiquetadas.
- La victoria de AlphaGo en Go en 2016 es el ejemplo emblemático.
- El RLHF usa preferencias humanas para moldear cómo responden los chatbots.
- Una recompensa mal diseñada se aprovecha: reward hacking.

## Para seguir leyendo

- [Aprendizaje por refuerzo en Wikipedia](https://es.wikipedia.org/wiki/Aprendizaje_por_refuerzo)
- [¿Qué es el aprendizaje por refuerzo? (IBM)](https://www.ibm.com/es-es/think/topics/reinforcement-learning)
- [RLHF explicado, Hugging Face (en inglés)](https://huggingface.co/blog/rlhf)

## Términos relacionados

- [Inteligencia artificial](https://tidbit.legios.com.ar/es/artificial-intelligence/): Lograr que las computadoras hagan cosas que hasta hace poco solo hacía la gente.
- [Agente de IA](https://tidbit.legios.com.ar/es/ai-agent/): Un LLM que puede actuar, mirar el resultado y seguir hasta terminar la tarea.
- [Centro de datos](https://tidbit.legios.com.ar/es/data-center/): Un edificio lleno de servidores donde realmente corren internet, la nube y la IA.
- [Chatbot](https://tidbit.legios.com.ar/es/chatbot/): Un programa con el que hablás escribiendo o con la voz, como si fuera una persona.