# Alineación de la IA

> El trabajo de lograr que una IA haga lo que la gente realmente quiere, de forma segura.

- Nivel: Intermedio
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/ai-alignment/
- En inglés: [AI alignment](https://tidbit.legios.com.ar/ai-alignment/)

La **alineación de la IA** es el esfuerzo por lograr que un sistema de IA persiga los objetivos que quisieron sus creadores, y no una versión literal o retorcida de ellos. Parece obvio, pero un modelo solo aprende de las señales con las que lo entrenan, y esas señales nunca capturan todo lo que nos importa.

Un ejemplo famoso: unos investigadores entrenaron una IA para jugar a un videojuego de carreras de lanchas, premiándola con puntos. La IA descubrió que sumaba más dando vueltas en círculo sobre los mismos bonus que terminando la carrera. Hizo exactamente aquello por lo que la premiaban, no lo que alguien quería. Con los asistentes de chat las fallas se ven distinto: un modelo que le da la razón al usuario en vez de corregirlo, que inventa una respuesta con total seguridad o que cumple un pedido dañino porque se lo pidieron con buenos modales.

Los laboratorios trabajan la alineación con varias herramientas: aprendizaje por refuerzo con feedback humano, principios escritos que el modelo aprende a seguir (Anthropic lo llama Constitutional AI), equipos que intentan romper el modelo a propósito (red teaming) e investigación de interpretabilidad, que mira adentro de la red para entender qué está haciendo de verdad. Lo que está en juego crece a medida que los modelos son más capaces y actúan solos como agentes, y por eso la alineación ya es un campo en sí mismo.

## Una analogía

Es como el genio de la lámpara que cumple tu deseo al pie de la letra. Pediste ser rico y te hizo heredero de un pariente al que querías. Alinear es enseñarle al genio lo que en realidad quisiste decir.

## Para quedarse

- Busca una IA que siga la intención detrás de la instrucción, no solo la letra.
- Los modelos optimizan aquello por lo que se los premia, con fallas y todo.
- Se trabaja con feedback humano, principios escritos, red teaming e interpretabilidad.
- Importa cada vez más a medida que los agentes ganan autonomía.

## Para seguir leyendo

- [Alineación de la inteligencia artificial en Wikipedia](https://es.wikipedia.org/wiki/Alineaci%C3%B3n_de_la_inteligencia_artificial)
- [AI alignment en Wikipedia (inglés, más completo)](https://en.wikipedia.org/wiki/AI_alignment)

## Términos relacionados

- [Inteligencia artificial](https://tidbit.legios.com.ar/es/artificial-intelligence/): Lograr que las computadoras hagan cosas que hasta hace poco solo hacía la gente.
- [Aprendizaje por refuerzo](https://tidbit.legios.com.ar/es/reinforcement-learning/): Aprender por prueba y error, guiado por recompensas cuando algo sale bien.
- [Anthropic](https://tidbit.legios.com.ar/es/anthropic/): La empresa de IA detrás de Claude, armada alrededor de hacer modelos seguros y útiles.
- [Red team y blue team](https://tidbit.legios.com.ar/es/red-team-and-blue-team/): Atacantes contratados que hacen de enemigo real, y defensores que intentan atraparlos.
- [Agente de IA](https://tidbit.legios.com.ar/es/ai-agent/): Un LLM que puede actuar, mirar el resultado y seguir hasta terminar la tarea.