# Sesgo en la IA

> Cuando un sistema de IA trata injustamente a algunos grupos, casi siempre por sus datos.

- Nivel: Básico
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/ai-bias/
- En inglés: [AI bias](https://tidbit.legios.com.ar/ai-bias/)

El **sesgo en la IA** (sesgo algorítmico) aparece cuando un sistema de IA da resultados sistemáticamente injustos para ciertos grupos de personas: por género, color de piel, edad, acento, discapacidad o barrio. En general nadie lo programó a propósito. Un modelo aprende de ejemplos, y si los ejemplos reflejan un pasado desigual, aprende esa desigualdad como si fuera una regla.

Hubo casos reales que lo hicieron concreto. En 2018 Reuters contó que Amazon había abandonado una herramienta experimental de selección de personal después de descubrir que bajaba el puntaje de los currículums que incluían la palabra 'women's' (de mujeres), porque había aprendido de una década de contrataciones mayormente masculinas. Ese mismo año, el estudio Gender Shades encontró que sistemas comerciales de análisis facial se equivocaban mucho más con mujeres de piel oscura que con hombres de piel clara, porque sus fotos de entrenamiento estaban desbalanceadas. Los modelos de lenguaje también lo hacen, por ejemplo al traducir 'the doctor' como 'el médico' y 'the nurse' como 'la enfermera'.

El sesgo puede entrar por muchos lados: datos donde algunas personas casi no aparecen, etiquetas que arrastran prejuicios humanos, un objetivo que mide la cosa equivocada o un sistema usado con una población con la que nunca se probó. Importa sobre todo donde la IA toca decisiones sobre personas: contrataciones, créditos, seguros, salud, seguridad. Reducirlo exige trabajo deliberado: datos más representativos, medir los resultados por separado para cada grupo, auditorías independientes y que una persona pueda cuestionar y corregir al sistema. Leyes como la Ley de IA de la Unión Europea ya exigen este tipo de controles para los usos de alto riesgo.

## Una analogía

Es como un empleado nuevo al que formaron solo leyendo las decisiones viejas de la empresa. Si esas decisiones favorecían a un tipo de persona, el empleado nuevo copia el patrón convencido de que así se hace el trabajo.

## Para quedarse

- Casi siempre se aprende de datos que reflejan injusticias pasadas.
- Puede esconderse en los datos, las etiquetas, el objetivo o el contexto de uso.
- Importa más en contrataciones, créditos, salud y seguridad.
- Medir resultados por grupo y mantener supervisión humana ayuda a reducirlo.

## Para seguir leyendo

- [Sesgo algorítmico en Wikipedia](https://es.wikipedia.org/wiki/Sesgo_algor%C3%ADtmico)
- [¿Qué es el sesgo de la IA? (IBM)](https://www.ibm.com/es-es/think/topics/ai-bias)
- [Recomendación sobre la ética de la IA (UNESCO)](https://www.unesco.org/es/artificial-intelligence/recommendation-ethics)

## Términos relacionados

- [Inteligencia artificial](https://tidbit.legios.com.ar/es/artificial-intelligence/): Lograr que las computadoras hagan cosas que hasta hace poco solo hacía la gente.
- [Amazon](https://tidbit.legios.com.ar/es/amazon/): Una tienda online con su propia red de envíos, y la empresa que maneja AWS.
- [Entrenamiento e inferencia](https://tidbit.legios.com.ar/es/training-and-inference/): Entrenar construye el modelo una vez; inferir es usarlo, millones de veces por día.
- [LLM](https://tidbit.legios.com.ar/es/llm/): Una red neuronal entrenada con muchísimo texto para predecir la próxima palabra.