Sesgo en la IA

El sesgo en la IA (sesgo algorítmico) aparece cuando un sistema de IA da resultados sistemáticamente injustos para ciertos grupos de personas: por género, color de piel, edad, acento, discapacidad o barrio. En general nadie lo programó a propósito. Un modelo aprende de ejemplos, y si los ejemplos reflejan un pasado desigual, aprende esa desigualdad como si fuera una regla.

Hubo casos reales que lo hicieron concreto. En 2018 Reuters contó que Amazon había abandonado una herramienta experimental de selección de personal después de descubrir que bajaba el puntaje de los currículums que incluían la palabra 'women's' (de mujeres), porque había aprendido de una década de contrataciones mayormente masculinas. Ese mismo año, el estudio Gender Shades encontró que sistemas comerciales de análisis facial se equivocaban mucho más con mujeres de piel oscura que con hombres de piel clara, porque sus fotos de entrenamiento estaban desbalanceadas. Los modelos de lenguaje también lo hacen, por ejemplo al traducir 'the doctor' como 'el médico' y 'the nurse' como 'la enfermera'.

El sesgo puede entrar por muchos lados: datos donde algunas personas casi no aparecen, etiquetas que arrastran prejuicios humanos, un objetivo que mide la cosa equivocada o un sistema usado con una población con la que nunca se probó. Importa sobre todo donde la IA toca decisiones sobre personas: contrataciones, créditos, seguros, salud, seguridad. Reducirlo exige trabajo deliberado: datos más representativos, medir los resultados por separado para cada grupo, auditorías independientes y que una persona pueda cuestionar y corregir al sistema. Leyes como la Ley de IA de la Unión Europea ya exigen este tipo de controles para los usos de alto riesgo.