noun
El sesgo en la IA se refiere a la tendencia de los sistemas de inteligencia artificial a producir resultados injustos o discriminatorios, generalmente debido a datos de entrenamiento desequilibrados o no representativos. Esto puede ocurrir cuando los datos utilizados para entrenar los modelos reflejan desigualdades históricas, estereotipos culturales o la subrepresentación de ciertos grupos.
Por ejemplo, los sistemas de reconocimiento facial han mostrado un peor rendimiento con personas de piel más oscura, con tasas de error hasta un 34 % más altas para mujeres negras en comparación con hombres blancos, según estudios como el del MIT Media Lab en 2018. Del mismo modo, los algoritmos de contratación pueden favorecer a candidatos masculinos si se entrenan con currículos predominantemente masculinos.
El sesgo en la IA puede causar daños reales, como préstamos discriminatorios, contrataciones sesgadas o prácticas policiales injustas. Las empresas deben auditar sus modelos de IA y utilizar conjuntos de datos diversos para mitigar estos riesgos. En la UE, el Reglamento de IA impone requisitos estrictos para los sistemas de alto riesgo a fin de prevenir el sesgo.
Un modelo de lenguaje podría sugerir títulos de trabajo más prestigiosos para candidatos masculinos que para candidatas femeninas al generar resúmenes de currículos.