Sesgo en la IA

noun

El sesgo en la IA se refiere a la tendencia de los sistemas de inteligencia artificial a producir resultados injustos o discriminatorios, generalmente debido a datos de entrenamiento desequilibrados o no representativos. Esto puede ocurrir cuando los datos utilizados para entrenar los modelos reflejan desigualdades históricas, estereotipos culturales o la subrepresentación de ciertos grupos.

Por ejemplo, los sistemas de reconocimiento facial han mostrado un peor rendimiento con personas de piel más oscura, con tasas de error hasta un 34 % más altas para mujeres negras en comparación con hombres blancos, según estudios como el del MIT Media Lab en 2018. Del mismo modo, los algoritmos de contratación pueden favorecer a candidatos masculinos si se entrenan con currículos predominantemente masculinos.

El sesgo en la IA puede causar daños reales, como préstamos discriminatorios, contrataciones sesgadas o prácticas policiales injustas. Las empresas deben auditar sus modelos de IA y utilizar conjuntos de datos diversos para mitigar estos riesgos. En la UE, el Reglamento de IA impone requisitos estrictos para los sistemas de alto riesgo a fin de prevenir el sesgo.

Un modelo de lenguaje podría sugerir títulos de trabajo más prestigiosos para candidatos masculinos que para candidatas femeninas al generar resúmenes de currículos.

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.