noun
Verzerrung in der KI bezieht sich auf die Tendenz von KI-Systemen, ungerechte oder voreingenommene Ergebnisse zu produzieren, meist aufgrund von unausgewogenen oder nicht repräsentativen Trainingsdaten. Dies kann passieren, wenn die für die Modelle verwendeten Daten historische Ungleichheiten, kulturelle Stereotype oder die Unterrepräsentation bestimmter Gruppen widerspiegeln.
Beispielsweise haben Gesichtserkennungssysteme eine schlechtere Leistung bei Personen mit dunklerer Hautfarbe gezeigt, mit Fehlerraten, die bis zu 34 % höher sind für schwarze Frauen im Vergleich zu weißen Männern, wie Studien des MIT Media Lab aus dem Jahr 2018 zeigen. Ebenso können Einstellungsalgorithmen männliche Bewerber bevorzugen, wenn sie mit Lebensläufen trainiert werden, die überwiegend männlich sind.
Verzerrung in der KI kann zu realen Schäden führen, wie diskriminierende Kredite, voreingenommene Einstellungen oder ungerechte Polizeipraktiken. Unternehmen müssen ihre KI-Modelle auditieren und diverse Datensätze verwenden, um diese Risiken zu mindern. In der EU schreibt die KI-Verordnung strenge Anforderungen für Hochrisiko-KI-Systeme vor, um Verzerrungen zu verhindern.
Ein Sprachmodell könnte bei der Zusammenfassung von Lebensläufen männlichen Bewerbern prestigeträchtigere Berufsbezeichnungen vorschlagen als weiblichen Bewerberinnen.