noun
KI-Modell-Ausrichtungsmethoden sind Techniken, die sicherstellen, dass KI-Systeme den menschlichen Absichten entsprechen, schädliche Verhaltensweisen vermeiden und ethische sowie Sicherheitsgrenzen einhalten. Dazu gehören Verstärkungslernen durch menschliches Feedback (RLHF), verfassungsbasierte KI und Feinabstimmung mit Sicherheitsbeschränkungen.
Die Ausrichtung funktioniert, indem KI-Modelle auf Datensätzen trainiert werden, die gewünschte Verhaltensweisen betonen, wobei menschliche Bewertungen oder vordefinierte Regeln verwendet werden. Beispielsweise belohnt RLHF das Modell, wenn es hilfreiche Antworten liefert, und bestraft es für schädliche oder irreführende Antworten. Verfassungsbasierte KI verwendet einen Satz von Prinzipien, um die Modellausgaben zu leiten, während die Feinabstimmung die Modellparameter anpasst, um Sicherheit zu priorisieren.
Für Entwickler verändern diese Techniken die Art und Weise, wie sie KI-Systeme entwerfen und einsetzen. Sie erfordern zusätzliche Trainingsdaten, menschliche Überwachung und manchmal längere Verarbeitungszeiten. Allerdings reduzieren sie das Risiko, dass die KI gefährlichen oder irreführenden Inhalt erzeugt. Beispielsweise könnte ein Chatbot, der mit Ausrichtungsmethoden trainiert wurde, medizinische Ratschläge verweigern, selbst wenn danach gefragt wird, um Fehlinformationen zu vermeiden.
Ein Sprachmodell, das mit Ausrichtungsmethoden trainiert wurde, könnte eine Anfrage zur Erstellung von Fake News ablehnen, selbst wenn die Anfrage geschickt formuliert ist.
In anderen Sprachen
Siehe auch: reinforcement learning · AI safety