noun
Prompt-Injection ist eine Sicherheitslücke, bei der Angreifer KI-Modelle manipulieren, indem sie schädliche Eingaben in Prompts einfügen, wodurch das System unvorhersehbar reagiert oder sensible Daten preisgibt.
Sie funktioniert, indem sie ausnutzt, wie KI Anweisungen interpretiert—wenn ein Nutzer oder Angreifer versteckte Befehle einfügt, könnte die KI diese statt der beabsichtigten Aufgabe ausführen. Beispielsweise könnte ein Hacker einen Prompt gestalten, der einen KI-Assistenten dazu bringt, private Informationen offenzulegen.
Für Entwickler bedeutet dies zusätzliche Sicherheitsprüfungen, wie Eingabeverifizierung und Sandboxing. Nutzer sollten sensible Daten nicht mit KI-Tools teilen, es sei denn, sie vertrauen dem System. Ein realer Fall zeigte, wie ein Chatbot durch einen geschickt formulierten Prompt dazu gebracht wurde, persönliche Daten eines Nutzers preiszugeben.
Ein Hacker fügt einen versteckten Befehl in einen Chatbot-Prompt ein, um ihn dazu zu bringen, die E-Mail-Adresse eines Nutzers preiszugeben.