noun
Die Inferenzlatenz ist die Verzögerung zwischen dem Senden einer Eingabe (wie einer Textanfrage oder Bildanfrage) an ein KI-Modell und dem Erhalt der Ausgabe. Sie ist ein entscheidender Faktor für die Benutzererfahrung, insbesondere bei Echtzeitanwendungen wie Chatbots oder Bildgeneratoren.
Diese Verzögerung hängt von der Modellkomplexität, der Hardware (GPUs/TPUs) und der Netzwerkgeschwindigkeit ab. Ein großes Sprachmodell kann beispielsweise 50–500 Millisekunden für eine Antwort benötigen, während einfachere Modelle nahezu sofort reagieren.
Für Entwickler kann eine hohe Latenz Benutzer frustrieren, während eine niedrige Latenz die Nutzung verbessert. Die Optimierung erfordert oft Kompromisse, wie die Verwendung kleinerer Modelle oder Cloud-Beschleunigung, was die Kosten erhöhen kann.
Beispielsweise muss ein KI-basierter Kundenservice-Assistent unter 200ms Latenz bleiben, um als reaktionsschnell wahrgenommen zu werden.
Ein Nutzer gibt eine Frage in einen Chatbot ein und wartet 300ms auf die Antwort.