Inferenz

noun

Inferenz ist die Anwendung eines trainierten KI-Modells auf neue Daten, um Ausgaben wie Text, Bilder oder Entscheidungen zu generieren, ohne das Modell weiter zu trainieren. Im Gegensatz zum Training, das das Modell anpasst, nutzt die Inferenz das Modell in seiner aktuellen Form, um Echtzeit- oder Batch-Ergebnisse zu liefern.

Sie funktioniert, indem Eingabedaten (z. B. eine Textabfrage) in ein vortrainiertes Modell eingespeist werden, das diese über seine neuronalen Netze verarbeitet, um eine Antwort zu erzeugen. Geschwindigkeit und Genauigkeit hängen von der Modellarchitektur, der Hardware (wie GPUs) und Optimierungstechniken wie Quantisierung ab.

Für Nutzer verändert die Inferenz die Arbeitsweise: Sie automatisiert die Inhaltserstellung, beschleunigt die Analyse und reduziert manuelle Arbeit. Allerdings entstehen Kosten (z. B. für Cloud-Computing) und es gibt Grenzen (z. B. Latenz). Beispielsweise kann ein Modell wie Mistral’s Mixtral 8x7B Inferenz auf einer NVIDIA A100-GPU durchführen, etwa 100 Tokens pro Sekunde verarbeiten und dabei Kosten von rund 0,50 € pro einer Million Tokens verursachen.

Wenn ein Sprachassistent einen Nachrichtenartikel zusammenfasst, führt er Inferenz aus, um die Zusammenfassung zu generieren.

In anderen Sprachen

Siehe auch: Neural network · Token

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.