noun
Ein Transformer-Modell ist eine neuronale Netzwerkarchitektur, die sequenzielle Daten wie Text oder Audio verarbeitet, indem sie Self-Attention-Mechanismen nutzt, um die Bedeutung verschiedener Teile der Eingabe zu gewichten.
2017 eingeführt, revolutionierte es die Sprachverarbeitung, indem es ältere Modelle wie rekurrente neuronale Netze (RNNs) durch effizientere Verarbeitung von Langzeitabhängigkeiten ersetzte.
Für Entwickler ermöglichen Transformer leistungsstarke Anwendungen wie Echtzeitübersetzung oder Bilderzeugung, erfordern aber erhebliche Rechenressourcen und Trainingsdaten. Beispielsweise kann das Training eines großen Modells wie GPT-3 über eine Million Dollar in Cloud-Computing-Kosten verursachen.
Ein Transformer-Modell kann einen englischen Satz in ein Bild umwandeln, wie 'eine rote Katze, die auf einem Sofa schläft', in eine realistische Abbildung.
In anderen Sprachen
Siehe auch: Neural network · Attention mechanism