Hyperparameter

noun

Ein Hyperparameter ist eine Konfigurationseinstellung, die bestimmt, wie ein maschinelles Lernmodell trainiert wird, wie z. B. die Lernrate oder die Batch-Größe. Im Gegensatz zu regulären Parametern (z. B. Gewichten in einem neuronalen Netzwerk) werden Hyperparameter vor dem Training festgelegt und nicht aus den Daten gelernt.

Sie stammen aus Experimenten, Faustregeln oder Optimierungstechniken wie Grid Search. Beispielsweise bestimmt die Lernrate in einem Sprachmodell, wie stark das Modell seine Gewichte nach jedem Trainingsschritt anpasst. Ist sie zu hoch, kann das Training divergieren; ist sie zu niedrig, wird es langsam.

Für Entwickler sind Hyperparameter entscheidend, da sie die Modellleistung direkt beeinflussen. Eine schlechte Wahl (z. B. 0,1 statt 0,001) kann das Training scheitern lassen, während optimale Werte (wie 0,0001 für einige Deep-Learning-Modelle) die Konvergenz beschleunigen. Sie beeinflussen auch die Rechenkosten: Größere Batches trainieren schneller, benötigen aber mehr Speicher.

Beim Feintuning eines Textgenerierungsmodells reduzierte die Anpassung der Lernrate von 0,001 auf 0,0001 den Overfitting um 15%.

In anderen Sprachen

Siehe auch: Model training

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.