noun
Ein Checkpoint ist eine Momentaufnahme des Zustands eines KI-Modells, einschließlich seiner Gewichte und des Trainingsfortschritts, die in regelmäßigen Abständen oder an wichtigen Meilensteinen gespeichert wird. Dies ermöglicht Entwicklern, das Training nach einer Unterbrechung fortzusetzen oder die Leistung in verschiedenen Phasen zu vergleichen.
Checkpoints sind entscheidend beim Training großer KI-Modelle, wo Unterbrechungen (Hardwareausfälle, Budgetgrenzen) wochenlange Arbeit zunichtemachen können. Sie helfen auch bei der Feinabstimmung von Modellen, indem sie den Rückgriff auf eine stabile Version vor einem problematischen Update ermöglichen.
Für Entwickler reduzieren Checkpoints Kosten, indem sie redundantes Training vermeiden, und ermöglichen Experimente ohne Risiko für das gesamte Modell. Beispielsweise kostet das Training eines Modells wie Stable Diffusion V2 typischerweise 500 bis 1 000 Euro pro Woche auf Cloud-GPUs; Checkpoints ermöglichen es Teams, Training zu pausieren und ohne Verlust von Fortschritt fortzusetzen.
Nach einem Serverausfall stellte das Team das KI-Modell aus einem Checkpoint wieder her, der 3 Tage zuvor gespeichert wurde, und sparte so 2 Wochen Training.
In anderen Sprachen
Siehe auch: model fine-tuning