noun
Les protocoles d’alignement des modèles d’IA sont des directives et des mécanismes techniques visant à garantir que les systèmes d’IA, notamment les grands modèles de langage, respectent les intentions humaines et évitent les comportements dangereux.
Ils combinent souvent des techniques d’apprentissage, des filtres de sécurité et une supervision humaine. Par exemple, l’apprentissage par renforcement à partir de retours humains (RLHF) utilise des évaluations humaines pour affiner les réponses du modèle.
Pour les développeurs, ces protocoles imposent des tests plus rigoureux, ce qui peut retarder les lancements mais réduit les risques. Pour les utilisateurs, cela signifie des interactions plus fiables. Par exemple, les systèmes de modération d’OpenAI bloquent typiquement 10 % des requêtes dangereuses.
Un assistant virtuel aligné refuse de fournir des conseils pour contourner la loi, même si l'utilisateur insiste.
Voir aussi : AI safety · reinforcement learning