Cosa sono RLHF, DPO e GRPO?

Sono le tre sigle principali del post-training: la fase in cui un modello, dopo aver imparato la lingua dai dati, impara a comportarsi come vogliamo: utile, onesto, nel formato giusto. L'RLHF (Reinforcement Learning from Human Feedback) è la tecnica storica dietro ChatGPT: umani confrontano risposte, un "reward model" impara i loro gusti, e il modello viene ottimizzato via reinforcement learning per massimizzarli. DPO (Direct Preference Optimization) ottiene un effetto simile saltando il giro: ottimizza direttamente sulle coppie di preferenze, senza reward model né loop di rinforzo. GRPO (Group Relative Policy Optimization), resa celebre da DeepSeek, genera più risposte allo stesso quesito e valuta ciascuna rispetto alla media del gruppo: le sopra media vengono rinforzate, le sotto media scoraggiate, senza bisogno di un modello di ricompensa addestrato a parte. Nei modelli di ragionamento la ricompensa è spesso un verificatore automatico (la risposta al problema di matematica è giusta o sbagliata) e non una preferenza umana, il che la rende una leva diversa da RLHF e DPO. Le tre tecniche condividono lo stesso obiettivo, allineare il comportamento del modello a un criterio esterno di qualità, ma differiscono per quanto costano da mettere in pratica e per quanto bene si adattano a compiti con risposta verificabile.

Come scegliere tra le tre

In pratica: DPO è la via semplice ed economica quando hai coppie di preferenze ("questa risposta è meglio di quella") e vuoi orientare stile e comportamento. L'RLHF classico dà più controllo ma costa in complessità e instabilità di addestramento. GRPO brilla dove la qualità è misurabile automaticamente (matematica, codice, task verificabili), che è il motivo per cui domina nel filone dei reasoning model.

Perché dovrebbe importarti anche se non addestri modelli

Per due ragioni pratiche. Primo: il comportamento di ogni modello che usi (perché rifiuta certe richieste, perché risponde in un certo formato) è il prodotto di queste tecniche, e capirlo aiuta a spiegare i comportamenti strani. Secondo: le stesse idee stanno scendendo di scala: allineare un modello piccolo alle preferenze della tua azienda con DPO su qualche migliaio di esempi è ormai un progetto fattibile, non ricerca. Il prerequisito, come sempre, non è l'algoritmo: sono esempi di qualità e una suite di evals per misurare se il comportamento è migliorato davvero. Una variante che riduce il carico di lavoro delle persone è la constitutional AI, dove le preferenze sono scritte come principi espliciti e a giudicare le risposte è un modello.