Capitolo 02
Prestazioni tecniche
Stanford mostra un campo in cui la performance continua a salire ma la misurazione si destabilizza: i benchmark si saturano, i gap si riducono e i fallimenti restano disomogenei anziché lineari.
Perché conta
Se la finestra utile dei benchmark continua a collassare, i confronti su score grezzi diventano meno utili e contano di più affidabilità, costo e aderenza al dominio.
Come applicarlo
Questo capitolo è un avviso contro la logica semplicistica del "miglior modello": la capacità è reale, ma lo sono anche rumore di misurazione e disomogeneità dei task.
Segnali principali
Segnali principali
La performance avanza, ma due segnali complicano la lettura: i benchmark si saturano più in fretta di quanto vengano sostituiti, e i modelli eccellono in modo disomogeneo e imprevedibile.
La saturazione dei benchmark accelera
I frontier model hanno guadagnato 30 punti in un anno su Humanity's Last Exam, comprimendo il periodo in cui un benchmark resta davvero utile alle decisioni.
L'intelligenza è potente ma disomogenea
Un modello può ottenere un punteggio da medaglia d'oro IMO e leggere correttamente un orologio analogico solo circa metà delle volte. Stanford lo usa per mostrare il carattere frastagliato della capacità.
Dati selezionati
Dati selezionati
Numeri e confronti sintetizzati dalle fonti ufficiali del capitolo Stanford.
| Segnale | Valore | Contesto |
|---|---|---|
| Guadagno su Humanity's Last Exam | +30 pts | I frontier model migliorano di 30 punti percentuali in un solo anno. |
| Cluster top Arena Elo | 1,503 to 1,481 | Anthropic, xAI, Google e OpenAI sono entro 25 punti Elo a marzo 2026. |
| Gap closed vs open | 3.3% | A marzo 2026 il miglior modello closed supera il miglior open del 3,3%, contro lo 0,5% di agosto 2024. |
| Gap top model USA-Cina | 2.7% | A marzo 2026 il miglior modello USA guida quello cinese del 2,7%. |
| Range domande invalide nei benchmark | 2% to 42% | Stanford cita tassi di errore o invalidità che vanno dal 2% su MMLU Math al 42% su GSM8K. |
Implicazioni
- La vicinanza nei leaderboard sposta la competizione verso costo, robustezza e fiducia di dominio.
- Il design dei benchmark sta diventando esso stesso una capacità strategica.
- Score elevati non eliminano la necessità di validazione task-level nei workflow di produzione.