Da quando è uscito ChatGPT, tutti dicono "fa risparmiare tempo". Ma quanto? E con quale impatto sulla qualità? Shakked Noy e Whitney Zhang, due ricercatori del MIT, hanno fatto la cosa giusta: un esperimento randomizzato controllato — il gold standard della ricerca empirica. Pubblicato su Science nel luglio 2023, è diventato il paper più citato sul tema.

1. L'esperimento

444 professionisti laureati negli Stati Uniti — manager, marketer, analisti, consulenti, HR. A ciascuno vengono assegnati due task di scrittura tipici del loro mestiere: memo interni, comunicati stampa, brevi piani strategici, analisi. Niente di artificiale: cose che fanno davvero al lavoro.

Tra il primo e il secondo task, metà dei partecipanti (scelti a caso) ricevono l'accesso a ChatGPT. L'altra metà no. Tutti i risultati vengono poi valutati da altri professionisti dello stesso settore, in cieco — non sanno chi ha usato l'AI e chi no.

2. I tre risultati

I numeri sono diventati famosi, ma vale la pena vederli insieme:

Tre box affiancati: '−40%' tempo per task, '+18%' qualità del risultato, 'si appiattisce' gap di skill. In basso: '444 professionisti, task di scrittura, RCT controllato'.
// fig. 01 I tre numeri di Noy & Zhang (Science, 2023). Significativi statisticamente, ma con i limiti dell'esperimento (task brevi, popolazione USA, ChatGPT del 2023).
  • Tempo per task: −40%. Chi usa ChatGPT finisce nettamente prima. Non un 10%, un 40%.
  • Qualità: +18%. E nonostante la velocità, il risultato è giudicato migliore, in media, dai valutatori esterni. Questo è il punto contro-intuitivo: di solito chi va veloce sacrifica qualità.
  • Inequality: si appiattisce. Questa è la scoperta più interessante.

3. La sorpresa: il gap di skill si appiattisce

Prima dell'esperimento, gli scrittori venivano valutati su un task baseline (senza AI). Quindi gli autori potevano misurare la distribuzione della qualità: chi era molto bravo, chi mediocre, chi sotto la media. Quando arriva ChatGPT, succede una cosa interessante: la curva si appiattisce. Gli scrittori più deboli migliorano di tantissimo, i forti migliorano un po'.

Grafico con due linee: 'senza AI' una linea grigia inclinata (i deboli scrivono male, i forti bene); 'con AI' una linea nera quasi piatta vicino all'alto (tutti scrivono bene). Annotation: 'i deboli guadagnano moltissimo', 'i forti guadagnano un po'.
// fig. 02 L'effetto compressore: ChatGPT alza il pavimento più del soffitto. Il gap tra "scrittore mediocre" e "scrittore bravo" si riduce di molto.

La lettura economica è significativa: se l'AI livella le competenze nelle task scrivibili, il valore relativo di "essere bravi a scrivere" cala. La rendita da skill si comprime. È una notizia bella per chi era partito svantaggiato, e meno bella per chi viveva di quella competenza specifica.

4. Cosa porto via

Tre cose:

  • I numeri sono reali, ma con asterisco. L'esperimento misura task brevi (15-30 min). Per progetti lunghi, cooperativi, ambigui, è probabile che l'effetto sia diverso. Generalizzare oltre i task di scrittura è un salto, non un'inferenza diretta.
  • L'AI cambia la distribuzione, non solo la media. È più importante guardare chi guadagna che quanto in media. La compressione di skill è una delle dinamiche economiche più rilevanti dei prossimi 10 anni.
  • Vince chi ha buon giudizio, non chi scrive bene. Coerente con quello che dicono Agrawal/Gans/Goldfarb in Power and Prediction: l'AI fa la previsione (o la stesura, nel nostro caso), il giudizio resta umano. E il giudizio non si livella così facilmente.

Il paper è breve (3 pagine + appendice), aperto come preprint sul sito di Noy, ed è il primo tassello empirico solido su un dibattito altrimenti speculativo. Vale la pena leggerlo per intero almeno una volta.