di Alessio Plebe
Il lavoro appena uscito del team di Anthropic “Verbalizable Representations Form a Global Workspace in Language Models” mi sembra un importante passo avanti nel sciogliere un paradosso riguardo ai modelli neurali del linguaggio basati sull’architettura Transformer. Noi esseri umani possiamo accettare di buon grado che una miriade di fenomeni del mondo naturale ci risultino incomprensibili. Ma non riuscire a spiegare come funziona qualcosa ideato e realizzato interamente da noi stessi รจ paradossale. Nel momento in cui l’oggetto inspiegabile รจ l’artefatto di gran lunga piรน intelligente mai realizzato, non riuscire a comprendere come funzioni, e come mai funzioni talmente bene, rende il paradosso davvero difficile da accettare. Sono consapevole che il mio usare con leggerezza termini come “artefatto intelligente” potrebbe urtare diverse suscettibilitร , e non intendo addentrarmi nei meandri definitori di intelligenza, mi limito alla semplice osservazione: finora non esiste alcun altro artefatto che approssimi capacitร intellettive proprie dell’uomo, in misura nemmeno lontanamente paragonabile ai modelli neurali del linguaggio. Si tratta di una constatazione che anche il piรน radicale scettico nei confronti dei modelli neurali del linguaggio non puรฒ contestare.
Tornando al paradosso, รจ interessante come sovverta una concezione piuttosto diffusa sul rapporto tra costruzione e comprensione. Una delle celebri citazioni di Richard Feynman recita “What I cannot create, I do not understand”. Nel caso in cui la materia da comprendere sia il comportamento umano o di altri animali, lo slogan di Feynman assume la forma del “metodo sintetico”, teorizzato giร da psicologi come Clark Hull e Kenneth Craik nella prima metร del novecento, e divenuto successivamente principio primario in cibernetica e intelligenza artificiale, declinato per esempio dall’artificialista robotico Rolf Pfeifer come “understanding by building”. Nel caso dei modelli neurali del linguaggio non solo la loro costruzione non รจ di alcun aiuto per comprendere qualcos’altro – e non lo era negli intenti dei loro ideatori – ma essi stessi rappresentano un enigma per le inaspettate prestazioni di cui sono in grado.
La situazione, con le dovute proporzioni, assomiglia alle difficoltร di spiegare come noi esseri umani adempiamo facilmente ai nostri compiti cognitivi, pur essendo noi stessi a realizzarli, non abbiamo la piรน pallida idea di come. Beninteso, anche il modello neurale del linguaggio all’ultimo grido รจ ben poca cosa paragonato alla complessitร di un cervello, e in aggiunta la nostra ignoranza viene ben scusata da non essere certo noi i costruttori del nostro cervello. Pur nella sua asimmetria, il paragone non รจ completamente fuori luogo, anzi i metodi delle neuroscienze sono stati una fruttuosa ispirazione nell’impresa di risolvere il paradosso. Il principale rientra nel quadro in filosofia della scienza delle spiegazioni meccanicistiche, declinato in neuroscienza nel lavoro seminale di Peter Machamer, Lindley Darden e Carl Craver “Thinking about Mechanisms” del 2000, che sostanzialmente prescrive la ricerca di parti di un sistema che concorrono ad un fenomeno, e l’analisi delle relazioni reciproche tra tali parti. Una prima proposta della sua applicazione emerge nel “Zoom in: an introduction to circuits” di Chris Olah e altri, in cui la possibilitร di individuare circuiti computazionali di neuroni viene paragonata all’introduzione del microscopio in biologia. Altrettanto importante risulta la concezione interventista della causalitร (interventionist account) proposta da James Woodward nel 2003 nel suo “Making Things Happen: A Theory of Causal Explanation”, che prevede di dover intervenire su variabili di un sistema per poter accertare il loro effetto sul fenomeno in analisi.
Entrambi i metodi sono stati impiegati da Gurnee e colleghi. Sul versante meccanicistico, hanno messo a punto uno strumento di analisi astuto, pur se matematicamente piuttosto semplice. Quella che chiamano Jacobian lens, o J-lens, mira ad individuare, nei diversi strati di un modello neurale linguistico, configurazioni interne predisposte alla verbalizzazione, quindi non necessariamente responsabili dell’immediata produzione in output di un token, ma che possano favorirne la produzione successivamente, oppure emergere se al modello venisse chiesto di riferire qualcosa riguardo le sue attuali elaborazioni.
L’analisi viene applicata al cosiddetto residual stream. In ogni strato del Transformer e in ogni posizione del testo, il modello mantiene un ragguardevole vettore numerico, tipicamente con migliaia di componenti, che raccoglie lo stato corrente dell’elaborazione. I moduli di attenzione e le reti neurali interne di ciascuno strato leggono ciรฒ che vi รจ scritto, elaborano nuova informazione e la aggiungono alla configurazione giร presente. Procedendo attraverso la rete, questo stato viene progressivamente trasformato, e infine moltiplicato per la matrice cosiddetta di unembedding, producendo un vettore, stavolta con centinaia di migliaia di elementi, con i punteggi dei token del vocabolario.
Come ben rileva il nome Jacobian lens, il suo strumento matematico fondamentale รจ il Jacobiano, una matrice di gradienti. In questo contesto, esso misura come una piccola variazione introdotta nel residual stream di uno strato intermedio si propagherebbe fino al residual stream finale. Si puรฒ dire che condensi, in prima approssimazione, l’influenza causale esercitata da uno stato interno sulle successive elaborazioni del modello. Questa influenza viene seguita sia verso la posizione corrente sia verso le posizioni future, chiaramente un concetto puรฒ infatti non incidere sulla parola immediatamente successiva, ma diventare verbalmente rilevante piรน avanti.
Un Jacobiano calcolato su un solo testo rifletterebbe troppo le particolaritร di quel caso. Gli autori lo stimano quindi su molte posizioni e su circa mille testi differenti, prendendone poi la media. Per ogni strato si ottiene cosรฌ una trasformazione stabile, che descrive il modo tipico in cui piccole variazioni delle rappresentazioni di quel livello si propagano fino allo stato finale, in maniera indipendente dall’effetto contingente prodotto da un singolo prompt.
Applicata a una nuova attivazione, la J-lens la trasforma quindi nel formato finale e mediante la matrice di unembedding nella graduatoria di token, quelli con i punteggi piรน elevati sono i token che quella configurazione interna tende a rendere disponibili per una verbalizzazione presente o futura.
Per ogni token si ottiene cosรฌ, in ciascuno strato, una particolare direzione nel residual stream. Queste direzioni – una per ciascuna delle centinaia di migliaia di voci del vocabolario e ciascuna composta dalle migliaia di valori del residual stream – formano un grande dizionario sovrabbondante. Il J-space รจ definito dalle configurazioni interne che possono essere approssimate combinando soltanto poche di queste direzioni alla volta.
Il J-space di un determinato livello si presta bene a semplici analisi matematiche che ne svelano il comportamento come spazio di lavoro condiviso. Nei primi strati, le letture sono diffuse e poco interpretabili; negli ultimi convergono sempre piรน sulla parola che il modello sta per produrre. Negli strati intermedi, invece, emergono pochi contenuti distinti, relativamente persistenti e non ancora ridotti alla preparazione dell’output immediato.
L’insieme di caratteristiche esposta dal J-space consente al team di Anthropic di avventurarsi in un’ipotesi ardita, ipotizzandone un’analogia con quello che in neuroscienza รจ denominato global workspace, un’architettura funzionale che rende globalmente disponibile una selezione delle informazioni prodotte da processi non coscienti, consentendone l’impiego nel ragionamento, nel controllo flessibile e nel resoconto verbale.
Soprattutto, รจ una delle teorie piรน gettonate tra le varie in competizione per spiegare il fenomeno della coscienza d’accesso, distinta dalla controversa questione della coscienza fenomenica. Quindi la posta in palio per il J-space รจ alta, ma le carte da giocare non sono niente male. A partire dalla proprietร su cui si รจ fatto leva per identificarlo: la disponibilitร al resoconto verbale (reportability). La collocazione tra i livelli risulta appropriata, per analogia a metร strada tra livelli sensoriali e motori; le limitazione nel numero di concetti contemporaneamente rappresentabili nel J-space; il suo fungere da centro di trasmissione flessibile dei concetti in esso mantenuti per qualsiasi genere di processo a valle. Vedremo piรน avanti la sottile strategia con cui questa proprietร รจ stata attestata.
Gurnee e coautori hanno voluto mettere a giudizio la loro velleitaria ipotesi affidandosi ai due principali esponenti del global workspace in neuroscienza, Stanislas Dehaene e Lionel Naccache. Il responso รจ stato generosamente positivo, ammettendo che le varie analogie mostrate dal J-space sono sorprendenti, e difficilmente declassabili a mere coincidenze. Trovo interessante che uno dei principali rilievi riguardi l’ignition, la rapida e non lineare modificazione dell’attivitร neurale quando uno stimolo accede al workspace. Un ampio studio congiunto, pubblicato nel 2025 e progettato per mettere direttamente a confronto le previsioni di teorie concorrenti, aveva peraltro giร messo in difficoltร una specifica previsione della teoria, non rilevando in generale lโignition attesa alla scomparsa dello stimolo.
L’applicazione del metodo interventista da parte di Gurnee e coautori ha suscitato una certa invidia nei due neuroscienziati, espressa con “In an experiment that remains a dream for neuroscientists, the authors swap conscious contents.” Ecco un sostanziale vantaggio di scrutare i modelli anzichรฉ gli umani: nessuna remora nell’intervenire. In una serie di prompt sulla geografia, hanno forzatamente scambiato il vettore J-lens di un paese (Francia) con un altro (Cina), se il J-space funziona realmente come formato condiviso, lo stesso intervento dovrebbe indurre circuiti diversi a trattare la Francia come se fosse la Cina, producendo Pechino, cinese, Asia o yuan a seconda della domanda. ร precisamente ciรฒ che accade.
Si puรฒ ora affermare che il paradosso che gravava sui modelli neurali del linguaggio sia superato, che la ragione per cui funzionano talmente bene รจ stata svelata, risiede nel loro possesso di uno spazio interno analogo al global workspace nel cervello?
A parte le dovute cautele nel dover attendere ulteriori repliche e approfondimenti delle indagini appena esposte da Anthropic, l’elemento che continua a sorprendere รจ che nella costruzione di questi modelli non esiste alcuna ricetta progettuale che induca la formazione di un J-space. Se la chiave di volta per un sistema artificiale intelligente fosse la replica di un global workspace, la cui progettazione negli organismi viventi deriva dall’evoluzione biologica, ci si sarebbe potuti aspettare che la via piรน diretta consistesse nell’ingegnerizzare esplicitamente le caratteristiche note del global workspace.
Questo รจ stato ampiamente tentato da una trentina di anni, in concomitanza con la prima ideazione della teoria neuroscientifica del global workspace da parte di Bernard Baars, che in prima persona si spese per tentarne una implementazione artificiale, con l’aiuto di Stan Franklin che ne divenne il principale sviluppatore. Una prima architettura denominata IDA (Intelligent Distribution Agent) venne perfezionata in LIDA (Learning IDA) in numerose versioni, composte da un numero crescente di moduli specializzati, tutti ispirati ad analoghe componenti del cervello. Inutile aggiungere che, nonostante decenni di sviluppo, nessuna implementazione di LIDA ha tuttavia mostrato un’ampiezza e una flessibilitร di prestazioni cognitive lontanamente paragonabili a quelle degli attuali modelli linguistici, e mentre centinaia di milioni di persone hanno esperienza di Claude o ChatGPT, che esista LIDA o IDA lo sanno solamente pochi addetti ai lavori.
Piรน che dissolvere il paradosso, la scoperta del J-space sembra dunque circoscriverlo: sappiamo qualcosa di piรน su come il modello renda disponibili e riutilizzi alcuni contenuti intermedi, ma resta da spiegare come una simile organizzazione funzionale emerga da un addestramento che non la prescrive esplicitamente.
