Quante dimensioni
servono per dire qualcosa?

Ciao,

ha alimentato le armi dell’Hydra, aperto portali e permesso a Loki di arrivare sulla Terra. Un curriculum niente male per un cubo blu.

Loki e il Tesseract · Fonte Disney+

Nel Marvel Cinematic Universe si chiama Tesseract e custodisce la Gemma dello Spazio. A un certo punto mi sono chiesto che cosa c’entrasse con i tensori.

Sì, lo so, da Loki alla matematica il passaggio non è esattamente obbligatorio. Così ho chiesto a ChatGPT.

Che cosa c’entra il Tesseract con i tensori?

Il Tesseract della Marvel deve il nome a un oggetto matematico, l’ipercubo a quattro dimensioni. Immagina un punto che diventa una linea, una linea che forma un quadrato e un quadrato che si trasforma in un cubo. Aggiungi un’altra dimensione, impossibile da visualizzare interamente nel nostro spazio, e ottieni un tesseract.

I tensori sono un’altra cosa, anche se condividono con lui l’idea di andare oltre le dimensioni più facili da rappresentare. Un numero è un tensore di ordine zero, un vettore ne ha una, una matrice ne ha due. Da lì è possibile continuare ad aggiungere dimensioni e organizzare quantità enormi di informazioni.

Fin qui, tutto molto nerd. La faccenda si fa interessante quando tutta questa matematica entra nei modelli che usi per scrivere.

Quando scrivi una frase dentro un modello linguistico, il sistema la divide in token, cioè frammenti di parole, parole intere o segni di punteggiatura. A ciascun token associa poi una rappresentazione numerica chiamata embedding.

Una parola, quindi, viene tradotta in una sequenza di numeri e collocata dentro uno spazio composto da centinaia o migliaia di dimensioni. Le coordinate permettono al modello di riconoscere relazioni, vicinanze e differenze costruite durante l’addestramento.

Immagina 32 brevi testi da 128 token, con 4.096 valori per ciascun token. Il tensore che li raccoglie contiene oltre 16 milioni di numeri, prima ancora di completare una frase.

Per distinguere le parti del testo più rilevanti, il modello usa tre rappresentazioni chiamate Query, Key e Value. Il confronto tra Query e Key serve a stabilire quanta attenzione assegnare ai diversi token, mentre il Value contiene le informazioni numeriche che verranno combinate in base alla rilevanza che viene attribuita a ciascun termine.

Sembra quasi che la macchina comprenda ciò che legge. In realtà sta calcolando relazioni e probabilità con una precisione impressionante.

Nella prima frase le possibilità sono molte. Quando compare luglio, le ferie diventano una continuazione molto più naturale.

Il contesto ha cambiato le parole che ti sono venute in mente. Un modello linguistico compie un’operazione simile su una scala molto più grande, assegnando un peso diverso alle continuazioni possibili. Ripeti la prova in due chat e confronta le risposte. Potresti trovare parole diverse e una direzione sorprendentemente simile.

Ed eccolo, il paradosso. Una tecnologia capace di elaborare migliaia di dimensioni può comunque produrre testi che ci sembrano tutti uguali.

Non credo dipenda da una singola parola. Davvero, efficace, smettere e molte altre appartengono all’italiano prima ancora che ai modelli linguistici. Condannarle perché ricorrono nei testi generati vorrebbe dire lasciare all’AI anche il compito di restringere il nostro vocabolario. Sarebbe un regalo un po’ eccessivo, no?

Un testo generato dall’AI lo riconosci dall’insieme, perché le frasi imboccano la strada più prevedibile, i paragrafi hanno tutti lo stesso ritmo e, anche quando affronta un tema importante, resta in superficie e non prende posizione.

È il cosiddetto AI slop, un testo apparentemente ben scritto, che si legge molto bene e che potresti appiccicare su un altro sito o in un altro contesto senza notare la differenza. Lo potresti usare per raccontare quasi qualsiasi cosa, e si capirebbe comunque poco di chi c’è dietro.

Dietro c’è una matematica sofisticatissima, che però lavora sui calcoli di probabilità. I tensori traducono le parole in numeri, mentre il meccanismo di attenzione analizza i legami tra i vari termini e stabilisce quali contano di più. Nel nostro caso, per dire, dà maggiore rilevanza a "luglio" e rende "ferie" la parola successiva più probabile.

Non conosce necessariamente tutto il contesto in cui userai il testo e non può rispondere delle conseguenze, quindi una risposta plausibile può avere tutta l’aria della verità senza esserlo.

È quello che Edward de Bono, lo psicologo che ha coniato l'espressione pensiero laterale, ha sintetizzato perfettamente in una frase.

Succede la stessa cosa, anche se in forma diversa, con i modelli addestrati sui nostri dati, dove finiscono dritti dritti anche i nostri pregiudizi e gli stereotipi di sempre. Se chiedi a un generatore di immagini di mostrare chi lavora nell’ingegneria senza aggiungere altro, è facile che ti tiri fuori un uomo. Se parli di un ruolo manageriale, compare subito un altro repertorio visivo che conosciamo fin troppo bene.

L’AI questi schemi li intercetta subito e li riproduce al millimetro. Il punto è che per raddrizzare il tiro servono fonti, verifiche e una testa umana che decida che strada prendere.

Lo stesso principio guida il Manifesto etico della scrittura con AI, che ho conosciuto grazie a Cristiano Carriero, storyteller e founder di LaContent. Puoi leggerlo qui.

Il sottotitolo sembra scritto per questo numero di Subliqua.

Qualche giorno fa ho letto un articolo di Swizec Teller dal titolo When code is cheap, judgement becomes the job. Racconta che l’intelligenza artificiale scrive ormai il 97% del codice dei suoi progetti.

Il dato impressiona, ma la parte interessante arriva quando dice che più codice viene prodotto, più aumenta quello da controllare. Di conseguenza il collo di bottiglia si sposta dall’esecuzione al giudizio.

Succede anche con i contenuti. Oggi puoi generare dieci proposte nello stesso tempo in cui prima ne scrivevi una. Poi devi leggerle, controllare i fatti e decidere quale valga la pena tenere. In pratica, l’efficienza moltiplica le decisioni che ti aspettano.

Ho approfondito il tema della judgment AI in questo articolo.

Leggi il post di Treccani sull’Algoritmocene.

Treccani ha rilanciato una parola proposta alcuni anni fa: Algoritmocene, un nome provocatorio per un’epoca in cui gli algoritmi influenzano il nostro lavoro e le nostre decisioni. Porta con sé la previsione (quasi terroristica, direi) che l’AI farà sparire il nostro lavoro, confondendo ancora una volta la produzione con il lavoro.

L’AI può moltiplicare parole, immagini e codice, assorbendo una parte crescente dell’esecuzione. Può produrre linguaggio senza avere nulla da dire. Il modello può combinare segni e generare sequenze plausibili, ma il senso che assumono nel mondo dipende da chi le mette alla prova della realtà e risponde dell’uso che ne fa. Questo è il giudizio che dobbiamo allenare.

Se davvero siamo nell’Algoritmocene, le macchine hanno imparato a restituirci testi sempre più complessi e noi non possiamo disimparare a giudicare.