Prima di smontare un sistema bisogna capire come funziona. Cinque moduli per costruire un modello mentale coerente — il prerequisito intellettuale per analizzare i LLM con consapevolezza critica reale.
Rappresentazione
01.1 — Il problema di base
Il testo non è direttamente calcolabile
I computer operano su numeri. Il linguaggio naturale non è nativamente numerico. La risposta naïve — "gatto" = 1, "cane" = 2, "casa" = 3 — non porta nessuna informazione strutturale: la distanza tra 1 e 2 non riflette alcuna vicinanza semantica reale. La distanza numerica non riflette la distanza semantica.
Una rappresentazione utile deve preservare le relazioni semantiche: parole con significati simili devono avere rappresentazioni simili. La soluzione è assegnare a ogni parola un vettore in uno spazio geometrico ad alta dimensionalità.
01.2 — Spazio vettoriale
La geometria del significato
Ogni parola è un punto in uno spazio con centinaia o migliaia di dimensioni. Le dimensioni non corrispondono a concetti umani interpretabili — emergono dall'ottimizzazione. La vicinanza tra vettori misura la somiglianza semantica: questo è il principio della semantica distribuzionale.
# Vettori semplificati (nella realtà: 768–12.288 dimensioni) gatto = [0.82, 0.14, -0.43, 0.91] felino = [0.79, 0.18, -0.38, 0.87] # vicino a gatto auto = [-0.21, 0.93, 0.67, -0.12] # lontano da gatto
"Words that occur in the same contexts tend to have similar meanings." — Firth, 1957. Il principio fondativo dei moderni LLM.
Il modello non sa cosa sia un gatto. Apprende che "gatto" appare spesso vicino a "pelo", "miagolare", "veterinario" — quella distribuzione statistica diventa la sua rappresentazione.
01.3 — Similarità coseno
Come si misura la distanza semantica
La metrica standard è la similarità coseno: misura l'angolo tra i vettori, non la distanza euclidea. Due vettori possono essere lontani in termini assoluti ma puntare nella stessa direzione — e quindi essere semanticamente simili.
01.4 — Struttura algebrica
L'aritmetica dei concetti
Le relazioni semantiche diventano operazioni algebriche: vettore("re") − vettore("uomo") + vettore("donna") ≈ vettore("regina"). Però queste operazioni riflettono i bias del corpus: "dottore" tende ad essere più vicino a "uomo" nei corpus non bilanciati.
Le operazioni vettoriali riflettono i bias presenti nel testo — inclusi quelli culturali e storici. Questo non è un bug: è una proprietà della rappresentazione.
01.5 — Tokenizzazione
Da parole a token
I LLM non lavorano su parole intere ma su token — unità sub-lessicali (BPE). "inaspettato" → ["in", "aspett", "ato"]. Ogni token riceve il proprio vettore di embedding.
La tokenizzazione non è neutra. "AI", "A.I.", "artificial intelligence" ricevono vettori diversi. Per questo la formulazione esatta di un prompt cambia i risultati.
Predizione
02.1 — Il compito fondamentale
Predire il token successivo
L'obiettivo di addestramento di un LLM è semplice: dato un testo, predire il token successivo. Tutto ciò che i modelli sembrano "sapere" — ragionamento, conoscenza fattuale, capacità di seguire istruzioni — è emergenza di questo singolo obiettivo applicato a enormi quantità di testo.
Quando un LLM risponde, non recupera una risposta da una memoria strutturata. Genera token probabilisticamente coerenti con il contesto.
02.2 — Softmax
Ogni risposta è una scommessa
L'output grezzo del modello è un vettore di logit. La funzione Softmax converte i logit in una distribuzione di probabilità. Esempio dopo "Il gatto è sul":
02.3 — Temperatura
Non "creatività" — scala
La temperatura (T) scala i logit prima di Softmax. Non abilita capacità cognitive che il modello non possiede — riequilibra la distribuzione verso token più o meno probabili.
02.4 — Sampling e implicazioni epistemiche
L'AI non sa: stima
Campiona solo dai k token più probabili, ridistribuendo la probabilità tra loro.
Campiona dal nucleo minimo di token la cui probabilità cumulativa supera p. Adattivo e robusto.
Il processo generativo ottimizza la coerenza statistica, non la corrispondenza con la realtà. Le allucinazioni sono architetturalmente inevitabili, non bug correggibili.
Attenzione
03.1 — Il problema del contesto
Perché serve un meccanismo di attenzione
Le architetture pre-transformer processavano il testo sequenzialmente. Il transformer risolve questo permettendo a ogni token di guardare direttamente tutti gli altri token nel contesto, indipendentemente dalla distanza.
"Attention Is All You Need" — Vaswani et al., 2017. Il meccanismo di attenzione elimina la necessità di ricorrenza e convoluzione, permettendo parallelizzazione completa.
03.2 — Query, Key, Value
L'architettura QKV
Ogni vettore di token viene proiettato in tre rappresentazioni: Query (cosa sto cercando), Key (cosa ogni token ha da offrire), Value (il contenuto effettivo). La compatibilità tra Query e Key determina il peso di attenzione.
Cosa il token corrente cerca nel contesto.
Cosa ogni token offre. La compatibilità Q·K determina il peso.
Il contenuto effettivo recuperato in proporzione al peso.
03.3 — Mappa di attenzione
Visualizzazione: "Il gatto beve il latte"
"Beve" presta molta attenzione a "gatto" (soggetto) e "latte" (oggetto). Questa struttura emerge dall'addestramento — non è programmata esplicitamente.
03.4 — Multi-Head e Context Window
Specializzazione e limiti
I transformer usano Multi-Head Attention: h meccanismi in parallelo, ciascuno con proprie matrici. Diverse teste sviluppano specializzazioni diverse — emergenza dell'ottimizzazione, non design esplicito.
La complessità dell'attenzione è O(n²): raddoppiare il contesto quadruplica il costo. La context window non è memoria — è la finestra di lavoro del calcolo corrente.
Training
04.1 — Cosa significa addestrare
Ottimizzare miliardi di parametri
Un LLM è una funzione parametrica con miliardi di pesi. Addestrare significa trovare i valori di questi parametri che minimizzano l'errore di predizione su enormi corpus. Non si "insegnano" informazioni — si ottimizzano parametri.
GPT-3: 175 miliardi di parametri, ~300 miliardi di token. Il costo di training di un modello frontier è decine-centinaia di milioni di dollari.
04.2 — Loss e Backpropagation
Come il modello impara
La cross-entropy loss misura quanto il modello si sbaglia. La backpropagation calcola il gradiente della loss rispetto a ogni parametro. Il gradient descent aggiorna i pesi nella direzione che riduce l'errore.
04.3 — Bias strutturali
I bias non sono bug: sono l'ottimizzazione
Il modello apprende la distribuzione statistica del corpus — inclusi i bias che contiene. Non si tratta di un errore correggibile: è una conseguenza architetturale diretta.
Se nel corpus "dottore" appare più spesso con pronomi maschili, il modello apprende questa associazione. I bias sono nella geometria dei pesi — frutto di miliardi di operazioni su dati distorti.
Allineamento
05.1 — Il problema dell'allineamento
Dal modello base al sistema usabile
Un modello base addestrato su predizione del token su internet produce output che riflettono fedelmente la distribuzione del web — inclusi testi tossici e disinformazione. Non perché sia "malvagio": perché il suo obiettivo è la plausibilità statistica, non l'utilità etica.
Qualsiasi tecnica di allineamento richiede di operazionalizzare "preferenza umana": tradurre un concetto filosoficamente complesso in un segnale di ottimizzazione matematico. Questa traduzione introduce scelte di valore mai neutrali.
05.2 — RLHF
Reinforcement Learning from Human Feedback
Fine-tuning su dimostrazioni umane di comportamento desiderato
Modello che predice le preferenze umane tra coppie di output
Ottimizzazione del LLM tramite PPO per massimizzare il reward predetto
"When a measure becomes a target, it ceases to be a good measure." Il reward model è una proxy delle preferenze umane — ottimizzare per massimizzarla può portare a sycophancy.
05.3 — Chi sono gli annotatori
La politica nascosta nel feedback umano
Le "preferenze umane" sono in realtà le preferenze di un gruppo specifico di annotatori — demograficamente ristretto, operante con linee guida aziendali. Le scelte valoriali — cosa è "utile", cosa è "sicuro" — sono scelte politiche, non tecniche. La neutralità è strutturalmente impossibile.
05.4 — Constitutional AI e Governance
Chi controlla l'allineamento controlla il medium
Constitutional AI (Anthropic) rende espliciti i principi valoriali invece di lasciarli impliciti nel comportamento degli annotatori — un progresso verso la trasparenza. Ma chi scrive la costituzione rimane l'azienda stessa.
Le aziende che sviluppano i modelli definiscono cosa significa "sicuro" e "utile" — con limitata accountability pubblica e senza standard di trasparenza obbligatori.
Hai completato tutti e cinque i moduli. L'Insight Lab — Anatomia dell'Invisibile acquista ora una dimensione radicalmente diversa: verifiche empiriche di meccanismi che possiedi concettualmente.
Vai all'Insight Lab →