LLM

Lo studio della lingua si basa sempre di piu' sull'utilizzo di corpora, collezioni di testi parlati o scritti annotati con informazioni linguistiche. Come tutte le tecnologie pero', chi le costruisce ci infonde i valori che sceglie (e i bias che non decostruisce). In un'altra puntata dedicata alla scienza, oggi parliamo delle tre fasi di costruzione di un dataset linguistico e di tutte le questioni politiche associate a ogni step.

Scaletta musicale:

• Josif Tumari - Chiziq
• Sabinē - Bengali

Puntata 21 di EM, collettiva, parliamo di tecnologia e di geologia.

Prima parte sulla legge di scala: funziona ancora? Quel principio secondo cui più grande è un modello di AI - più dati, più potenza di calcolo, più parametri - più è "intelligente". Una specie di regola d’oro seguita da tutte le Big Tech negli ultimi anni. Le quali, però, cominciano a registrare prestazioni deludenti, nonostante la valanga di dati, chip, server, energia e miliardi di dollari usati per addestrare questi modelli. Entra in scena allora la distillazione: un modello grande, l’"insegnante", trasmette la sua conoscenza a uno più piccolo, lo “studente”. Il risultato? Un modello compatto, efficiente, capace di "pensare" quasi come i big, ma con una fetta minima del costo computazionale. Per i consumi, invece, non c'è tanto da rallegrarsi: andiamo incontro ad aumenti generalizzati, nonostante (o forse persino a causa, in base al paradosso di Jevons) della diffusione di un gran numero di modelli più piccoli (situazione per ora molto lontana da venire, in realtà).

Seconda parte su IA open source, che sta tentando di democratizzare l'accesso a strumenti avanzati, al di fuori di logiche proprietarie, mirando a trasparenza, accessibilità e responsabilità. Portiamo alcuni esempi che ci mostrano che, purtroppo, la maggior parte delle soluzioni che si definiscono "open source" non rispettano completamente i criteri necessari per garantire una vera apertura.

Terza parte, aggiornamento sulla situazione dei Campi Flegrei, attraverso il bollettino dell'INGV, che può diventare uno strumento di facile consultazione anche per non esperti. Il suo linguaggio, infatti, è tecnico ma sufficientemente comprensibile. Se consultato, può garantire una conoscenza diffusa dello stato di cose. Al momento della puntata odierna, non si registrano segnali di allarme e proprio per questo ne abbiamo voluto parlare, nello spirito del ciclo Emergenza Zero: occorre uscire da stati emergenziali ansiogeni che non consentono ragionamenti lucidi e di lunga prospettiva.

Puntata 15 di EM, quarta del ciclo Estrattivismo dei dati, parliamo di Deepseek, modello di intelligenza artificiale generativa cinese. Ripercorriamo quello che si è detto dopo il suo dirompente ingresso recente nella competizione mondiale dei Large Language Model. Si tratta davvero di un'alternativa economicamente ed ambientalmente sostenibile, tanto da far sperare in un rallentamento del dispiego di potenza computazionale e degli investimenti folli nel campo? Quel che è certo è che si è dato avvio ad un dibattito a cui prendiamo parte con la puntata di oggi.

Attraverso ottimizzazioni ingegneristiche di rilievo rispetto alle controparti americane, i modelli DeepSeek forniscono indubbiamente un contributo rilevante al processo di ricerca scientifica nel settore in grande evoluzione. Inoltre essi sono stati rilasciati ben descritti e sotto licenze che consentono a chiunque di scaricarli ed utilizzarli liberamente, sia in modo diretto che attraverso personalizzazioni (es. "fine tuning", "retrieval-augmented generation"). Tuttavia, sebbene i parametri (o pesi) dei modelli siano pubblici, DeepSeek non ha reso disponibili il codice sorgente completo o i dati di addestramento originali. Questo approccio, noto come "open weight", offre una trasparenza maggiore rispetto ad altri modelli proprietari, ma non soddisfa la definizione di open source secondo l'Open Source Initiative (OSI).

In effetti, i cinesi di DeepSeek non hanno realmente cambiato la traiettoria tracciata dai grandi hyperscaler statunitensi, e dunque proseguono su un percorso che appare insostenibile sia per l'ambiente che per la società umana. L'attuale modello di sviluppo dell'intelligenza artificiale statistica si traduce sempre in una crescita esponenziale della domanda computazionale, con un impatto energetico massiccio sulla natura e un'aggressione continua alle esistenze degli individui per estrarre dati. Stiamo attualmente costruendo un futuro in cui potenza di calcolo e dati continuano a dover crescere in modo folle, ma a quale prezzo? Mentre risorse cospicue vengono drenate per addestrare modelli sempre più grandi alla ricerca della cosiddetta intelligenza artificiale generale (realtà o chimera?), il mondo affronta bisogni primari irrisolti. Stiamo davvero avanzando o ci stiamo solo avvitando in un delirio tecnologico senza visione?

In questa puntata di Entropia Massima:

1) Ciò che è passato nei media occidentali sconvolgendo coscienze e finanze: DeepSeek ribalta Silicon Valley [00:00-21:00]

2) Il nostro "fact checking" in base agli articoli di ricerca pubblicati dagli scienziati cinesi: DeepSeek innova Silicon Valley, ma è proprio la "stessa minestra" [25:20-42:50]

3) L'attuale processo di sviluppo di IA statistica, indipendentemente dalla geografia, è troppo aggressivo su pianeta e società. La tecnopolitica globale ignora colpevolmente (per interesse a breve termine) questo aspetto. Rallentare o rifiutare per cercare una nuova visione per un futuro davvero sostenibile è proprio un tabù? [46:35-67:52]