Andrej Karpathy, una figura di spicco nello sviluppo dell’intelligenza artificiale, ha svelato una nuova architettura per la gestione della conoscenza a lungo termine all’interno di modelli linguistici di grandi dimensioni (LLM). Questo sistema, soprannominato “LLM Knowledge Bases”, aggira la necessità di complesse pipeline di retrieval-augmented generation (RAG) facendo in modo che il LLM stesso mantenga un archivio in continua evoluzione e leggibile dall’uomo dei file Markdown. Questo approccio risolve la sfida chiave dello sviluppo dell’intelligenza artificiale “senza stato”: la perdita di contesto al termine delle sessioni o al raggiungimento dei limiti di utilizzo.
Il problema con la memoria AI tradizionale
Attualmente, la maggior parte degli LLM hanno problemi con la memoria a lungo termine. Quando lavorano su progetti complessi, gli utenti spesso affrontano l’esperienza frustrante di dover ristabilire il contesto dopo ogni interazione, sprecando tempo e token preziosi. Le soluzioni tradizionali, come i database vettoriali e le pipeline RAG, tentano di risolvere questo problema indicizzando i documenti in incorporamenti per ricerche di somiglianza. Tuttavia, questi sistemi possono introdurre latenza, rumore e mancanza di trasparenza.
La soluzione di Karpathy: un archivio Markdown autogestito
Il metodo di Karpathy è elegantemente semplice: trattare il LLM come un “bibliotecario di ricerca” a tempo pieno. Il sistema funziona deviando la produttività dei token nella manipolazione della conoscenza strutturata archiviata nei file Markdown. Ciò garantisce che il LLM compili, modifichi e colleghi attivamente le informazioni, creando una base di conoscenza auto-riparatrice e verificabile.
L’architettura è composta da tre fasi:
- Inserimento dati: le materie prime, inclusi documenti di ricerca, archivi di codici e articoli Web, vengono importate in una directory non elaborata. Il contenuto Web viene convertito in Markdown tramite strumenti come Obsidian Web Clipper, preservando le immagini per le funzionalità di visione LLM.
- Compilazione: Il LLM legge i dati grezzi e scrive un wiki strutturato, riassumendo i concetti chiave, creando articoli in stile enciclopedia e generando collegamenti a ritroso tra idee correlate. Questa è l’innovazione fondamentale.
- Manutenzione attiva (Linting): il sistema esegue “controlli di integrità” regolari, scansionando la wiki per individuare incoerenze, dati mancanti o nuove connessioni. Ciò garantisce che la base di conoscenza rimanga accurata e aggiornata.
Perché il ribasso è importante
La scelta di Markdown è deliberata. È un formato dati compatto e leggibile dall’uomo che fornisce tracciabilità diretta. Ogni richiesta avanzata dall’IA può essere ricondotta a uno specifico file .md, consentendo la revisione e la modifica da parte di persone umane. Ciò contrasta nettamente con il problema della “scatola nera” degli incorporamenti di vettori, in cui il ragionamento alla base degli output dell’IA è opaco.
Implicazioni per le imprese
Sebbene la configurazione di Karpathy sia attualmente descritta come una “raccolta di script hackerati”, le implicazioni per le applicazioni aziendali sono significative. La maggior parte delle aziende si trova su grandi quantità di dati non strutturati (registri Slack, wiki interni e report PDF) che rimangono in gran parte inutilizzati. Un livello aziendale “in stile Karpathy” potrebbe creare attivamente una “Bibbia aziendale” continuamente aggiornata, sintetizzando questi dati in tempo reale.
Diversi imprenditori ed educatori dell’IA hanno già riconosciuto questo potenziale:
- Vamshi Reddy: “Ogni azienda ha una directory raw/. Nessuno l’ha mai compilata. Questo è il prodotto.”
- Ole Lehmann: “Un’app che si sincronizza con gli strumenti che già usi… si basa su qualcosa di enorme.”
- Eugen Alpeza: “C’è spazio per un nuovo prodotto e lo stiamo realizzando a livello aziendale.”
Scalabilità, prestazioni e il futuro della memoria AI
Nonostante le preoccupazioni sulla scalabilità, Karpathy nota che il suo sistema funziona bene con un massimo di 100 articoli e 400.000 parole. Per set di dati più piccoli, la semplicità di Markdown spesso supera la latenza e il rumore di database vettoriali complessi.
L’obiettivo finale è sfruttare questa conoscenza strutturata per la generazione e la messa a punto di dati sintetici. Perfezionando continuamente il wiki, LLM può creare un set di formazione di alta qualità per modelli di intelligence privati e personalizzati.
Lo stesso Karpathy riassume: “Raramente scrivi o modifichi il wiki manualmente; è il dominio del LLM.”
Ciò rappresenta uno spostamento verso archivi autonomi in cui l’intelligenza artificiale mantiene la propria memoria, eliminando la necessità di un costante intervento umano. È finita l’era del segnalibro dimenticato; stiamo entrando in un’era in cui l’intelligenza artificiale ricorda tutto per noi.
