Andrej Karpathy, een leidende figuur op het gebied van AI-ontwikkeling, heeft een nieuwe architectuur onthuld voor het beheren van langetermijnkennis binnen grote taalmodellen (LLM’s). Dit systeem, genaamd “LLM Knowledge Bases”, omzeilt de behoefte aan complexe retrieval-augmented generatie (RAG) pipelines door de LLM zelf een voortdurend evoluerend, voor mensen leesbaar archief van Markdown-bestanden te laten bijhouden. Deze aanpak lost de belangrijkste uitdaging van de ‘staatloze’ AI-ontwikkeling op: het verlies van context wanneer sessies eindigen of gebruikslimieten worden bereikt.
Het probleem met traditioneel AI-geheugen
Momenteel worstelen de meeste LLM’s met langetermijngeheugen. Bij het werken aan complexe projecten worden gebruikers vaak geconfronteerd met de frustrerende ervaring dat ze na elke interactie de context opnieuw moeten instellen, waardoor waardevolle tokens en tijd worden verspild. Traditionele oplossingen, zoals vectordatabases en RAG-pijplijnen, proberen dit aan te pakken door documenten te indexeren in insluitingen voor zoeken naar gelijkenissen. Deze systemen kunnen echter latentie, ruis en een gebrek aan transparantie introduceren.
Karpathy’s oplossing: een zichzelf onderhoudend markdown-archief
De methode van Karpathy is elegant eenvoudig: behandel de LLM als een fulltime ‘onderzoeksbibliothecaris’. Het systeem werkt door de tokendoorvoer om te leiden naar het manipuleren van gestructureerde kennis die is opgeslagen in Markdown-bestanden. Dit zorgt ervoor dat de LLM actief informatie verzamelt, bewerkt en met elkaar verbindt, waardoor een zelfherstellende, controleerbare kennisbasis ontstaat.
De architectuur bestaat uit drie fasen:
- Gegevensopname: Grondstoffen, waaronder onderzoekspapers, codeopslagplaatsen en webartikelen, worden geïmporteerd in een onbewerkte map. Webinhoud wordt geconverteerd naar Markdown via tools zoals Obsidian Web Clipper, waarbij afbeeldingen worden bewaard voor LLM-visiemogelijkheden.
- Compilatie: De LLM leest de onbewerkte gegevens en schrijft een gestructureerde wiki, waarbij de belangrijkste concepten worden samengevat, artikelen in encyclopediestijl worden gemaakt en backlinks tussen gerelateerde ideeën worden gegenereerd. Dit is de kerninnovatie.
- Actief onderhoud (Linting): Het systeem voert regelmatig “gezondheidscontroles” uit, waarbij de wiki wordt gescand op inconsistenties, ontbrekende gegevens of nieuwe verbindingen. Hierdoor blijft de kennisbank accuraat en actueel.
Waarom prijsverlaging belangrijk is
De keuze voor Markdown is bewust. Het is een voor mensen leesbaar, compact gegevensformaat dat directe traceerbaarheid biedt. Elke claim van de AI kan worden herleid tot een specifiek .md-bestand, waardoor menselijke beoordeling en bewerking mogelijk is. Dit staat in schril contrast met het ‘black box’-probleem van vectorinbedding, waarbij de redenering achter AI-uitvoer ondoorzichtig is.
Gevolgen voor bedrijven
Hoewel de opzet van Karpathy momenteel wordt omschreven als een ‘hacky verzameling scripts’, zijn de implicaties voor bedrijfsapplicaties aanzienlijk. De meeste bedrijven beschikken over enorme hoeveelheden ongestructureerde gegevens (Slack-logs, interne wiki’s en pdf-rapporten) die grotendeels ongebruikt blijven. Een bedrijfslaag in “Karpathy-stijl” zou actief een continu bijgewerkte “Bedrijfsbijbel” kunnen schrijven, waarbij deze gegevens in realtime worden samengevat.
Verschillende ondernemers en AI-docenten hebben dit potentieel al onderkend:
- Vamshi Reddy: “Elk bedrijf heeft een raw/ directory. Niemand heeft deze ooit samengesteld. Dat is het product.”
- Ole Lehmann: “Eén app die synchroniseert met de tools die je al gebruikt… zit op iets enorms.”
- Eugen Alpeza: “Er is ruimte voor een nieuw product, en we bouwen het in de onderneming.”
Schaal, prestaties en de toekomst van AI-geheugen
Ondanks zorgen over de schaalbaarheid merkt Karpathy op dat zijn systeem goed presteert met maximaal 100 artikelen en 400.000 woorden. Voor kleinere datasets presteert de eenvoud van Markdown vaak beter dan de latentie en ruis van complexe vectordatabases.
Het uiteindelijke doel is om deze gestructureerde kennis te benutten voor het genereren en verfijnen van synthetische gegevens. Door de wiki voortdurend te verfijnen, kan de LLM een hoogwaardige trainingsset creëren voor op maat gemaakte, particuliere intelligentiemodellen.
Karpathy zelf vat het samen: “Je schrijft of bewerkt de wiki zelden handmatig; het is het domein van de LLM.”
Dit vertegenwoordigt een verschuiving naar autonome archieven waar AI zijn eigen geheugen onderhoudt, waardoor de noodzaak van voortdurende menselijke tussenkomst wordt geëlimineerd. Het tijdperk van de vergeten boekenlegger is voorbij; we gaan een tijdperk binnen waarin AI alles voor ons onthoudt.
