Andrej Karpathy, figure de proue du développement de l’IA, a dévoilé une nouvelle architecture pour gérer les connaissances à long terme au sein de grands modèles de langage (LLM). Ce système, baptisé « Bases de connaissances LLM », évite le besoin de pipelines complexes de génération augmentée de récupération (RAG) en permettant au LLM lui-même de maintenir une archive lisible et en constante évolution de fichiers Markdown. Cette approche résout le défi clé du développement de l’IA « sans état » : la perte de contexte lorsque les sessions se terminent ou que les limites d’utilisation sont atteintes.
Le problème avec la mémoire IA traditionnelle
Actuellement, la plupart des LLM ont des difficultés avec la mémoire à long terme. Lorsqu’ils travaillent sur des projets complexes, les utilisateurs sont souvent confrontés à l’expérience frustrante de devoir rétablir le contexte après chaque interaction, ce qui leur fait perdre du temps et des jetons précieux. Les solutions traditionnelles, telles que les bases de données vectorielles et les pipelines RAG, tentent de résoudre ce problème en indexant les documents dans des intégrations pour des recherches de similarité. Cependant, ces systèmes peuvent introduire de la latence, du bruit et manquer de transparence.
La solution de Karpathy : une archive Markdown auto-entretenue
La méthode de Karpathy est d’une simplicité élégante : traiter le LLM comme un « bibliothécaire de recherche » à plein temps. Le système fonctionne en détournant le débit des jetons vers la manipulation des connaissances structurées stockées dans les fichiers Markdown. Cela garantit que le LLM compile, édite et relie activement les informations, créant ainsi une base de connaissances auto-réparatrice et vérifiable.
L’architecture se compose de trois étapes :
- Ingestion de données : Les matières premières, y compris les documents de recherche, les référentiels de codes et les articles Web, sont importées dans un répertoire brut. Le contenu Web est converti en Markdown via des outils comme Obsidian Web Clipper, préservant les images pour les capacités de vision LLM.
- Compilation : Le LLM lit les données brutes et écrit un wiki structuré, résumant les concepts clés, créant des articles de style encyclopédie et générant des backlinks entre les idées associées. C’est la principale innovation.
- Maintenance active (Linting) : Le système effectue des « vérifications de santé » régulières, analysant le wiki à la recherche d’incohérences, de données manquantes ou de nouvelles connexions. Cela garantit que la base de connaissances reste exacte et à jour.
Pourquoi la démarque est importante
Le choix de Markdown est délibéré. Il s’agit d’un format de données compact, lisible par l’homme, qui offre une traçabilité directe. Chaque affirmation formulée par l’IA peut être retracée à un fichier .md spécifique, permettant un examen et une modification humains. Cela contraste fortement avec le problème de la « boîte noire » des intégrations vectorielles, où le raisonnement derrière les sorties de l’IA est opaque.
Implications pour les entreprises
Bien que la configuration de Karpathy soit actuellement décrite comme une « collection de scripts piratés », les implications pour les applications d’entreprise sont importantes. La plupart des entreprises disposent de grandes quantités de données non structurées (journaux Slack, wikis internes et rapports PDF) qui restent largement inexploitées. Une couche d’entreprise de type « Karpathy » pourrait créer activement une « Bible d’entreprise » mise à jour en permanence, synthétisant ces données en temps réel.
Plusieurs entrepreneurs et enseignants en IA ont déjà reconnu ce potentiel :
- Vamshi Reddy : “Chaque entreprise a un répertoire raw/. Personne ne l’a jamais compilé. C’est le produit.”
- Ole Lehmann : “Une application qui se synchronise avec les outils que vous utilisez déjà… repose sur quelque chose d’énorme.”
- Eugen Alpeza : “Il y a de la place pour un nouveau produit et nous le construisons au sein de l’entreprise.”
Mise à l’échelle, performances et avenir de la mémoire IA
Malgré des inquiétudes concernant l’évolutivité, Karpathy note que son système fonctionne bien avec jusqu’à 100 articles et 400 000 mots. Pour les ensembles de données plus petits, la simplicité de Markdown surpasse souvent la latence et le bruit des bases de données vectorielles complexes.
L’objectif ultime est d’exploiter ces connaissances structurées pour générer et affiner des données synthétiques. En affinant continuellement le wiki, le LLM peut créer un ensemble de formation de haute qualité pour des modèles de renseignement privés personnalisés.
Karpathy lui-même résume : « Vous écrivez ou modifiez rarement le wiki manuellement ; c’est le domaine du LLM. »
Cela représente une évolution vers des archives autonomes dans lesquelles l’IA conserve sa propre mémoire, éliminant ainsi le besoin d’une intervention humaine constante. L’ère du marque-page oublié est révolue ; nous entrons dans une ère où l’IA se souvient de tout pour nous.
