Andrei Karpathy, czołowa postać w rozwoju sztucznej inteligencji, przedstawił nową architekturę zarządzania pamięcią długoterminową w dużych modelach językowych (LLM). System ten, nazywany „bazą wiedzy LLM”, omija potrzebę stosowania złożonych potoków zaawansowanej generacji wyszukiwania (RAG), umożliwiając samemu LLM utrzymywanie stale rozwijającego się, czytelnego dla człowieka archiwum plików Markdown. Takie podejście rozwiązuje kluczowy problem rozwoju bezstanowej sztucznej inteligencji: utratę kontekstu po zakończeniu sesji lub osiągnięciu limitów wykorzystania.
Problem z tradycyjną pamięcią AI
Obecnie większość LLM ma trudności z pamięcią długoterminową. Pracując nad złożonymi projektami, użytkownicy często stają przed frustrującą koniecznością przywracania kontekstu po każdej interakcji, marnując cenne tokeny i czas. Tradycyjne rozwiązania, takie jak wektorowe bazy danych i potoki RAG, próbują rozwiązać ten problem poprzez indeksowanie dokumentów do reprezentacji wektorowych w celu wyszukiwania podobieństwa. Jednakże systemy te mogą powodować opóźnienia, szumy i brak przejrzystości.
Rozwiązanie Karpathy’ego: samopodtrzymujące się archiwum Markdown
Metoda Karpathy’ego jest elegancka i prosta: pomyśl o LLM jak o pełnoetatowym „bibliotekarzu badawczym”. System działa poprzez przekierowywanie przepustowości tokenów w celu manipulowania ustrukturyzowaną wiedzą przechowywaną w plikach Markdown. Gwarantuje to, że LLM aktywnie kompiluje, edytuje i łączy informacje, tworząc samonaprawiającą się, podlegającą audytowi bazę wiedzy.
Architektura składa się z trzech etapów:
- Przesyłanie danych: Surowce, w tym artykuły naukowe, repozytoria kodów i artykuły internetowe, są importowane do katalogu raw. Treści internetowe są konwertowane do formatu Markdown za pomocą narzędzi takich jak Obsidian Web Clipper, a obrazy są zachowywane na potrzeby wizji LLM.
- Kompilacja: LLM odczytuje surowe dane i pisze ustrukturyzowaną wiki, podsumowując kluczowe koncepcje, tworząc artykuły encyklopedyczne i generując linki zwrotne między powiązanymi pomysłami. Jest to istotna innowacja.
- Aktywna konserwacja (Linting): System regularnie przeprowadza „kontrolę stanu”, skanując wiki pod kątem niespójności, brakujących danych lub nowych połączeń. Dzięki temu baza wiedzy pozostaje dokładna i aktualna.
Dlaczego przecena ma znaczenie
Wybór Markdown jest celowy. Jest to czytelny, kompaktowy format danych, który zapewnia bezpośrednią identyfikowalność. Każde oświadczenie złożone przez sztuczną inteligencję można powiązać z konkretnym plikiem .md, co pozwala na recenzowanie i edycję. Stanowi to wyraźny kontrast w stosunku do problemu czarnej skrzynki reprezentacji wektorowych, w przypadku którego logika wnioskowania AI jest nieprzejrzysta.
Implikacje biznesowe
Chociaż dostosowywanie Karpathy jest obecnie opisywane jako „zestaw hacków”, konsekwencje dla aplikacji korporacyjnych są znaczące. Większość firm posiada ogromne ilości nieustrukturyzowanych danych – dzienniki Slacka, wewnętrzne strony wiki i raporty w formacie PDF – które w dużej mierze pozostają niewykorzystane. Warstwa korporacyjna w stylu Karpathy może aktywnie tworzyć stale aktualizowaną „Biblię korporacyjną”, syntetyzując te dane w czasie rzeczywistym.
Kilku przedsiębiorców i ekspertów AI dostrzegło już ten potencjał:
- Vamshi Reddy: “Każda firma ma katalog raw/. Nikt nigdy go nie skompilował. To jest produkt.”
- Ole Lehman: „Jedna aplikacja, która synchronizuje się z narzędziami, których już używasz… opiera się na czymś ogromnym.”
- Eugen Alpeza: „Jest miejsce na nowy produkt i budujemy go dla sektora korporacyjnego.”
Skalowanie, wydajność i przyszłość pamięci AI
Pomimo obaw dotyczących skalowalności Karpathy zauważa, że jego system działa dobrze przy 100 artykułach i 400 000 słów. W przypadku małych zestawów danych prostota Markdown często przewyższa opóźnienia i szumy złożonych wektorowych baz danych.
Ostatecznym celem jest wykorzystanie tej ustrukturyzowanej wiedzy do generowania syntetycznych danych i dostrajania. Poprzez ciągłe ulepszanie wiki, LLM może stworzyć wysokiej jakości zbiór danych do szkolenia niestandardowych, zastrzeżonych modeli sztucznej inteligencji.
Sam Karpathy podsumowuje to: „Rzadko ręcznie piszesz lub edytujesz wiki; taki jest zakres LLM”.
Oznacza to zwrot w kierunku archiwów autonomicznych, w których sztuczna inteligencja utrzymuje własną pamięć, eliminując potrzebę ciągłej interwencji człowieka. Era zapomnianych zakładek dobiegła końca; Wkraczamy w erę, w której sztuczna inteligencja pamięta za nas wszystko.
