Andrej Karpathy, tokoh terkemuka dalam pengembangan AI, telah meluncurkan arsitektur baru untuk mengelola pengetahuan jangka panjang dalam model bahasa besar (LLM). Sistem ini, yang dijuluki “Basis Pengetahuan LLM”, mengabaikan kebutuhan akan jaringan pipa generasi pengambilan-augmented (RAG) yang kompleks dengan meminta LLM sendiri memelihara arsip file Markdown yang terus berkembang dan dapat dibaca manusia. Pendekatan ini memecahkan tantangan utama pengembangan AI “stateless”: hilangnya konteks ketika sesi berakhir atau batas penggunaan tercapai.
Masalah dengan Memori AI Tradisional
Saat ini, sebagian besar LLM berjuang dengan memori jangka panjang. Saat mengerjakan proyek yang kompleks, pengguna sering kali menghadapi pengalaman frustasi karena harus membangun kembali konteks setelah setiap interaksi, sehingga membuang-buang token dan waktu yang berharga. Solusi tradisional, seperti database vektor dan pipeline RAG, berupaya mengatasi hal ini dengan mengindeks dokumen ke dalam embeddings untuk pencarian kesamaan. Namun, sistem ini dapat menimbulkan latensi, gangguan, dan kurangnya transparansi.
Solusi Karpathy: Arsip Penurunan Harga yang Terkelola Sendiri
Metode Karpathy sangat sederhana: perlakukan LLM sebagai “pustakawan penelitian” penuh waktu. Sistem beroperasi dengan mengalihkan throughput token untuk memanipulasi pengetahuan terstruktur yang disimpan dalam file Markdown. Hal ini memastikan bahwa LLM secara aktif mengumpulkan, mengedit, dan menghubungkan informasi, menciptakan basis pengetahuan yang dapat menyembuhkan diri sendiri dan dapat diaudit.
Arsitekturnya terdiri dari tiga tahap:
- Penyerapan Data: Bahan mentah, termasuk makalah penelitian, repositori kode, dan artikel web, diimpor ke direktori mentah. Konten web diubah menjadi Penurunan Harga melalui alat seperti Obsidian Web Clipper, yang menyimpan gambar untuk kemampuan penglihatan LLM.
- Kompilasi: LLM membaca data mentah dan menulis wiki terstruktur, merangkum konsep-konsep utama, membuat artikel bergaya ensiklopedia, dan menghasilkan tautan balik antara ide-ide terkait. Ini adalah inovasi inti.
- Pemeliharaan Aktif (Linting): Sistem melakukan “pemeriksaan kesehatan” secara rutin, memindai wiki untuk mencari ketidakkonsistenan, data yang hilang, atau koneksi baru. Hal ini memastikan bahwa basis pengetahuan tetap akurat dan terkini.
Mengapa Penurunan Harga Penting
Pilihan penurunan harga memang disengaja. Ini adalah format data ringkas dan dapat dibaca manusia yang memberikan kemampuan penelusuran langsung. Setiap klaim yang dibuat oleh AI dapat ditelusuri kembali ke file .md tertentu, sehingga memungkinkan peninjauan dan pengeditan oleh manusia. Hal ini sangat kontras dengan masalah “kotak hitam” pada penyematan vektor, yang alasan di balik keluaran AI tidak jelas.
Implikasinya bagi Bisnis
Meskipun pengaturan Karpathy saat ini digambarkan sebagai “kumpulan skrip yang diretas”, implikasinya terhadap aplikasi perusahaan sangatlah signifikan. Sebagian besar perusahaan memiliki sejumlah besar data tidak terstruktur—log Slack, wiki internal, dan laporan PDF—yang sebagian besar masih belum dimanfaatkan. Lapisan perusahaan “gaya Karpathy” dapat secara aktif membuat “Alkitab Perusahaan” yang terus diperbarui, mensintesis data ini secara real-time.
Beberapa pengusaha dan pendidik AI telah menyadari potensi ini:
- Vamshi Reddy: “Setiap bisnis memiliki direktori mentah/. Tidak ada yang pernah mengkompilasinya. Itulah produknya.”
- Ole Lehmann: “Satu aplikasi yang disinkronkan dengan alat yang sudah Anda gunakan… sedang menggunakan sesuatu yang besar.”
- Eugen Alpeza: “Ada ruang untuk produk baru, dan kami sedang membangunnya di perusahaan.”
Penskalaan, Performa, dan Masa Depan Memori AI
Meskipun ada kekhawatiran tentang skalabilitas, Karpathy mencatat bahwa sistemnya bekerja dengan baik hingga 100 artikel dan 400.000 kata. Untuk kumpulan data yang lebih kecil, kesederhanaan Markdown sering kali mengungguli latensi dan gangguan database vektor yang kompleks.
Tujuan utamanya adalah memanfaatkan pengetahuan terstruktur ini untuk pembuatan dan penyesuaian data sintetis. Dengan terus menyempurnakan wiki, LLM dapat membuat rangkaian pelatihan berkualitas tinggi untuk model intelijen swasta khusus.
Karpathy sendiri merangkum: “Anda jarang menulis atau mengedit wiki secara manual; ini adalah domain LLM.”
Hal ini mencerminkan peralihan ke arah arsip otonom di mana AI menyimpan memorinya sendiri, sehingga menghilangkan kebutuhan akan campur tangan manusia secara terus-menerus. Era penanda buku yang terlupakan telah berakhir; kita memasuki zaman di mana AI mengingat segalanya untuk kita.
