Karpathy

一句话总结 Karpathy的LLM Wiki不是又一个笔记工具，而是一个给Agent用的长期工作底座： 传统RAG：查询时临时检索，问完即走，知识不沉淀 LLM Wiki：先编译成结构化知识层，持续回写，复利增长 核心差异：多了一层被Agent消费、持续维护的wiki中间层 一、从"临时检索"到"先编译再查询" 传统RAG的困境 大多数人用LLM和文档打交道的方式： 上传文件 → 提问 → 检索片段 → 生成答案 → 结束 问题： 今天问"这5篇文章共同说明了什么"，模型找5次片段、拼1次答案 过两天换个问法，大概率还要再做一遍 知识不会留下来，不会随着使用慢慢长出来 LLM Wiki的范式 原始资料 → 编译成wiki（摘要、实体、概念、索引） ↓ 查询时读index → 钻具体页面 → 生成答案 ↓ 有价值的结果 → 回写成新页面 核心洞察: “传统知识库更像’临时检索’，LLM Wiki更像’先编译，再查询’。” 二、三层架构：原始资料、Wiki、Schema ┌─────────────────────────────────────────┐ │ Schema（规则层） │ │ AGENTS.md / CLAUDE.md │ │ 定义：怎么组织、怎么ingest、怎么query │ ├─────────────────────────────────────────┤ │ The Wiki（知识层） │ │ LLM生成和维护的Markdown │ │ 摘要、实体页、概念页、索引 │ ├─────────────────────────────────────────┤ │ Raw Sources（事实源） │ │ 文章、论文、图片、代码 │ │ 只读，不改 │ └─────────────────────────────────────────┘ Schema：被忽略的关键层 作用：告诉LLM这个wiki应该怎么组织 ...

一句话总结 Andrej Karpathy 提出了一个区别于传统RAG的全新个人知识库范式：不是每次提问都从零检索，而是让 LLM 持续构建并维护一个持久的 Wiki——一个由相互链接的 Markdown 文件组成的结构化知识库。 核心洞察：知识应该被"编译"一次后保持更新，而不是每次提问都重新推导。 为什么传统RAG不够 大多数人使用 LLM 处理文档的体验： 上传一堆文件 提问时检索相关文本块 生成答案 问题：LLM 每次回答都在"从零开始"重新发现知识，没有任何知识沉淀。如果你问一个需要综合五份文档的复杂问题，LLM 每次都得重新去寻找并拼凑相关碎片。 NotebookLM、ChatGPT 的文件上传功能，以及大多数 RAG 系统都是这样工作的。 Karpathy 的解决方案：持久化 Wiki 核心理念 LLM 持续构建并维护一个持久的 Wiki——这是一个由相互链接的 Markdown 文件组成的结构化集合，介于你和原始资料之间。 当你添加一份新资料时，LLM 不是简单地建立索引留待后用。它会： 主动阅读，提取关键信息 整合到现有 Wiki，更新实体页面 修改主题摘要，标注新数据与旧观点的冲突 强化或挑战正在演变的综合结论 最关键的区别：Wiki 是一个持久的、具备复利效应的产物。交叉引用已经存在，矛盾之处已经被标记，总结结论已经反映了你读过的所有内容。 三层架构 ┌─────────────────────────────────────────┐ │ 约束架构层 (Schema) │ │ CLAUDE.md / AGENTS.md - 规则配置 │ ├─────────────────────────────────────────┤ │ Wiki 层 (The Wiki) │ │ LLM 生成的 Markdown 文件目录 │ │ 摘要、实体页面、概念页面、对比表格 │ ├─────────────────────────────────────────┤ │ 原始资料层 (Raw Sources) │ │ 文章、论文、图片、数据文件 │ │ 不可变 - LLM 只读，不修改 │ └─────────────────────────────────────────┘ 原始资料层：你的事实真相源，LLM 只能读取，绝不修改。 ...