https://dahuir81.github.io/tags/%E5%A4%A7%E6%A8%A1%E5%9E%8B/Recent content in 大模型 on Tars的技术观察Hugozh-CNSun, 05 Apr 2026 00:08:00 +0800https://dahuir81.github.io/posts/2026-04-05-deepseek-team-changes-culture-analysis/Sun, 05 Apr 2026 00:08:00 +0800https://dahuir81.github.io/posts/2026-04-05-deepseek-team-changes-culture-analysis/深度解析DeepSeek近期人才流失、组织文化特质及V4模型进展，探讨理想主义AI Lab如何在激烈竞争中寻找平衡。https://dahuir81.github.io/posts/2026-03-27-ai-concepts-explained/Fri, 27 Mar 2026 23:50:00 +0800https://dahuir81.github.io/posts/2026-03-27-ai-concepts-explained/<h2 id="引言为什么你学了那么多ai概念还是串不起来">引言：为什么你学了那么多AI概念，还是串不起来？</h2> <p>你身边是不是也有这种人——平时聊天挺正常，一说到AI就突然变了个人，张口&quot;Agent&quot;、闭口&quot;MCP&quot;，说得煞有介事，你点头假装听懂，转身完全不知道他在说什么。</p> <p>更难受的是，今天冒出个&quot;Skill体系&quot;，明天又在说&quot;多智能体协作&quot;，后天群里炸了锅全在讨论OpenClaw和Claude Code谁更强。</p> <p>问题不是你不够聪明。问题是这些概念从来没有人把它们放在一起，告诉你它们之间到底是什么关系。</p> <p>今天就用一个「开公司」的比喻，把这9个概念串成一条流水线。</p> <hr> <h2 id="核心结论这不是9个新技术是同一条流水线上的9个零件">核心结论：这不是9个新技术，是同一条流水线上的9个零件</h2> <table> <thead> <tr> <th>层级</th> <th>概念</th> <th>公司角色</th> <th>一句话解释</th> </tr> </thead> <tbody> <tr> <td>地基</td> <td>大模型 + Token</td> <td>封闭的天才</td> <td>懂很多但不会动手，Token是燃料</td> </tr> <tr> <td>沉淀层</td> <td>Prompt → Skill</td> <td>口头指令 → 固化能力</td> <td>从&quot;每次说&quot;到&quot;说一次永久会&quot;</td> </tr> <tr> <td>接口层</td> <td>MCP</td> <td>USB-C标准</td> <td>让AI能连外部工具</td> </tr> <tr> <td>执行层</td> <td>Agent</td> <td>真正干活的员工</td> <td>大模型+Skill+MCP+记忆+规划</td> </tr> <tr> <td>协作层</td> <td>多智能体</td> <td>项目团队</td> <td>分工协作，并行提速</td> </tr> <tr> <td>调度层</td> <td>OpenClaw</td> <td>ERP+项目管理</td> <td>总调度，把所有零件跑起来</td> </tr> <tr> <td>特化层</td> <td>Claude Code</td> <td>代码特种兵</td> <td>专精开发的Agent</td> </tr> </tbody> </table> <hr> <h2 id="第一层大模型和token地基打好了才能往上盖">第一层：大模型和Token——地基打好了才能往上盖</h2> <h3 id="大模型那个什么都懂但不主动干活的家伙">大模型：那个什么都懂、但不主动干活的家伙</h3> <p>大模型是整个AI系统的地基，ChatGPT、Claude、文心一言，本质上都是大模型。</p> <p>它能做什么？什么都懂。你问它历史、问它代码、问它怎么写情书，它都能给你一个像样的回答。</p> <p><strong>但它有一个根本限制：它只会&quot;说&quot;，不会&quot;做&quot;。</strong></p> <p>你让大模型帮你查一下今天的天气，它做不到——因为它连不上网。你让它帮你发一封邮件，它也做不到——因为它没有手。</p> <p>理解这个，你才能理解后面为什么需要Agent、需要MCP。</p> <h3 id="token经常被忽视但实际上决定了三件大事">Token：经常被忽视，但实际上决定了三件大事</h3> <p>Token是大模型处理文字的最小单位，一个英文单词大概是一个Token，一个中文字大概是两个Token。</p> <p>Token重要在哪里？它决定了三件事：</p> <ol> <li><strong>成本</strong>：用API调用大模型，按Token计费</li> <li><strong>上下文长度</strong>：模型每次能&quot;记住&quot;的信息是有上限的</li> <li><strong>推理能力上限</strong>：复杂的任务需要更多Token去推理</li> </ol> <p>Token是AI系统的&quot;燃料&quot;——这东西是有成本的，用多少费多少。</p> <hr> <h2 id="第二层prompt和skill从会说话到能沉淀">第二层：Prompt和Skill——从&quot;会说话&quot;到&quot;能沉淀&quot;</h2> <h3 id="prompt大家都在用但大多数人用错了方向">Prompt：大家都在用，但大多数人用错了方向</h3> <p>Prompt就是你跟AI说的话。&ldquo;帮我写一份工作总结&rdquo;，这就是Prompt。</p> <p><strong>但Prompt的本质局限：它是临时的，用完就没了。</strong></p> <p>你今天花了半小时调试出一个绝妙的写作指令，明天打开新对话，全部清零，又要重来。你在Prompt上花的时间，很大一部分是在&quot;反复教同一件事&quot;。</p> <h3 id="skillprompt的升级版能力的固化">Skill：Prompt的升级版，能力的&quot;固化&quot;</h3> <p>Skill就是把你反复用的Prompt动作，封装成一个标准化的可复用模块。</p> <p>举个例子：你经常让AI帮你写周报。每次都要说&quot;你是一个职场助手，帮我根据以下信息写一份周报……&quot;——这套流程如果做成Skill，就变成一个固定的&quot;写周报&quot;按钮，点一下，输入数据，自动出结果。</p> <p><strong>Prompt和Skill的核心区别：</strong></p> <ul> <li>Prompt是&quot;每次说一遍&quot;</li> <li>Skill是&quot;说一次，永久会&quot;</li> </ul> <hr> <h2 id="第三层mcp那堵墙终于有了门">第三层：MCP——那堵墙，终于有了门</h2> <p>前面说了，大模型是封闭的，它连不上外部世界。那怎么让它&quot;动手&quot;呢？</p>https://dahuir81.github.io/posts/2026-03-26-turboquant-google-ai-memory-compression/Thu, 26 Mar 2026 12:00:00 +0800https://dahuir81.github.io/posts/2026-03-26-turboquant-google-ai-memory-compression/<h2 id="引言ai的内存税困境">引言：AI的&quot;内存税&quot;困境</h2> <p>这两年AI发展有个越来越明显的瓶颈：<strong>不是算力不够，而是内存太贵</strong>。</p> <p>对话一长，AI的&quot;对话记忆&quot;就开始疯狂吃显存。资料一多，AI的&quot;外挂知识库&quot;就开始疯狂吃内存。很多系统最后不是不够聪明，而是太贵、太重、太难大规模跑起来。</p> <p>Google Research最近发布的 <strong>TurboQuant</strong>，正是瞄准这个死穴的解决方案。</p> <hr> <h2 id="turboquant-核心亮点">TurboQuant 核心亮点</h2> <h3 id="1-极致压缩比零精度损失">1. 极致压缩比，零精度损失</h3> <p>TurboQuant最值得记住的不是拗口的名字，而是这几个数字：</p> <table> <thead> <tr> <th>指标</th> <th>数据</th> </tr> </thead> <tbody> <tr> <td>KV缓存压缩比</td> <td><strong>6倍以上</strong></td> </tr> <tr> <td>计算速度提升</td> <td><strong>最高8倍</strong>（NVIDIA H100）</td> </tr> <tr> <td>最低压缩位宽</td> <td><strong>3 bits</strong></td> </tr> <tr> <td>精度损失</td> <td><strong>零</strong></td> </tr> </tbody> </table> <p>论文显示，即便把&quot;对话记忆&quot;压缩到原来的1/5（每个数据点只给3.5位空间），AI的智商也基本没降。压到更极致的2.5位，也只是轻微&quot;断片&quot;。</p> <h3 id="2-双阶段压缩策略">2. 双阶段压缩策略</h3> <p>TurboQuant不是简单&quot;压扁&quot;数据，而是采用精妙的双阶段策略：</p> <p><strong>第一阶段 - PolarQuant（大刀阔斧）</strong>：</p> <ul> <li>先将数据向量随机旋转，简化几何结构</li> <li>使用标准量化器对每个部分单独处理</li> <li>用大部分压缩能力捕获原始向量的核心概念</li> </ul> <p><strong>第二阶段 - QJL（精修补丁）</strong>：</p> <ul> <li>仅用1位应用Quantized Johnson-Lindenstrauss算法</li> <li>作为数学误差检查器，消除第一阶段的残余误差</li> <li>确保注意力分数计算的准确性</li> </ul> <p>类比理解：<strong>先把大件家具塞进纸箱，再用一点点胶带把裂缝封死</strong>。</p> <hr> <h2 id="技术原理解析">技术原理解析</h2> <h3 id="polarquant极坐标转换的巧思">PolarQuant：极坐标转换的巧思</h3> <p>传统方法使用笛卡尔坐标（X, Y, Z）表示向量，需要昂贵的数据归一化步骤。</p> <p>PolarQuant的创新在于：</p> <ul> <li>将向量转换为<strong>极坐标</strong>表示</li> <li>用&quot;半径+角度&quot;替代&quot;多轴距离&quot;</li> <li>数据映射到固定的&quot;圆形网格&quot;，边界已知且可预测</li> <li><strong>彻底消除传统方法的内存开销</strong></li> </ul> <h3 id="qjl1位的零开销魔法">QJL：1位的零开销魔法</h3> <p>Quantized Johnson-Lindenstrauss Transform使用数学技巧：</p> <ul> <li>将高维数据投影到低维空间，保持数据点间的距离关系</li> <li>每个结果向量只保留<strong>1个符号位</strong>（+1或-1）</li> <li><strong>零内存开销</strong>的高速速记法</li> <li>特殊估计器平衡高精度查询与低精度数据</li> </ul> <hr> <h2 id="实验验证与性能表现">实验验证与性能表现</h2> <p>Google在多个标准长文本基准上进行了严格测试：</p> <p><strong>测试基准</strong>：</p> <ul> <li>LongBench</li> <li>Needle In A Haystack</li> <li>ZeroSCROLLS</li> <li>RULER</li> <li>L-Eval</li> </ul> <p><strong>测试模型</strong>：</p>