同一家公司的两个 AI 模型,价格可以差十倍,而便宜的那个却能把大部分日常问题答得几乎一样好。这背后靠的是一种叫“模型蒸馏”的训练方法。2026 年,它更从技术术语变成了中美 AI 竞争的焦点。
什么是 AI 模型蒸馏?
AI 模型蒸馏是用一个大型、昂贵的 AI 模型(“老师”)来训练一个较小、较便宜的模型(“学生”)的方法。学生反复学习老师的回答,直到能够准确模仿。最终得到的模型保留了老师的大部分能力,但运行更快、成本更低。
可以把它想象成一位资深补习名师培养助教。助教不可能一下子拥有名师二十年的教学经验,但他旁听了上千节课,记下名师讲解每类题目的方式。一个学期后,助教还写不出新教材,却已能把最常见的题型讲得清清楚楚。
模型蒸馏是怎样运作的?
蒸馏一般分三步:先向大型老师模型提出大量问题,收集它的回答,再训练小型学生模型去复现这些回答。新一代做法还会记录老师写出的推理步骤,让学生学到完整的解题思路,而不只是最终答案,效果因此大大提高。
最经典的早期例子是 Hugging Face 在 2019 年推出的 DistilBERT。它把 Google BERT 模型的规模缩小了近一半,速度快约 60%,在标准测试中仍保留约 97% 的表现。
为什么 2026 年 AI 公司会为蒸馏争执?
争议的关键在于“未经许可”。竞争对手可以注册成千上万个账户,向顶级模型提出数以百万计的问题,再用这些回答训练自家模型。2026 年,Anthropic、OpenAI 和美国政府机构先后公开表示,这种做法已经达到工业化规模。
--- 2026 年 2 月:Anthropic 指 DeepSeek、Moonshot AI 和 MiniMax 通过约 24,000 个虚假账户,与 Claude 进行了超过 1,600 万次对话。
--- 2026 年 9 月 8 日:美国网络安全和基础设施安全局发布 AA26-251A 号公告,点名六家中国 AI 公司,同时承认蒸馏本身是正当、有用的研究技术。
--- 2026 年 10 月 1 日:据 The Hacker News 报道,OpenAI 披露它阻断了一次在 7 月 24 日和 25 日达到高峰的行动,当时有超过 4,000 个用户发出 16,000 次提取请求。Moonshot AI 一直否认类似指控。
你其实已经在用哪些小型模型?
只要你用过热门 AI 工具的“mini”、“flash”、“lite”或“haiku”版本,就已经用过蒸馏技术最擅长打造的那类小型快速模型。它们专门处理摘要、分类、起草回复这些短小而重复的任务,价格只是旗舰模型的零头。
价格差距相当惊人。Anthropic 于 2026 年 10 月 7 日推出的 Claude Haiku 5.5,按第三方报道,在十万个 token(AI 计算文字的单位)以内,输入价为每百万 token 0.10 美元,输出价 0.50 美元,仅为上一代 Haiku 4.5 的十分之一。
折合港币是多少?
假设一家连锁奶茶店每月要让 AI 把 10,000 条顾客留言分成“下单”、“投诉”、“外卖查询”和“广告”。按每条约 500 个输入 token、100 个输出 token 计算,旧价约每月 78 港元,新价不到 8 港元。即使有评测指新版计算方式会多出约三成 token,成本依然很低。哪些工作适合交给它,可以参考我们的 Claude Haiku 5.5 任务指南。
老板对小型模型最常见的误区是什么?
最常见的误区有三个:认为小模型样样都差、认为便宜模型都是偷来的,以及认为自己蒸馏一个 ChatGPT 就能省钱。每一个误区都会带来错误的采购决定,要么为简单工作多付钱,要么承担本来不必承担的法律和安全风险。
误区一:“小就等于差”
面对复杂合同审核这类高难度任务,小模型确实较弱;但给咨询打标签、起草标准回复这类重复工作,顾客往往完全感觉不出差别。用旗舰价格做这些事,就像请特级厨师来削土豆。
误区二:“蒸馏就是盗用”
大多数蒸馏是 AI 公司在自家模型上合法进行的。2026 年的争议,针对的是利用虚假账户、违反服务条款去提取别人模型的行为。
误区三:“自己蒸馏就不用再付费”
主要 AI 厂商的服务条款都禁止用其输出训练竞争模型。即使不谈法律风险,训练和维护自有模型也需要工程师和服务器。对绝大多数中小企业来说,向可靠厂商购买平价版本要划算得多。
中小企业应该怎样在大模型和小模型之间选择?
按任务选模型,而不是按品牌选。把重复、量大的工作交给便宜的小模型,把复杂或高风险的工作留给旗舰模型,并在决定前用自己的真实案例测试两者。对于来历不明的低价模型,还要先弄清楚它由谁开发、数据存放在哪里。
--- 列清单:写下所有用 AI 处理的工作,比如回复咨询、写商品文案、整理会议纪要。
--- 分难度:把每项标为“常规”或“需要判断”,凡涉及金钱或法律风险的都归入后者。
--- 做测试:把同样二十个真实案例分别交给小模型和大模型。如果是常规工作且分不出高下,就用小模型。
--- 护数据:无论选哪个模型,香港《个人资料(私隐)条例》同样适用,发送顾客姓名和电话前,先确认对话存放在哪里。
关于模型蒸馏的常见问题
下面整理了香港老板最常问的几个问题:蒸馏是否合法,以及中小企业是否需要训练自己的模型。每个答案都可以单独阅读,方便快速查找。
模型蒸馏合法吗?
合法。蒸馏是标准的研究技术,AI 公司每天都在自家模型上使用。厂商反对的,是未经许可、利用虚假账户提取其模型来训练竞争产品。
中小企业需要训练自己的模型吗?
基本不需要。现成的小模型配合清晰的指令和几个你自己的回复范例,已足以完成大部分中小企业的日常工作。
总结:蒸馏让强大的 AI 变得用得起
正是因为蒸馏,强大的 AI 才便宜到连十人小店都用得起:大模型负责昂贵的学习,小模型以极低成本处理你的日常请求。2026 年的新闻争议关乎许可,而不是小模型好不好用。
对老板来说,结论很简单:别再用旗舰价格做常规工作,用自己的案例测试平价版本,并选择来历和数据条款都清楚的厂商。懂AI,更懂你 UD相伴,AI不冷,选对模型,归根结底是读懂自己的生意。
由 UD AI 团队审阅。
不确定业务中每项工作该用哪个 AI 模型或工具?浏览 UD AI 目录,UD 团队手把手教你,从区分常规与高风险任务,到为每项任务匹配可靠的工具,全程陪你走好每一步。