花 600 万就能复刻百亿模型：蒸馏技术到底是什么

花 600 万就能复刻百亿模型？蒸馏技术到底是什么

目录

• DeepSeek 事件：600 万美金背后的“吸星大法”
• 知识蒸馏是什么？师生传承的 AI 版本
• 硬标签 vs 软标签：答案 vs 思维方式
• 温度 T：调节软标签的“锐度”
• 蒸馏的损失函数：学生如何“学”？
• 三种蒸馏范式：授课模式的选择
• 蒸馏 vs 微调 vs 剪枝：模型压缩三兄弟
• 蒸馏的局限性与挑战
• 实践中如何获取软标签：logprobs 参数
• 一点总结
• 互动讨论

DeepSeek 事件：600 万美金背后的“吸星大法”

2025 年，DeepSeek 用 600 万美金训练成本，做出了可以和 OpenAI 掰手腕的模型。OpenAI 指控 DeepSeek 用了蒸馏技术——把 OpenAI 的输出拿去训练自己的模型，相当于“抄捷径”。

有人把蒸馏比喻成“吸星大法”——巨量地向 OpenAI 发请求，把它的能力“吸”过来。

这场争议背后，是一个真实存在的技术：知识蒸馏（Knowledge Distillation） 。它不是什么黑魔法，而是一种让“小模型学习大模型”的成熟技术方案。

知识蒸馏是什么？师生传承的 AI 版本

知识蒸馏的核心思想是：让一个体积庞大、性能优越但成本高昂的大模型（教师模型 Teacher），把自身的“知识”传授给一个体积小巧、运行高效的小模型（学生模型 Student）。

最终目标：让学生在保持高性能的同时，极大地降低计算和存储成本，使其能够部署在手机、浏览器、边缘设备等资源受限的场景中。

这就像培养一个厨师新人：

• 方案一：给他看菜谱，他学会了步骤，但没学到别的——这是“硬标签”
• 方案二：让米其林大厨亲自示范，新人在旁边学习大厨怎么判断火候、怎么调味——这就是“蒸馏训练”

硬标签 vs 软标签：答案 vs 思维方式

小模型学习大模型的能力，可以有两种方式：

方式一：向大模型发送请求，得到答案。  题目和标准答案都有了，小模型直接背答案。比如“这张图是猫”，这就是硬标签（Hard Label） ——答案就是“猫”，记住就好。

但死记硬背远远不够。

方式二：小模型学习的不是背答案，而是思维方式。

大模型在回答问题时，给的其实不是一个答案，而是一组概率分布——这就是软标签（Soft Label） 。

例如，一张动物图片，大模型输出的软标签可能是：

• 猫：60%
• 狗：30%
• 老虎：10%

为什么软标签更有信息量？

硬标签只告诉小模型：“答案就是猫，记住就好了。”但软标签告诉小模型：

它包含了大模型对这道题的“理解方式”：

• 猫和狗有相似之处
• 老虎不太像，但也有点像

这种“类比感”、“关联感”，是大模型积累了海量数据之后形成的暗知识（Dark Knowledge） 。蒸馏，就是让小模型去模仿这一套概率分布，从中学到“思维方式”，而不只是背标准答案。

小模型学到的，不是答案，而是“思维方式”——把老师的“思维方式”提炼出来，传给学生。

温度 T：调节软标签的“锐度”

软标签在传递给学生之前，会经过一个 “温度缩放” 操作：

qi = exp(zi/T) / Σj exp(zj/T)

关键认知：温度 T 是蒸馏中最重要的超参数。T 越高，学生能学到老师越多的“思考过程”；T 越低，学生越接近“直接背答案”。

蒸馏的损失函数：学生如何“学”？

学生的训练目标是两部分损失的加权组合：

总损失 = α × 硬标签损失 + β × 蒸馏损失

三种蒸馏范式：授课模式的选择

蒸馏 vs 微调 vs 剪枝：模型压缩三兄弟

关键认知：蒸馏是压缩率最高的方法，但需要额外的训练流程；剪枝是成本最低的方法，但压缩率有限。

蒸馏的局限性与挑战

实践中如何获取软标签：logprobs 参数

在调用大模型 API 时，可以通过设置 logprobs 参数获取模型输出的概率分布——这是实现蒸馏的数据来源。

json

 复制代码{
  "model": "gpt-4",
  "messages": [...],
  "logprobs": true,
  "top_logprobs": 5
}

返回数据示例：

json

 复制代码{
  "choices": [{
    "logprobs": {
      "content": [{
        "token": "猫",
        "logprob": -0.05,
        "top_logprobs": [
          { "token": "猫", "logprob": -0.05 },
          { "token": "狗", "logprob": -2.3 },
          { "token": "兔", "logprob": -3.9 }
        ]
      }]
    }
  }]
}

一点总结

互动讨论

1. 为什么软标签比硬标签更有信息量？  它包含了哪些“硬标签没有”的内容？
2. 温度 T 调高和调低分别会带来什么效果？  在什么场景下应该调高？
3. 蒸馏和微调的本质区别是什么？  它们能结合使用吗？
4. 容量差距（Capacity Gap）是蒸馏的天然限制，如果学生模型太小，会出现什么问题？
5. 你在调用大模型 API 时，有没有留意过 logprobs 参数？  你觉得它除了蒸馏还能用在什么场景？