大模型到底是如何学会说话的？一文看懂预训练

预训练到底在做什么？

想象一下，你把一个人关进图书馆，让他没日没夜地读书。没人给他出题、没人批改作业，他只是顺着文字往下看，自己猜下一个词应该是什么。

几年之后，他自然学会了语法、常识、逻辑，甚至能写出像模像样的文章。

大模型的预训练，本质上就是这件事。

关键点：不需要人工标注，模型从海量文本中自己学习规律。

为什么不需要标注？因为文本本身就是答案。让模型“猜下一个词”或者“填被遮住的词”，猜对了就是学到了，猜错了就调整参数。这种让数据自己当老师的训练方式，就叫自监督学习。

预训练、微调、推理分别是什么？

很多人把这三个阶段混在一起，其实它们分工非常清晰：

简单记：

1. 预训练：埋头苦读，学会语言和世界知识。
2. 微调：老师带着做真题，学会听指令。
3. 推理：用户提问，模型作答。

我们平时用的 ChatGPT，是经历了“预训练 + 微调 + 人类反馈强化学习”之后才变成对话机器人的，不是一开始就会聊天的。

预训练方式

目前主流预训练方式有两种：

流派	代表作	核心玩法	擅长什么
自回归	GPT 系列	预测下一个词	文本生成、对话、代码续写
掩码语言模型	BERT 系列	预测被遮住的词	文本理解、分类、抽取

GPT 像写作文接龙，BERT 像做完形填空。今天我们见到的 ChatGPT、Claude、DeepSeek，走的都是 GPT 这条“接龙”路线。

GPT 是怎么训练的？

别被万亿 token 吓到，原理其实非常朴素。

模型会拿到每一个前缀，然后努力去猜下一个 token 是什么。猜错了？没关系，计算误差，反向传播，调整参数。万亿次这样的猜测和修正之后，模型就逐渐掌握了语言规律。

BERT 又是怎么训练的？

BERT 的方式更像学生时代老师出的完形填空题：

它不看后面的词，只能根据上下文去推测被遮住的部分。这种方式让 BERT 非常擅长“理解”文本，而不是“生成”文本。

训练数据从哪来？

一句话：几乎一切能读的文字。

网页、书籍、论文、代码、维基百科、论坛帖子……只要是文本，几乎都能喂给模型。但 raw data 不能直接吃，必须经过清洗：去重、去垃圾、过滤低质量内容、做隐私脱敏。数据清洗，往往比训练本身还费工夫。

预训练到底要多大算力？

规模大致是什么概念？

1. 数据量级：万亿 token 起步
2. 模型参数：几十亿到上万亿
3. GPU 数量：数千到数万张 A100/H100
4. 训练时间：数周到数月

所以预训练基本是大厂的牌桌，普通团队更多是在开源基座模型上做微调。

Scaling Law：越大越强，而且有规律

大模型领域有一个著名的发现，叫 Scaling Law（缩放定律）：

Loss ≈ A / N^α + B / D^β + CN = 参数量D = 数据量α ≈ 0.076, β ≈ 0.095结论:模型扩大 10 倍 → 数据也要扩大约 10 倍→ 计算量扩大约 100 倍→ Loss 持续下降

通俗理解：只要你敢堆参数、堆数据、堆算力，模型能力就会稳定提升。这也是 OpenAI 当年敢于把 GPT-3 做到 1750 亿参数的理论底气。

预训练的工程流程

这不是写几行 Python 就能跑通的事，而是一个完整系统工程：

其中分布式训练是重头戏。数据并行、张量并行、流水线并行一起上，才能把万亿参数模型“摊”到几千张 GPU 上跑起来。

预训练有多烧钱？

1. GPT-3 大约用了 355 GPU·年
2. GPT-4 据传是 数万 GPU·年
3. 电费 + 硬件 + 人力，整体成本 百万到亿美元

所以预训练这件事，拼的不仅是算法，更是工程、资源和资金。

预训练完，模型到底学会了什么？

预训练结束后的模型，通常叫 Base Model（基座模型）。它已经很强，但还“不会聊天”。

它能续写、能翻译、能写代码，但你问它“你好”，它可能回你一段 Wikipedia 式的定义，而不是自然打招呼。要让它变得“会聊天”，还得靠后面的 SFT 微调 和 RLHF 人类对齐。

整个技术栈里的预训练

预训练是地基。Transformer、Token、海量数据、Scaling Law 共同支撑着它；地基之上，再经过微调和 RLHF，才能盖出对话模型这栋大楼。

LLM训练全流程

对比一下三个阶段，你就能理解为什么预训练最烧钱、周期最长，而后面微调和对齐相对轻量。

普通人能参与预训练吗？

看到前面动辄几千张 GPU、几个月训练、几百万美元，很多人可能会想：这事跟我有关系吗？

答案是：有，而且门槛比你想象的低。

你确实很难从头预训练一个 GPT-4，但并不意味着你只能当旁观者。普通人参与大模型赛道，至少有三条路：

1. 走微调路线，站在巨人肩膀上

开源基座模型已经非常多：Llama、Qwen、Mistral、DeepSeek-MoE……这些模型已经完成过昂贵的预训练，你可以直接拿来做微调。

1. 数据：准备几千到几万条领域问答对
2. 硬件：几张 3090 / A100 就能跑
3. 工具：LLaMA-Factory、Axolotl、Unsloth 等框架已经把流程封装得很简单

花上几天时间，你就能做出一个“懂自己业务”的专属模型。

2. 做数据工程，这是被低估的入口

预训练质量很大程度上取决于数据。而清洗数据、构建高质量语料、设计指令数据集，恰恰是普通人最能发力的环节。

1. 爬虫 + 清洗管道
2. 去重、过滤、隐私脱敏
3. 设计提示词模板、人工标注、质量评估

未来“AI 训练师”“数据工程师”这类岗位只会越来越吃香。

3. 用模型，而不是训模型

对大多数人来说，最有价值的参与方式是：把大模型用到自己的工作流里。

写代码、做文案、处理表格、做知识库、自动化客服……真正拉开差距的，不是你会不会训练模型，而是你能不能把它用得比别人更好。

预训练是大厂的战场，但应用和微调是每个人的机会。你不需要从头造一辆跑车，学会驾驶、改装、保养，已经足够让你跑在前面。

总结

一句话总结：

预训练，就是让模型在海量文本里做“完形填空”或“预测下一个词”的自监督学习。它学会了语言规律和世界知识，产出基座模型；基座模型再经过微调和人类对齐，才变成我们能对话的 ChatGPT、Claude、DeepSeek。