Generated by Answer me with HTML 0.5.5 · 2026-10-20 18:28 · ★ Star on GitHub
大模型是怎么"学会说话"的
从文字接龙到 Agent:训练、输入输出、数据、自迭代,一次讲明白
Lead: 大模型没那么玄。它本质上就是一台"猜下一个字"的机器——猜得足够准、见得足够多,就冒出了推理、写代码、做计划这些能力。下面按「它怎么干活 → 怎么被训练 → 吃什么数据 → 怎么进化」拆开讲。
一句话本质
它不是在"思考",是在"接龙"
你给它一段话,它算出下一个字最可能是什么,吐出来,再接回去,继续猜。
「今天天气真」→ 下一个字最可能是「好」。 重复几千次,就成了一篇回答。
神奇的地方在于:当它猜得足够准,看起来就像懂了。
输入输出:一个字一个字蹦出来
三个关键点:
- 它不认识字,只认识数字。文字先被切成 token(词片段),每个 token 查表变成一个向量。
- 它是"逐字生成"的,不是想好整段再输出。所以你看到回答是一个字一个字蹦。
- 它没有记忆。每次对话,都要把之前的聊天记录重新塞给它一遍——这就是为什么上下文越长越贵。
训练三步走
| 阶段 | 干什么 | 打个比方 | 数据量 |
|---|---|---|---|
| 预训练 | 海量文本,遮住下一个词让它猜,猜错调参数 | 把整座图书馆读一遍,练语感 | 万亿级 token |
| 监督微调 SFT | 人工写「问题—标准答案」,教它听指令 | 师傅带徒弟,手把手示范 | 几万到几百万条 |
| 对齐 RLHF / DPO | 人类给回答打分,让它学会说人话、别乱说 | 考试排名,按分数调整 | 几万到几十万条 |
顺序不能反。预训练是打底子,SFT 是教规矩,对齐是调性格。
数据是怎么喂进去的
最费钱的不是算力,是数据清洗。
- 网页里一半是垃圾:导航栏、广告、重复转载、机器生成的 SEO 文
- 代码和论文特别值钱,但比例要调——代码给多了,说话会变"说明书味"
- 中英文配比直接影响中文能力
- 现在最大的问题是:高质量文本快被挖完了,这叫"数据墙"
十年发展时间线
- 2017Transformer 诞生一篇论文《Attention Is All You Need》,换掉循环网络
- 2018GPT-1 / BERT1 亿参数,证明"预训练 + 微调"这条路走得通
- 2019GPT-215 亿参数,开始能写出像样的长文
- 2020GPT-31750 亿参数,发现"给几个例子它就会",能力开始涌现
- 2021Codex用代码训练,模型学会了写程序
- 2022InstructGPT / ChatGPT加入人类反馈,从"会接龙"变成"会聊天"
- 2023GPT-4 / LLaMA多模态出现;开源模型追上来,百模大战
- 2024多模态 + MoE图文音视频统一处理,混合专家省算力
- 2025推理模型让它"先想再答",用推理时间换准确率
- 2026Agent 化会调工具、会看结果、会自己重试
"自迭代"的真相
模型不会自己变聪明
训练完,权重就冻住了。 它不会因为你多聊几句就偷偷升级。
你感觉它"越用越懂你",是因为对话记录被塞回了上下文,不是模型变了。
那大家说的"自迭代"到底是什么?是这六种东西:
| 说法 | 实际在做什么 | 改不改模型 |
|---|---|---|
| 数据飞轮 | 收集用户反馈 → 标成新数据 → 重新训练 | ✅ 改 |
| RLHF / RLAIF | 人来打分,或者用另一个 AI 打分 | ✅ 改 |
| 自我博弈 / STaR | 模型自己出答案,挑对的再训自己 | ✅ 改 |
| 蒸馏 | 大模型教小模型,把本事压进小模型 | ✅ 改 |
| 推理时自检 | 同一题想几遍、投票选最好的 | ❌ 不改 |
| Agent 循环 | 调工具 → 看结果 → 发现错了重来 | ❌ 不改 |
记住这条线:改权重的叫"训练",不改权重的叫"用法"。很多宣传把两者混在一起说。
训一次到底要什么
| 项 | 量级 | 说明 |
|---|---|---|
| 数据 | 几万亿 token | 相当于几百万本书 |
| 算力 | 几千到几万张 GPU | 连续跑几周到几个月 |
| 钱 | 几百万到几亿美元 | 电费、机器、人力 |
| 人 | 算法 + 工程 + 标注 | 标注团队常常上千人 |
所以绝大多数公司做不了从零预训练,只能做微调、蒸馏、或者直接调 API。
现在卡在哪
| 卡点 | 大白话解释 |
|---|---|
| 数据墙 | 网上能爬的好文章快用完了,开始转向合成数据 |
| 幻觉 | 它是在"编得像",不是在"查过"。不知道也会硬答 |
| 成本 | 推理比训练还烧钱,用得越多亏得越多 |
| 评测 | 跑分高不等于好用,但也没更好的办法 |
| 可解释 | 几千亿个参数,没人能说清它为什么这么答 |
一句话收尾:大模型不是被"编程"出来的,是被"喂"出来的。 你给它什么数据、怎么打分,决定了它长成什么样。