Generated by Answer me with HTML 0.5.5 · 2026-10-20 18:28 · ★ Star on GitHub

大模型是怎么"学会说话"的

从文字接龙到 Agent:训练、输入输出、数据、自迭代,一次讲明白

source公开资料整理 · 2026-10

Lead: 大模型没那么玄。它本质上就是一台"猜下一个字"的机器——猜得足够准、见得足够多,就冒出了推理、写代码、做计划这些能力。下面按「它怎么干活 → 怎么被训练 → 吃什么数据 → 怎么进化」拆开讲。

A

一句话本质

它不是在"思考",是在"接龙"

你给它一段话,它算出下一个字最可能是什么,吐出来,再接回去,继续猜。

「今天天气真」→ 下一个字最可能是「好」。 重复几千次,就成了一篇回答。

神奇的地方在于:当它猜得足够准,看起来就像懂了。

B

输入输出:一个字一个字蹦出来

你分词器模型"今天天气"[1234, 5678](token 数字)算下一个词的概率吐出「不」把「不」接回输入,再猜下一个

三个关键点:

  • 它不认识字,只认识数字。文字先被切成 token(词片段),每个 token 查表变成一个向量。
  • 它是"逐字生成"的,不是想好整段再输出。所以你看到回答是一个字一个字蹦。
  • 它没有记忆。每次对话,都要把之前的聊天记录重新塞给它一遍——这就是为什么上下文越长越贵。
C

训练三步走

阶段 干什么 打个比方 数据量
预训练 海量文本,遮住下一个词让它猜,猜错调参数 把整座图书馆读一遍,练语感 万亿级 token
监督微调 SFT 人工写「问题—标准答案」,教它听指令 师傅带徒弟,手把手示范 几万到几百万条
对齐 RLHF / DPO 人类给回答打分,让它学会说人话、别乱说 考试排名,按分数调整 几万到几十万条

顺序不能反。预训练是打底子,SFT 是教规矩,对齐是调性格。

D

数据是怎么喂进去的

网页 / 书籍 / 代码 / 论文去重去广告去乱码质量打分按比例混合切成 token打包成训练批次

最费钱的不是算力,是数据清洗。

  • 网页里一半是垃圾:导航栏、广告、重复转载、机器生成的 SEO 文
  • 代码和论文特别值钱,但比例要调——代码给多了,说话会变"说明书味"
  • 中英文配比直接影响中文能力
  • 现在最大的问题是:高质量文本快被挖完了,这叫"数据墙"
E

十年发展时间线

  1. 2017Transformer 诞生一篇论文《Attention Is All You Need》,换掉循环网络
  2. 2018GPT-1 / BERT1 亿参数,证明"预训练 + 微调"这条路走得通
  3. 2019GPT-215 亿参数,开始能写出像样的长文
  4. 2020GPT-31750 亿参数,发现"给几个例子它就会",能力开始涌现
  5. 2021Codex用代码训练,模型学会了写程序
  6. 2022InstructGPT / ChatGPT加入人类反馈,从"会接龙"变成"会聊天"
  7. 2023GPT-4 / LLaMA多模态出现;开源模型追上来,百模大战
  8. 2024多模态 + MoE图文音视频统一处理,混合专家省算力
  9. 2025推理模型让它"先想再答",用推理时间换准确率
  10. 2026Agent 化会调工具、会看结果、会自己重试
F

"自迭代"的真相

模型不会自己变聪明

训练完,权重就冻住了。 它不会因为你多聊几句就偷偷升级。

你感觉它"越用越懂你",是因为对话记录被塞回了上下文,不是模型变了。

那大家说的"自迭代"到底是什么?是这六种东西:

说法 实际在做什么 改不改模型
数据飞轮 收集用户反馈 → 标成新数据 → 重新训练 ✅ 改
RLHF / RLAIF 人来打分,或者用另一个 AI 打分 ✅ 改
自我博弈 / STaR 模型自己出答案,挑对的再训自己 ✅ 改
蒸馏 大模型教小模型,把本事压进小模型 ✅ 改
推理时自检 同一题想几遍、投票选最好的 ❌ 不改
Agent 循环 调工具 → 看结果 → 发现错了重来 ❌ 不改

记住这条线:改权重的叫"训练",不改权重的叫"用法"。很多宣传把两者混在一起说。

G

训一次到底要什么

项 量级 说明
数据 几万亿 token 相当于几百万本书
算力 几千到几万张 GPU 连续跑几周到几个月
钱 几百万到几亿美元 电费、机器、人力
人 算法 + 工程 + 标注 标注团队常常上千人

所以绝大多数公司做不了从零预训练,只能做微调、蒸馏、或者直接调 API。

H

现在卡在哪

卡点 大白话解释
数据墙 网上能爬的好文章快用完了,开始转向合成数据
幻觉 它是在"编得像",不是在"查过"。不知道也会硬答
成本 推理比训练还烧钱,用得越多亏得越多
评测 跑分高不等于好用,但也没更好的办法
可解释 几千亿个参数,没人能说清它为什么这么答

一句话收尾:大模型不是被"编程"出来的,是被"喂"出来的。 你给它什么数据、怎么打分,决定了它长成什么样。