Generated by Answer me with HTML 0.5.5 · 2026-10-20 21:37 · ★ Star on GitHub
RAG 知识库是什么
给大模型配一个"随时能翻的书架",大白话讲清楚
Lead: 大模型有两个硬伤——不知道你的私有资料,也会一本正经地瞎编。RAG 就是给模型配一个书架:回答之前,先去你的资料里翻一遍,翻到了再说话。
一句话本质
开卷考试
模型是考生,你的资料是课本。
不 RAG:闭卷考,全靠脑子里记的(记错了也照答)。 用 RAG:开卷考,先翻书找到那一段,再照着答。
它不改模型,只是每次答题前多给几页参考资料。
为什么需要它
| 问题 | 具体表现 | RAG 怎么解 |
|---|---|---|
| 不知道你的东西 | 公司制度、产品文档、个人笔记,它全没见过 | 把资料建成库,答前先查 |
| 知识有截止日期 | 训练完就停在那个时间点 | 库里的资料随时更新 |
| 会瞎编 | 不知道也硬答,还答得很像 | 强制"只根据资料回答" |
| 说不清来源 | 你不知道它从哪学的 | 能给出引用出处 |
全流程一张图
上面一行是"建库",下面一行是"查询"。 建库是离线跑一次的,查询是每次提问都跑的。
切块:最容易翻车的一步
把长文档切成小段,每段单独存。切得好不好,直接决定检索准不准。
| 切法 | 后果 |
|---|---|
| 切太大(2000 字) | 一段里混了五个话题,检索命中率低,还浪费上下文 |
| 切太小(50 字) | 语义不完整,"它"指谁都不知道 |
| 按固定字数硬切 | 会把表格、代码、标题从中间劈开 |
| 按结构切(推荐) | 按标题/段落切,保留上下文;再加 10~20% 重叠 |
经验值:300800 token 一段,前后留 50100 token 重叠。
检索的三种打法
| 打法 | 原理 | 强在哪 | 弱在哪 |
|---|---|---|---|
| 向量检索 | 把问题和段落都变成向量,算相似度 | 懂"同义不同词" | 精确关键词、编号、人名容易漏 |
| 关键词检索(BM25) | 传统搜索引擎那套 | 精确匹配强 | 不懂近义表达 |
| 混合 + 重排(推荐) | 两路都召回,再用 rerank 模型精排 | 召回率高、排序准 | 多一步,稍慢 |
只做向量检索是最常见的坑——问"工单 A-1024 怎么处理",它可能给你一堆语义相近但编号不对的段落。
RAG、微调、长上下文怎么选
| 方式 | 适合什么 | 更新成本 | 会不会改模型 |
|---|---|---|---|
| RAG | 私有知识、要频繁更新、要出处 | 改文档即可 | ❌ 不改 |
| 微调 | 固定风格、固定格式、领域语感 | 要重新训练 | ✅ 改 |
| 长上下文 | 少量文档一次性塞进去 | 即时 | ❌ 不改 |
大白话:
- 知识型问题 → RAG
- "说话要像我们公司的口吻" → 微调
- 就几页纸,懒得建库 → 直接塞进上下文
三者不冲突,实际项目经常微调 + RAG 一起用。
五个常见坑
| 坑 | 表现 | 怎么破 |
|---|---|---|
| 召回不到 | 答案明明在库里,它就是没查到 | 混合检索 + 调切块 + 加同义词 |
| 检索到但没用 | 资料塞进去了,模型还是自己编 | 提示词写死"只根据资料",并给出处 |
| 切块割裂 | 表格、代码被劈成两半 | 按结构切,别按字数硬切 |
| 文档更新不同步 | 库里还是旧版本 | 建增量索引,删旧版本 |
| 多跳问题 | 答案要串三个文档才拼得出来 | 拆成多轮检索,或让 Agent 自己查 |
最小实现长什么样
docs = load("docs/") # 解析 PDF / Word / Markdownchunks = split(docs, size=500, overlap=80) # 按结构切,留重叠index = [embed(c) for c in chunks] # 每段变成向量save(index, "vectors.db")def ask(q): hits = search(index, embed(q), top_k=8) # 先粗召回 hits = rerank(q, hits)[:4] # 再精排,只留最相关 ctx = "\n\n".join(h.text for h in hits) return llm(f"只根据以下资料回答,并标注出处:\n{ctx}\n\n问题:{q}")核心就三行:切块、检索、拼进提示词。剩下的全是调优。
一句话收尾:RAG 不是让模型变聪明,是让它"查得到"。 检索准不准,比模型强不强更决定最终效果。