Generated by Answer me with HTML 0.5.5 · 2026-10-21 13:42 · ★ Star on GitHub
数仓分层、拉链表、维度表怎么设计
面试常问的三件事,一次讲透
Lead: 三个问题其实是一件事——怎么让数据"算得省、查得快、还能回溯"。分层解决复用,拉链表解决历史,维度表解决描述。
一句话主线
三句话记住
分层:让每一层只干一件事,上层不用重复算。
拉链表:只存"变化",不存每天全量快照,还能查任意一天的状态。
维度表:把"人、货、场"描述清楚,事实表只存数字和键。
分层总览
DIM 是横着用的——每一层都能关联它,不用重复建。
每层职责与粒度
| 层 | 干什么 | 粒度 | 典型操作 |
|---|---|---|---|
| ODS | 原样落地,不加工 | 与源系统一致 | 全量/增量同步、加时间戳 |
| DWD | 清洗 + 标准化 | 一行一个业务事件 | 去重、脱敏、类型转换、维度退化 |
| DWS | 轻度聚合 | 主题 + 日/月 | sum、count、count distinct |
| ADS | 面向具体应用 | 报表/接口粒度 | 指标计算、宽表拼装 |
| DIM | 维度描述 | 一行一个实体 | 代理键、缓慢变化维 |
粒度是分层的命门。DWD 说"一行一个订单",就不能混进"一行一个订单商品"。
为什么非要分层
- 解耦:源系统字段变了,只改 ODS→DWD,上层不动
- 复用:DWS 算一次,十个报表直接用
- 口径统一:指标只在 ADS 定义一次,避免"财务和运营两个数"
- 省算力:明细只扫一次,上层读汇总表
- 可追溯:数据不对,能一层层回查到源头
不分层的典型症状:每个报表都从 ODS 开始写 SQL,同一指标五种算法。
拉链表:解决什么问题
每天存全量快照,存不起
用户表 1000 万行,每天存一份快照: 一年 = 36.5 亿行,而且 99% 的行是重复的。
但业务又要求:"查一下 3 月 15 号这个用户是什么等级。"
拉链表 = 只记录"状态发生变化"的时间段。
| 字段 | 说明 |
|---|---|
user_id |
业务主键 |
level / city … |
业务属性 |
start_date |
这个状态从哪天开始 |
end_date |
到哪天结束(当前有效写 9999-12-31) |
查询方式:
-- 当前状态WHERE end_date = '9999-12-31'-- 任意历史某天WHERE start_date <= '2026-03-15' AND end_date >= '2026-03-15'拉链表怎么更新(T+1)
三个必须处理的细节:
- 同一天变更大于 1 次:先去重,只保留当天最终状态,否则主键重复
- 新用户:直接插入,
start_date= 首次出现日期 - 删除:不要物理删,加一个
is_deleted或把end_date设为删除日
不适合拉链的场景:每天都变的字段(比如余额、库存)。那种直接用快照或增量流水。
维度表:代理键与 SCD
| 概念 | 是什么 | 为什么需要 |
|---|---|---|
| 自然键 | 业务主键,如订单号、身份证号 | 业务系统里唯一 |
| 代理键 | 自增整数,与业务无关 | 自然键会变/复用,代理键永不变 |
| 退化维度 | 订单号直接放事实表,不单独建维 | 维度只有一列,没必要建表 |
| 一致性维度 | 跨主题共用,如日期、地区 | 保证多张事实表能对齐 |
SCD(缓慢变化维)三种处理方式:
| 类型 | 做法 | 保留历史 | 适用 |
|---|---|---|---|
| SCD1 | 直接覆盖旧值 | ❌ | 改错数据、不需要历史 |
| SCD2 | 加版本行(就是拉链表) | ✅ | 要看历史状态 |
| SCD3 | 加一列存"上一次的值" | 只留一次 | 只关心上一版 |
实际项目里 SCD2 用得最多,拉链表就是 SCD2 在 Hive 里的落地方式。
六个常见坑
| 坑 | 后果 | 怎么破 |
|---|---|---|
| ODS 里做清洗 | 源头出错无法复现,对不上账 | ODS 只落地,清洗放 DWD |
| 粒度不统一 | 上层聚合重复计数 | 每层写清"一行代表什么" |
| 拉链表没去重 | 同一天多条,主键重复 | 按主键 + 日期取最新一条 |
| 维度表没有代理键 | 自然键一变,历史事实表断链 | 一律用代理键关联 |
end_date 用 NULL 表示当前 |
查询要写 IS NULL,容易漏 |
用 9999-12-31 或 is_current 标记 |
| 分区键选错 | 全表扫描,慢十倍 | 按 dt / start_date 分区 |
一句话收尾:分层管横向复用,拉链管纵向历史,维度管旁路描述。 三者拼起来,才是一个能长期维护的数仓。