Generated by Answer me with HTML 0.5.5 · 2026-10-21 13:42 · ★ Star on GitHub

数仓分层、拉链表、维度表怎么设计

面试常问的三件事,一次讲透

source数仓实践整理 · 2026-10

Lead: 三个问题其实是一件事——怎么让数据"算得省、查得快、还能回溯"。分层解决复用,拉链表解决历史,维度表解决描述。

A

一句话主线

三句话记住

分层:让每一层只干一件事,上层不用重复算。

拉链表:只存"变化",不存每天全量快照,还能查任意一天的状态。

维度表:把"人、货、场"描述清楚,事实表只存数字和键。

B

分层总览

数据源ODS 贴源层DWD 明细层DWS 汇总层ADS 应用层DIM 公共维度报表 / 接口 / 模型

DIM 是横着用的——每一层都能关联它,不用重复建。

C

每层职责与粒度

层 干什么 粒度 典型操作
ODS 原样落地,不加工 与源系统一致 全量/增量同步、加时间戳
DWD 清洗 + 标准化 一行一个业务事件 去重、脱敏、类型转换、维度退化
DWS 轻度聚合 主题 + 日/月 sum、count、count distinct
ADS 面向具体应用 报表/接口粒度 指标计算、宽表拼装
DIM 维度描述 一行一个实体 代理键、缓慢变化维

粒度是分层的命门。DWD 说"一行一个订单",就不能混进"一行一个订单商品"。

D

为什么非要分层

  • 解耦:源系统字段变了,只改 ODS→DWD,上层不动
  • 复用:DWS 算一次,十个报表直接用
  • 口径统一:指标只在 ADS 定义一次,避免"财务和运营两个数"
  • 省算力:明细只扫一次,上层读汇总表
  • 可追溯:数据不对,能一层层回查到源头

不分层的典型症状:每个报表都从 ODS 开始写 SQL,同一指标五种算法。

E

拉链表:解决什么问题

每天存全量快照,存不起

用户表 1000 万行,每天存一份快照: 一年 = 36.5 亿行,而且 99% 的行是重复的。

但业务又要求:"查一下 3 月 15 号这个用户是什么等级。"

拉链表 = 只记录"状态发生变化"的时间段。

字段 说明
user_id 业务主键
level / city … 业务属性
start_date 这个状态从哪天开始
end_date 到哪天结束(当前有效写 9999-12-31)

查询方式:

sql
-- 当前状态WHERE end_date = '9999-12-31'-- 任意历史某天WHERE start_date <= '2026-03-15' AND end_date >= '2026-03-15'
F

拉链表怎么更新(T+1)

今日增量拉链表取出发生变更的记录旧记录 end_date = 昨天插入新记录 start=今天 end=9999没变化的记录完全不动

三个必须处理的细节:

  • 同一天变更大于 1 次:先去重,只保留当天最终状态,否则主键重复
  • 新用户:直接插入,start_date = 首次出现日期
  • 删除:不要物理删,加一个 is_deleted 或把 end_date 设为删除日

不适合拉链的场景:每天都变的字段(比如余额、库存)。那种直接用快照或增量流水。

G

维度表:代理键与 SCD

概念 是什么 为什么需要
自然键 业务主键,如订单号、身份证号 业务系统里唯一
代理键 自增整数,与业务无关 自然键会变/复用,代理键永不变
退化维度 订单号直接放事实表,不单独建维 维度只有一列,没必要建表
一致性维度 跨主题共用,如日期、地区 保证多张事实表能对齐

SCD(缓慢变化维)三种处理方式:

类型 做法 保留历史 适用
SCD1 直接覆盖旧值 ❌ 改错数据、不需要历史
SCD2 加版本行(就是拉链表) ✅ 要看历史状态
SCD3 加一列存"上一次的值" 只留一次 只关心上一版

实际项目里 SCD2 用得最多,拉链表就是 SCD2 在 Hive 里的落地方式。

H

六个常见坑

坑 后果 怎么破
ODS 里做清洗 源头出错无法复现,对不上账 ODS 只落地,清洗放 DWD
粒度不统一 上层聚合重复计数 每层写清"一行代表什么"
拉链表没去重 同一天多条,主键重复 按主键 + 日期取最新一条
维度表没有代理键 自然键一变,历史事实表断链 一律用代理键关联
end_date 用 NULL 表示当前 查询要写 IS NULL,容易漏 用 9999-12-31 或 is_current 标记
分区键选错 全表扫描,慢十倍 按 dt / start_date 分区

一句话收尾:分层管横向复用,拉链管纵向历史,维度管旁路描述。 三者拼起来,才是一个能长期维护的数仓。